Todos nós sabemos que os bancos de dados são de vital importância para as empresas e também estamos cientes de que sempre foi difícil analisar os dados neles existentes. Hoje em dia, as grandes empresas detêm um volume enorme de dados e esses estão em diversos sistemas diferentes espalhados por ela.
Assim, não conseguíamos buscar informações que permitissem tomarmos decisões embasadas num histórico dos dados. Por um outro lado, em cima desse histórico podemos identificar tendências e posicionar a empresa estrategicamente para ser mais competitiva e consequentemente maximizar os lucros diminuindo o índice de erros na tomada de decisão.
Por fim, introduziu-se um novo conceito no mercado, o Data Warehouse (DW). Este consiste em organizar os dados corporativos de maneira integrada, com uma única versão da verdade, histórico, variável com o tempo e gerando uma única fonte de dados, que será usada para abastecer os Data Marts (DM). Isso permite aos gerentes e diretores das empresas tomarem decisões embasadas em fatos concretos e não em intuições, cruzando informações de diversas fontes. Isso agiliza a tomada de decisão e diminui os erros. Tudo isso num banco de dados paralelo aos sistemas operacionais da empresa.
Segundo a (Aspect International Consulting, 1997), cerca de 88% dos diretores admitem que dedicam quase 75% do tempo às tomadas de decisão apoiadas em análises subjetivas, menosprezando o fato de que por volta de 100% deles tem acesso a computadores. Atualmente esse número deve ter diminuído, porque existem muitos Data Warehouses sendo utilizados.
O que é data warehouse?
Um Data Warehouse (ou armazém de dados, ou depósito de dados no Brasil) é um sistema de computação utilizado para armazenar informações relativas às atividades de uma organização em bancos de dados, de forma consolidada. O Data Warehouse é: Orientado a Assunto: A primeira característica de um Data Warehouse é que ele está orientado ao redor do principal assunto da organização. O percurso do dado orientado ao assunto está em contraste com a mais clássica das aplicações orientadas por processos/funções ao redor dos quais os sistemas operacionais mais antigos estão organizados.
Facilmente o mais importante aspecto do ambiente de Data Warehouse é que dados criados dentro de um ambiente de Data Warehouse são integrados. Sempre, com nenhuma exceção. A integração mostra-se em muitas diferentes maneiras: na convenção consistente de nomes, na forma consistente das variáveis, na estrutura consistente de códigos, nos atributos físicos consistente dos dados, e assim por diante. Não Volátil: sempre inserido, nunca excluído.
Variante no Tempo: posições históricas das atividades no tempo. O data warehouse possibilita a análise de grandes volumes de dados coletados dos sistemas transacionais (OLTP). São as chamadas séries históricas que possibilitam uma melhor análise de eventos passados, oferecendo suporte às tomadas de decisões presentes e a previsão de eventos futuros. Por definição, os dados em um data warehouse não são voláteis, ou seja, eles não mudam, salvo quando é necessário fazer correções de dados previamente carregados. Os dados estão disponíveis somente para leitura e não podem ser alterados. A ferramenta mais popular para exploração de um data warehouse é a Online Analytical Processing OLAP ou Processo Analítico em Tempo Real, mas muitas outras podem ser usadas.
Os data warehouse surgiram como conceito acadêmico na década de 80. Com o amadurecimento dos sistemas de informação empresariais, as necessidades de análise dos dados cresceram paralelamente. Os sistemas OLTP não conseguiam cumprir a tarefa de análise com a simples geração de relatórios. Nesse contexto, a implementação do data warehouse passou a se tornar realidade nas grandes corporações. O mercado de ferramentas de data warehouse, que faz parte do mercado de Business Intelligence, cresceu então, e ferramentas melhores e mais sofisticadas foram desenvolvidas para apoiar a estrutura do data warehouse e sua utilização.
Atualmente, por sua capacidade de sumarizar e analisar grandes volumes de dados, o data warehouse é o núcleo dos sistemas de informações gerenciais e apoio à decisão das principais soluções de business intelligence do mercado.
Segundo Inmon, Data Warehouse é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão. Kimball define assim: é um conjunto de ferramentas e técnicas de projeto, que quando aplicadas às necessidades específicas dos usuários e aos bancos de dados específicos permitirá que planejem e construam um data warehouse.
O que data warehouse não é.
Produto: O Data Warehouse não é um produto e não pode ser comprado como um software de banco de dados. O sistema de Data Warehouse é similar ao desenvolvimento de um ERP, ou seja, ele exige análise do negócio, exige o entendimento do que se quer retirar das informações. Apesar de existirem produtos que fornecem uma gama de ferramentas para efetuar o Cleansing dos dados, a modelagem do banco e da apresentação dos dados, nada disso pode ser feito sem um elevado grau de análise e desenvolvimento.
A linguagem: O sistema de Data Warehouse não pode ser aprendido ou codificado como uma linguagem. Devido ao grande número de componentes e de etapas, um sistema de Data Warehouse suporta diversas linguagens e programações desde a extração dos dados até a apresentação dos mesmos.
Projeto: O sistema de Data Warehouse pode ser pensado mais como um processo. Ele também pode ser pensado como uma série de projetos menores que convergem para a criação de um único sistema de corporativo de Data Warehouse. Devido a natureza evolutiva do DW, é mais fácil aceitá-lo como um processo que está sempre em crescimento do que em um projeto com início-meio-fim, o que definitivamente ele parece mas não é.
Modelagem: O sistema de Data Warehouse não é somente um modelo de banco de dados e não é constituído por mais de um modelo. Existe o processo todo do sistema de BI/DW que compreende todos os procedimentos de ETL, Cleansing e apresentação das informações ao usuário final.
Cópia do sistema OLTP: Alguns acreditam que o sistema de Data Warehouse é somente uma cópia do sistema transacional existente na empresa. Assim como somente um modelo de dados não faz um sistema de BI/DW, uma cópia de um sistema transacional o faz menos ainda. Existem ferramentas que conseguem extrair dados dos sistemas transacionais existentes e criar relatórios a partir das informações coletadas, mas mesmo eles estão montando um pequeno conjunto de metadados e armazenando a informação em algum local.
O suporte às decisões usualmente requer dados consolidados de muitas fontes heterogêneas: essas podem incluir fontes externas, além de diversas bases de dados operacionais. As diferentes fontes podem conter dados de vários níveis de qualidade, ou representações de uso inconsistente, códigos e formatos, que precisam ser conciliados. Finalmente, o suporte a modelos de dados multidimensionais e operações típicas de OLAP requerem organização de dados especial, métodos de acesso e métodos de implementação, não geralmente providos por SGBDs comerciais, que focam OLTP. Por todas essas razões, os data warehouses são implementados separadamente de bases de dados operacionais.
Bases de dados operacionais são aqueles que possuem uma organização diária das operações de acesso e modificação. Os dados dessas bases de dados e outras fontes externas são extraídos usando-se gateways, ou interfaces externas padrão suportadas por SGBDs subordinados. Um gateway é uma interface de aplicação que permite que programas clientes gerem declarações SQL para serem executadas no servidor. Padrões tal como Open Database Connectivity(ODBC) e Open Linking e Embedding for Databases (OLE-DB) da Microsoft e Java Database Connectivity (JDBC) são emergentes para gateways.
Através dessas novas tecnologias como o Data Warehouse, permitirá aos administradores descobrir novas maneiras de diferenciar sua empresa numa economia globalizada, deixando-os mais seguros para definirem as metas e adotarem diferentes estratégias em sua organização, conseguindo assim visualizarem antes de seus concorrentes novos mercados e oportunidades atuando de maneiras diferentes conforme o perfil de seus consumidores.
Assim, não conseguíamos buscar informações que permitissem tomarmos decisões embasadas num histórico dos dados. Por um outro lado, em cima desse histórico podemos identificar tendências e posicionar a empresa estrategicamente para ser mais competitiva e consequentemente maximizar os lucros diminuindo o índice de erros na tomada de decisão.
Por fim, introduziu-se um novo conceito no mercado, o Data Warehouse (DW). Este consiste em organizar os dados corporativos de maneira integrada, com uma única versão da verdade, histórico, variável com o tempo e gerando uma única fonte de dados, que será usada para abastecer os Data Marts (DM). Isso permite aos gerentes e diretores das empresas tomarem decisões embasadas em fatos concretos e não em intuições, cruzando informações de diversas fontes. Isso agiliza a tomada de decisão e diminui os erros. Tudo isso num banco de dados paralelo aos sistemas operacionais da empresa.
Segundo a (Aspect International Consulting, 1997), cerca de 88% dos diretores admitem que dedicam quase 75% do tempo às tomadas de decisão apoiadas em análises subjetivas, menosprezando o fato de que por volta de 100% deles tem acesso a computadores. Atualmente esse número deve ter diminuído, porque existem muitos Data Warehouses sendo utilizados.
O que é data warehouse?
Um Data Warehouse (ou armazém de dados, ou depósito de dados no Brasil) é um sistema de computação utilizado para armazenar informações relativas às atividades de uma organização em bancos de dados, de forma consolidada. O Data Warehouse é: Orientado a Assunto: A primeira característica de um Data Warehouse é que ele está orientado ao redor do principal assunto da organização. O percurso do dado orientado ao assunto está em contraste com a mais clássica das aplicações orientadas por processos/funções ao redor dos quais os sistemas operacionais mais antigos estão organizados.
Facilmente o mais importante aspecto do ambiente de Data Warehouse é que dados criados dentro de um ambiente de Data Warehouse são integrados. Sempre, com nenhuma exceção. A integração mostra-se em muitas diferentes maneiras: na convenção consistente de nomes, na forma consistente das variáveis, na estrutura consistente de códigos, nos atributos físicos consistente dos dados, e assim por diante. Não Volátil: sempre inserido, nunca excluído.
Variante no Tempo: posições históricas das atividades no tempo. O data warehouse possibilita a análise de grandes volumes de dados coletados dos sistemas transacionais (OLTP). São as chamadas séries históricas que possibilitam uma melhor análise de eventos passados, oferecendo suporte às tomadas de decisões presentes e a previsão de eventos futuros. Por definição, os dados em um data warehouse não são voláteis, ou seja, eles não mudam, salvo quando é necessário fazer correções de dados previamente carregados. Os dados estão disponíveis somente para leitura e não podem ser alterados. A ferramenta mais popular para exploração de um data warehouse é a Online Analytical Processing OLAP ou Processo Analítico em Tempo Real, mas muitas outras podem ser usadas.
Os data warehouse surgiram como conceito acadêmico na década de 80. Com o amadurecimento dos sistemas de informação empresariais, as necessidades de análise dos dados cresceram paralelamente. Os sistemas OLTP não conseguiam cumprir a tarefa de análise com a simples geração de relatórios. Nesse contexto, a implementação do data warehouse passou a se tornar realidade nas grandes corporações. O mercado de ferramentas de data warehouse, que faz parte do mercado de Business Intelligence, cresceu então, e ferramentas melhores e mais sofisticadas foram desenvolvidas para apoiar a estrutura do data warehouse e sua utilização.
Atualmente, por sua capacidade de sumarizar e analisar grandes volumes de dados, o data warehouse é o núcleo dos sistemas de informações gerenciais e apoio à decisão das principais soluções de business intelligence do mercado.
Segundo Inmon, Data Warehouse é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão. Kimball define assim: é um conjunto de ferramentas e técnicas de projeto, que quando aplicadas às necessidades específicas dos usuários e aos bancos de dados específicos permitirá que planejem e construam um data warehouse.
O que data warehouse não é.
Produto: O Data Warehouse não é um produto e não pode ser comprado como um software de banco de dados. O sistema de Data Warehouse é similar ao desenvolvimento de um ERP, ou seja, ele exige análise do negócio, exige o entendimento do que se quer retirar das informações. Apesar de existirem produtos que fornecem uma gama de ferramentas para efetuar o Cleansing dos dados, a modelagem do banco e da apresentação dos dados, nada disso pode ser feito sem um elevado grau de análise e desenvolvimento.
A linguagem: O sistema de Data Warehouse não pode ser aprendido ou codificado como uma linguagem. Devido ao grande número de componentes e de etapas, um sistema de Data Warehouse suporta diversas linguagens e programações desde a extração dos dados até a apresentação dos mesmos.
Projeto: O sistema de Data Warehouse pode ser pensado mais como um processo. Ele também pode ser pensado como uma série de projetos menores que convergem para a criação de um único sistema de corporativo de Data Warehouse. Devido a natureza evolutiva do DW, é mais fácil aceitá-lo como um processo que está sempre em crescimento do que em um projeto com início-meio-fim, o que definitivamente ele parece mas não é.
Modelagem: O sistema de Data Warehouse não é somente um modelo de banco de dados e não é constituído por mais de um modelo. Existe o processo todo do sistema de BI/DW que compreende todos os procedimentos de ETL, Cleansing e apresentação das informações ao usuário final.
Cópia do sistema OLTP: Alguns acreditam que o sistema de Data Warehouse é somente uma cópia do sistema transacional existente na empresa. Assim como somente um modelo de dados não faz um sistema de BI/DW, uma cópia de um sistema transacional o faz menos ainda. Existem ferramentas que conseguem extrair dados dos sistemas transacionais existentes e criar relatórios a partir das informações coletadas, mas mesmo eles estão montando um pequeno conjunto de metadados e armazenando a informação em algum local.
O suporte às decisões usualmente requer dados consolidados de muitas fontes heterogêneas: essas podem incluir fontes externas, além de diversas bases de dados operacionais. As diferentes fontes podem conter dados de vários níveis de qualidade, ou representações de uso inconsistente, códigos e formatos, que precisam ser conciliados. Finalmente, o suporte a modelos de dados multidimensionais e operações típicas de OLAP requerem organização de dados especial, métodos de acesso e métodos de implementação, não geralmente providos por SGBDs comerciais, que focam OLTP. Por todas essas razões, os data warehouses são implementados separadamente de bases de dados operacionais.
Bases de dados operacionais são aqueles que possuem uma organização diária das operações de acesso e modificação. Os dados dessas bases de dados e outras fontes externas são extraídos usando-se gateways, ou interfaces externas padrão suportadas por SGBDs subordinados. Um gateway é uma interface de aplicação que permite que programas clientes gerem declarações SQL para serem executadas no servidor. Padrões tal como Open Database Connectivity(ODBC) e Open Linking e Embedding for Databases (OLE-DB) da Microsoft e Java Database Connectivity (JDBC) são emergentes para gateways.
Através dessas novas tecnologias como o Data Warehouse, permitirá aos administradores descobrir novas maneiras de diferenciar sua empresa numa economia globalizada, deixando-os mais seguros para definirem as metas e adotarem diferentes estratégias em sua organização, conseguindo assim visualizarem antes de seus concorrentes novos mercados e oportunidades atuando de maneiras diferentes conforme o perfil de seus consumidores.
Hoje em dia , as empresas que tem o Data Warehouse , ou seja banco de dados dos seus clientes , progridem mais rápido , pois através desse banco de dados , podemos mensurar as expectativa do mercado , fazer um marketing , mandar cartas ao cliente em data de aniversário , natal ,são pequenas coisas que futuramente proporciam grandes resultados. O cliente vai perceber que a sua empresa realmente se importa com ele.
ResponderExcluirParabéns Vanessa
oi achei bacana vou fazer erste curso tb
ResponderExcluirParabéns pelo blog Vanessa ^^
ResponderExcluirSou aluno da UPF, Rio Grande do Sul.
Muito interessante mesmo, estou tendo Sistemas de Informação agora no sétimo semestre e o que você escreveu aqui está me ajudando a entender os conceitos.
Abraço o/