Introdução a Data mining

Um diferencial competitivo é quando a empresa torna-se capaz de criar modelos de mineração de dados, ou seja, baseado em um histórico de dados encontra tendências ou padrões de comportamento de forma inteligente.

Empresas armazenam em seus bancos de dados diversas informações e acontecimentos em todos os departamentos, uma empresa financeira, por exemplo, armazenam informações de orçamento, contábil, financeiro, jurídico, clientes entre outros. A função do BI é juntar toda essa informação e consolidar em uma única base de dados para em seguida aplicar a mineração de dados.

Segundo (Fayyad et al. 1996) Data Mining é o processo não trivial de identificar, em dados, padrões válidos, novos, potencialmente úteis e ultimamente compreensíveis.

Conforme Groth (1998) e Han, Chen & Yu (1996) os passos necessários à Data Mining são representados na figura a seguir:

Existem diferentes tipos de métodos para mineração de dados, são elas: Classificação, Modelos de Relacionamento entre Variáveis, Análise de Agrupamento, Sumarização, Modelo de Dependência, Regras de Associação e Análise de Séries Temporais, conforme citação e definição feita por Fayyad et al. (1996a).

A maioria dos métodos são baseados em técnicas de reconhecimento de padrões e estatística, neurais, lógica e algoritmos genéticos.

De acordo com FAYYAD et al. (1996) os métodos tradicionais de Data Mining são:

• Classificação: associa ou classifica um item a uma ou várias classes categóricas pré-definidas.

• Modelos de Relacionamento entre Variáveis: associa um item a uma ou mais variáveis de predição de valores reais, consideradas variáveis independentes ou exploratórias.

• Análise de Agrupamento (Cluster): associa um item a uma ou várias classes categóricas (ou clusters), determinando as classes pelos dados, independentemente da classificação pré-definida.

• Sumarização: determina uma descrição compacta para um dado subconjunto. As medidas de posição e variabilidade são exemplos simples de sumarização.

• Modelo de Dependência: descreve dependências significativas entre variáveis. Modelos de dependência existem em dois níveis: estruturado e quantitativo.

• Regras de Associação: determinam relações entre campos de um banco de dados.

• Análise de Séries Temporais: determina características sequenciais, como dados com dependência no tempo.

[]s

Introdução a BI

Atualmente, diferentes tipos de empresas, ou seja, empresas de pequeno, médio e grande porte necessitam do BI para auxiliá-las nas mais diferentes situações para a tomada de decisão, otimização dos processos, redução de custo, previsões e planos estratégicos.

O termo Business intelligence não é recente, surgiu na década de 80 no Gartner Group e surgiu da necessidade de cruzar informações para a realização de uma gestão empresarial eficaz. Segundo Howard Dresner, vice-presidente da empresa Gartner e detentor da paternidade do termo, o interesse pelo BI vem crescendo na medida em que seu emprego possibilita às organizações realizar uma série de análises e projeções, de forma a agilizar os processos relacionados às tomadas de decisão.

Para que um projeto de BI seja bem sucedido, deve-se levar em consideração alguns fatores importantes, ou seja, deve ser respeitadas algumas fases a fim de garantir a qualidade final do projeto.

• Planejamento: Obter conhecimentos dos processos da empresa que irá implantar uma solução BI para entender quais os objetivos do planejamento estratégico do negócio. Em toda a fase do planejamento a participação da área de negócios é essencial.

• Escolha da ferramenta: Deve-se levar em consideração o custo com a aquisição de ferramentas, pois o pacote de ferramentas não deve comprometer o orçamento do projeto.

• Extração da informação: Garantir a qualidade da informação através de um processo Extract Transfomation and Load (ETL) que seja eficiente e eficaz.

• Enriquecimento e tratamento das informações: Garantir que após a extração da informação um processo ETL seja responsável por realizar todo o tratamento, validação e consistência dos dados.

• Carga do Data Warehouse (DW): Após a extração e tratamento da informação inclusão da massa de dados em um ambiente dimensional

• Apresentação da informação: Criação de relatórios analíticos que venham atender a necessidade inicial da construção do BI

• Treinamento dos Usuários: São as peças chaves para o sucesso do BI. Eles devem conhecer e saber como obter a informação de maneira que sejam motivados a utilizar.

[]s

Sybase IQ – Tipos de Índice

Quando você carregar dados em uma tabela, o Sybase IQ fisicamente armazena dados por coluna e não por linha. Em um ambiente de data warehousing é de costume olhar atributos específicos de milhares ou milhões de linhas de dados, ao invés de linhas completas.

Além de índices de coluna, o Sybase IQ permite que você crie índice de joins. Join indexes são criados para otimizar consultas entre tabelas.

O conjunto de índices definido para uma determinada coluna pode ter um impacto dramático na velocidade de processamento de consulta. Há quatro principais critérios para a escolha de índices:

• Número de valores exclusivos
• Tipos de consultas
• A utilização de espaço em disco
• Tipos de dados

Lembre-se também que todas as colunas são automaticamente armazenados em uma maneira que facilita projeções rápidas.

Tipos de Índices:

Tipo de Indice	Propósito
Comparação (CMP)	Armazena a comparação binária (<,> =, <=,> =, ou NE) de quaisquer duas colunas com tipos idênticos de dados, precisão e escala.
DATE	Um índice em colunas de dados DATE tipo usado para processar consultas que envolvam data.
Datetime (DTTM)	Um índice em colunas de dados DATETIME ou TIMESTAMP tipo usados ​​para processar consultas data e hora.
High_Group (HG)	Um índice B-tree para processar a igualdade e do grupo através de operações sobre dados de alta cardinalidade. (Recomendado para mais de 1.000 valores distintos ou para uma tabela com menos do que 25.000 linhas.)
High_Non_Group (HNG)	Um índice bitmap (não baseado em valor) ideal para a maioria das operações de cardinalidade alta DSS envolvendo intervalos ou agregados.
Low_Fast (LF)	Índice Bitmap baseada em valor para o processamento de consultas sobre cardinalidade baixa de dados. (Recomendado para até 1.000 valores distintos e mais de 25.000 linhas na tabela. Pode suportar até 10.000 valores distintos.)
TIME	Um índice em colunas de dados Time tipo usado para processar consultas que envolvam tempo.
WD	Utilizado para palavras-chave de índice, tratando o conteúdo de um CHAR, VARCHAR, LONG VARCHAR ou coluna como uma lista delimitada.
Join Indexes	Índice entre campos chaves utilizados nos joins entre tabelas

Nos próximos posts iremos ver em detalhes cada um dos tipos de índices mencionados acima

Fonte: http://infocenter.sybase.com

[]s

Google Developers Blog: Google Compute Engine: Computing without limits

Google Developers Blog: Google Compute Engine: Computing without limits: By Craig McLuckie, Product Manager, Google Compute Engine Over the years, Google has built some of the most high performing, scalable and...

Sybase IQ – Termos

Catalog store

É a parte de cada banco de dados Sybase IQ que contém seus metadados. (Metadados descreve o layout das tabelas do Sybase IQ, colunas e índices.) contém o dbspace SYSTEM e até 12 outros dbspaces adicionais. O nome padrão para este arquivo é dbname.db.

 

Connection Profile

Um perfil de conexão para armazenar as informações necessárias para estabelecer uma conexão para execução do Sybase IQ Server. O perfil é utilizado principalmente para simplificar as conexões do usuário com o servidor.

 

Dbfile

A dbfile é um arquivo do sistema operacional em uma partição utilizada para armazenar dados para um banco de dados Sybase IQ. Cada dbfile tem um arquivo lógico e o arquivo físico correspondente. O nome dbfile pode ser o mesmo do dbspace. A view SYSDBFILE mostra todos os dbfiles.

 

Dbspace

A dbspace é um é um conjunto lógico de dbfiles. Você pode expandi-lo, adicionando dbspaces adicionais. Os usuários podem mover dados Sybase IQ  de discos e tirar os discos off-line, sem qualquer tempo de inatividade.

 

Free list

A lista livre é uma estrutura que o Sybase IQ usa para controlar quais blocos estão em uso por um dbspace.

 

IQ Database

Um banco de dados que você cria usando um servidor Sybase IQ é chamado de um banco de dados IQ. Bases de dados IQ são especialmente indexados para aproveitar a velocidade de consulta Sybase IQ.

Cada banco de dados de IQ que você crie inclui três stores: IQ principal (para dados), uma catálogo (para metadados), e uma temporária (para dados temporários). Ele também gera um arquivo de mensagem de Log

 

IQ main store

o IQ main Store contém o dbspace IQ_SYSTEM_MAIN e dbspaces de outros usuários. É a parte de cada banco de dados Sybase IQ que contém estruturas de banco de dados persistentes, como metadados de backup de dados e rollback para transações commitadas.
Sybase recomenda que você evite armazenar as tabelas de usuário e índices em IQ_SYSTEM_MAIN e  criar dbspaces adicionais para armazenar as tabelas de usuário e índices.

 

IQ message log

É um arquivo de log de mensagem criado quando o usuário se conecta a um banco de dados IQ. O nome padrão para este arquivo é dbname.iqmsg. Sybase IQ registra mensagens de erro, mensagens de status e mensagens de notificação de inserção neste arquivo.

 

IQ temporary store

IQ temporary store contém o dbspace IQ_SYSTEM_TEMP. É a parte de cada banco de dados que armazena  tabelas temporárias e dados temporários. O servidor de banco de dados usa estruturas de dados temporários para classificar os dados e processos. Dados dessas tabelas persiste apenas enquanto você está conectado ao banco de dados.

 

IQ transaction log

O IQ transction log registra as banco de dados. O log de transações inclui informações sobre a versão, o espaço livre, e outras informações, você pode usar para se recuperar de uma falha do sistema. Por padrão, o log de transações é criado no mesmo diretório como o catalog store. O nome padrão para este dbfile é dbname.log.

 

Join index

Conceitualmente, um índice em um banco de dados é como um índice em um livro. Em um livro, o índice se refere cada termo indexado para a página ou páginas em que essa palavra aparece. Numa base de dados, o índice relaciona cada valor de coluna indexada para a localização física no qual a linha de dados que contêm o valor indexado está armazenado.
Um índice de associação é um tipo especial de índice utilizado no Sybase IQ. Join Index podem melhorar o tempo de resposta para consultas que unem duas ou mais tabelas.

 

Metadata

Metadados são dados que descrevem os dados em seu banco de dados - por exemplo, o tipo e tamanho de dados de cada coluna em uma tabela. Metadados para cada banco de dados Sybase IQ é armazenado no catalog Store.

 

Multiplex

Um poderoso recurso no Sybase IQ que fornece a escalabilidade do aplicativo através de uma configuração de servidor de cluster. Sybase IQ permite multiplex cargas de dados concorrentes e consultas através de processamento de dados independentes conectados a uma fonte de dados compartilhada. Cada servidor multiplex tem seu próprio catalog store e IQ temporary e todos os servidores compartilham o mesmo IQ store.

 

Object

Um objeto pode ser uma tabela, indice,etc. Os objetos são divididos em objetos persistentes, que permanecem no banco de dados mesmo quando o usuário se desconecta ou reinicializa o servidor ou  temporários (exibições que só permanecem no banco de dados durante a sessão atual).

 

Partition Key

A chave de partição é uma coluna de tabela definido pelo criador da tabela que determina como uma tabela deve ser particionado.

 

Proxy table

Uma tabela de proxy é uma tabela que mapeia para uma tabela em um servidor remoto onde atributos e informações de índice são derivadas do objeto no local remoto. Você pode usar tabelas de proxy para pesquisar dados em vários servidores SQL Anywhere, bancos de dados ASE, e bancos de dados não Sybase.

 

Range partition

Uma partição de intervalo é um subconjunto lógico de linhas da tabela com base nos valores de uma única coluna da tabela.

 

SQL Anywhere

SQL Anywhere - processamento de transações e sistema de gerenciamento de banco de dados relacional que pode ser usado independente ou como um servidor de rede em um cliente multi-usuário / servidor ou três camadas.
SQL Anywhere é especificamente projetado para usar menos memória e recursos de disco que o sistema de banco de dados. Sybase IQ é uma extensão do SQL Anywhere, e suporta muitas das mesmas características.

 

Store

Store é um ou mais dbspaces que armazenam dados persistentes ou temporários para um propósito especial. Sybase IQ tem três store: catalog store, IQ main store e IQ temporary store.

 

Synchronize command

O processo de atualização de join index. Você usar a instrução SYNCHRONIZE JOIN INDEX para fazer isso. O administrador do sistema precisa sincronizar os join index periodicamente se vários usuários atualizar tabelas que podem estar envolvidas.

 

Synchronization

Sincronização  multiplex entre servidores até à data.

 

Table Partition

A tabela de partição é uma coleção de linhas que é um subconjunto de uma tabela criada pelo usuário. Uma dada linha não podem ser colocados em duas partições diferentes. Cada partição pode ser colocado na sua própria dbspace e administrado individualmente.

Tablespace

Uma unidade de tabela de armazenamento no interior da base de dados que pode ser administrada como um subconjunto lógico de armazenamento total. Você pode alocar objetos individuais e sub para tablespaces individuais. A tablespace no Sybase IQ é referido como um dbspace.

 

Fonte: http://infocenter.sybase.com/help/index.jsp?topic=/com.sybase.infocenter.dc00170.1270/html/iqapg/iqapg18.htm

[]s

Duvidas com Join?

Porque os professores da Faculdade não mostraram essa imagem antes….rs

Oracle 9,10g X Sybase ASE 12,15

Uma instância Oracle consiste em:
A) Seis processos: PMON Process Monitor, SMON System Monitor, DBWn Database Writer, LGWR Log Writer, ARCn Archiver, and CKPT Checkpoint. E processos adicionais em um sistema RAC 10g podendo incluir RECO recuperação de transações distribuídas, CJQn Job cordenador de processo, LCKn bloquei de recursos compartilhado, LMDn Gerente Global de Lock, LMON Lock Manager, LMS * Serviço de Cache Global, MMAN Gerenciador de memória, MMNL Metrics Monitor, Histórico da sessão, métricas computacional, MMON Metrics Monitor, estatísticas, snapshots.

B) Os arquivos de dados que contenham as tabelas e outros objetos de dados,  arquivos de controle que contêm informações de configuração do banco de dados, redo log para processamento de transações e archive files para fins de recuperação.

C) Os arquivos de configuração que contém os atributos de instância, e informações de segurança externa

Um servidor de Sybase consiste em:
A) dois processos, data server e backup server

B) dispositivos que abrigam os bancos de dados, um banco de dados (master) contendo o sistema e dados de configuração;

C) um arquivo de configuração que contém os atributos do servidor.

 

Fonte: http://www.rocket99.com/sybase/syb_vs_ora.html

 

[]s