Obs: Transforma string (20191010) em um timestamp
Obs2: Transforma string(20191020) em um timestamp e soma mais 1 dia
select * from `MeuProjeto.Conjunto.TabelaExemplo` where data >= CAST(PARSE_DATE('%Y%m%d', '20191010') AS TIMESTAMP) and data < TIMESTAMP_ADD( CAST(PARSE_DATE('%Y%m%d','20191020') AS TIMESTAMP),INTERVAL 1 DAY) order by 1 descObrigado
#!/usr/bin/python # -*- coding: latin-1 -*- import requests import json import sys from datetime import datetime # Parametros de entrada programa = str(sys.argv[1]) tipo = str(sys.argv[2]) mensagem = str(sys.argv[3]) #connectando ao cluster from elasticsearch import Elasticsearch es = Elasticsearch([{'host': 'localhost', 'port': 9200}]) #tentando acessar try: res = requests.get('http://localhost:9200') except Exception as ex: print("Error:", ex) #Inserindo dados no ElasticSearch def insert_elastic(programa, tipo, mensagem): doc = { 'author': 'DominaTudo', 'sistema': programa, 'tipo': tipo, 'message': mensagem , 'timestamp': datetime.utcnow(), } res = es.index(index="teste_auto", doc_type='teste', body=doc) print(res['result']) #Executa funcao que insere no ElasticSearch insert_elastic(programa, tipo,mensagem)
Os dados dentro de um índice são armazenados em ordem classificatória. Devido a repetidos eventos de inclusão e exclusão, podemos ter uma fragmentação dos índices, por exemplo, ao remover uma linha da tabela, a entrada referente ao índice também precisa ser removida, com isso, ficamos com uma lacuna na página do índice que não é recuperado pelo SQL Server devido ao custo da reclassificação do índice.
Vamos entender como controlar a taxa de fragmentação de nossos índices:
FILL FACTOR
Determina a porcentagem de espaço livre em cada página de índice, ou seja, o quanto pode ser preenchido e quanto deve ser mantido em branco reservando para alterações realizadas na tabela (inclusão e alteração). Por exemplo ao criarmos um índice, se determinarmos FILL FACTOR em 90%, isso quer dizer que o SQL Server irá reservar apenas 10% de cada página com espaço livre que resulta em uma reorganização mais rápida pois temos 10% de espaço em branco para manobras em cada página de dados.
E quando devo usar FILL FACTOR?
A resposta é depende… do número de alterações que sua tabela recebe.
CUIDADO: ao configurar o FILL FACTOR do seu índice com porcentagem de preenchimento muito baixo, pois o excesso de informação em branco nas páginas faz com que o SQL Server tenha que percorrer muitas paginas para retornar a informação desejada podendo tornar sua Query lenta.
Desfragmentando um índice
Com os espaços vazios deixados nas tabelas, periodicamente será necessário realizar a desfragmentação do índice que deve ser executada utilizando o comando ALTER INDEX:
REBUILD: Reconstrói todos os índices deixando as páginas com o preenchimento configurado na opção FILL FACTOR. A reconstrução do índice implica em criar toda a estrutura B-Tree novamente. Caso seja necessário a manutenção com concorrência no banco de dados, será necessário recriar o índice com a opção ONLINE para que seja obtido um bloqueio compartilhado e impeça alterações até a finalização do REBUILD.
Exemplo para reconstruir todos os índices de uma tabela:
ALTER INDEX ALL ON tabela REBUILD
REORGANIZE: Remove a fragmentação apenas do nível folha, ou seja, as páginas de nível intermediário e raiz não são desfragmentadas. REORGANIZE é uma operação que não gera bloqueio a longo prazo (online)
Exemplo para reorganizar o índice de uma tabela:
ALTER INDEX nome_índice ON tabela REORGANIZE
Recomendação: Devemos usar REBUILD quando a fragmentação do índice estiver acima de 40% e utilizar REORGANIZE quando a fragmentação estiver entre 10% a 40%
Consultando a fragmentação de um índice
A consulta abaixo deve ser utilizada para identificar o nível de fragmentação do seu índice:
SELECT a.index_id, name, avg_fragmentation_in_percent,fragment_count,avg_fragment_size_in_pages
FROM sys.dm_db_index_physical_stats (DB_ID(N'AdventureWorksLT2008'), OBJECT_ID(N'SalesLT.Product'), NULL, NULL, NULL) AS a
JOIN sys.indexes AS b ON a.object_id = b.object_id AND a.index_id = b.index_id;
avg_fragmentation_in_percent - O percentual de fragmentação.
fragment_count - O número de fragmentos (fisicamente páginas de folha consecutivos) no índice.
avg_fragment_size_in_pages - Número médio de páginas em um fragmento de um índice.
Desativando um ìndice
Um índice pode ser Desativado utilizando ALTER INDEX:
ALTER INDEX nome_índice ON tabela DISABLE
Obrigado
Sabemos que colunas do tipo XML possuem estrutura que podem ser “varrida” pelo SQL Server para localização de dados dentro de um documento XML, mas para melhorar o desempenho da localização de uma dado dentro de uma estrutura XML, podemos criar um índice XML.
Existem 2 tipo de índices XML:
Índice XML Primário:
Colunas XMLs são armazenadas como objetos binários (Blob) no banco de dados, com isso, as buscas em uma coluna desse tipo torna-se muito lenta devido ao grande volume de informação. Para acelerar a busca de informações em uma coluna do tipo XML é recomendado a criação de um índice XML primário.
Na verdade um índice XML primário particiona as informações do XML de forma que fiquem armazenadas divididas com:
Índice XML Secundário
Após criar um índice primário para uma coluna do tipo XML, podemos criar mais 3 índices secundários para a mesma coluna. Índices secundários ajudam com determinados tipos de consultas XML e só é permitido sua criação após a criação de um índice primário.
Existem 3 tipos de índices secundários:
A seguir será demonstrado um script exemplo de criação de índices XML
Criação da tabela:
CREATE TABLE DocumentXML (
ID int IDENTITY NOT NULL,
DocumentStore xml NOT NULL,
CONSTRAINT PK_Document PRIMARY KEY CLUSTERED
(ID ASC))
Carga da tabela:
INSERT INTO DocumentXML (DocumentStore)
VALUES('<?xml version="1.0" ?>
<Document Name="Poema">
<Author>Fabio</Author>
<Text>Teste 1.</Text>
</Document>')INSERT INTO DocumentXML (DocumentStore)
VALUES('<?xml version="1.0" ?>
<Document Name="Romance">
<Author>Otavio</Author>
<Text>Teste 2.</Text>
</Document>')INSERT INTO DocumentXML (DocumentStore)
VALUES('<?xml version="1.0" ?>
<Document Name="Policial">
<Author>Jose</Author>
<Text>Teste 3.</Text>
</Document>')
Consultando resultados inseridos:
SELECT DocumentStore.value('(/Document/@Name)[1]',
'varchar(50)' ) as Tipo
FROM DocumentXML
Tipo
Poema Romance Policial
SELECT DocumentStore.query('(/Document/Text)') as Texto
Texto
<Text>Teste 1.</Text> <Text>Teste 2.</Text> <Text>Teste 3.</Text>
Criando índice primário:
CREATE PRIMARY XML INDEX PkXML_Document
ON DocumentXML (DocumentStore)
Criando índices secundários:
CREATE XML INDEX Ind_Value
ON DocumentXML (DocumentStore)
USING XML index PkXML_Document
FOR VALUECREATE XML INDEX Ind_PATH
ON DocumentXML (DocumentStore)
USING XML index PkXML_Document
FOR PATHCREATE XML INDEX Ind_PROPERTY
ON DocumentXML (DocumentStore)
USING XML index PkXML_Document
FOR PROPERTY
Obrigado
Existem algumas opções de controle de acesso e capacidade de mudança de dados parametrizáveis no banco de dados, são elas:
ONLINE
Define o status do banco de dados. Quando o banco de dados estiver com o status ONLINE, significa que todas as operações serão executadas normalmente.
OFFLINE
Define também o status do banco de dados. Quando o banco de dados estiver com o status OFFLINE, significa que o mesmo não esta acessível.
EMERGENCY
Outro status do banco de dados que define que apenas pode ser acessado por um membro do role db_owner e que o único comando que permite ser executado é SELECT.
READ_ONLY
Um banco de dados configurado no modo READ_ONLY indica que está disponível apenas para consulta, não sendo possível realizar qualquer tipo de gravação e todo o log de transação será removido.
READ_WRITE
Indica que o banco de dados está disponível para leitura e gravação. Toda alteração no banco de dados para modo de read_only ou read_write, faz com que o log de transação seja recriado.
SINGLE_USER
Indica que apenas um usuário por vez pode estar conectado ao banco de dados
RESTRICTED_USER
Permite que somente membros das roles db_owner, dbcreator e sysadmin tenham acesso ao banco de dados.
MULTI_USER
Configuração padrão de um banco de dados, permite que vários usuários tenham acesso simultaneamente.
Para realizar a alteração do modo de acesso ou capacidade de mudança do banco de dados deve ser realizado com ALTER DATABASE conforme exemplo a seguir:
ALTER DATABASE <banco_de_dados> SET SINGLE_USER WITH ROLLBACK IMMEDIATE
Rollback immediate faz com que todas as transações abertas sejam revertidas imediatamente e usuários não autorizados sejam desconectados para que a nova alteração de modo de acesso passe a valer. Pode ser utilizado também a opção ROLLBACK AFTER <segundos> que irá respeitas o número de segundos indicados antes de reverter ou finalizar transações.
Obrigado
Existem opções que podem ser habilitadas no banco de dados que permitem sua execução automática, são elas:
AUTO_CLOSE
Se esta opção estiver ativada em seu banco de dados, faz com que ao ser finalizada a última conexão o Sql Server desligue o banco de dados e libere todos os recursos da máquina ocupados. Assim que uma conexão ao banco de dados é solicitada, o Sql Server inicia o banco de dados e volta a alocar os recursos necessários. Por padrão na criação do banco de dados essa opção é desativada;
AUTO_SHRINK
Quando ativada essa opção, o Sql Server passa a verificar constantemente a utilização de espaço alocado para os arquivos de dados e log de transação. Ao finalizar a verificação, se o Sql Server identificar que a utilização do espaço tiver um percentual de 25% de espaço livre alocado, os arquivos serão reduzidos automaticamente para liberação de espaço em disco. É recomendado manter essa opção desativada e realizar a redução de espaço livre manualmente quando necessário
AUTO_CREATE_STATISTICS
Se essa opção estiver ativada, faz com o que o Sql Server crie automaticamente as estatísticas não encontradas no momento da otimização do processamento da query. É sabido que a criação das estatísticas gera uma certa sobrecarga de processamento e tempo, mas como vantagem temos o desempenho da consulta que com certeza compensa “pagar o preço”.
AUTO_UPDATE_STATISTICS e AUTO_UPDATE_STATISTICS_ASYNC
Quando ativada uma das opções acima, permite que o Sql Server atualize as estatísticas desatualizadas durante a otimização da consulta (AUTO_UPDATE_STATISTICS) ou realiza a atualização das estatísticas de forma assíncrona durante a otimização da consulta (AUTO_UPDATE_STATISTICS_ASYNC).
Obrigado
O modo de recuperação indica as formas de gerenciamento do log de transação além disso determina os tipos backups disponibilizados para serem aplicados no banco de dados, são eles:
Completo (Full)
Um banco de dados no modo de recuperação completo, todas as alterações realizadas (DML e DDL) são registradas no log de transação, sendo possível recuperar o banco de dados a partir de um determinado ponto no tempo. Todas as alterações realizadas no banco de dados são mantidas no log de transação e só serão removidas com a execução de um backup de log de transação.
Registro em massa (Bulk-logged)
Banco de dados com alto volume de dados em transações podem sofrer problemas de performance com o modo de recuperação definido como FULL. O modo de recuperação de registro em massa diferentemente do modo FULL não registra linha a linha das alterações no log de transação para bulk operation (bcp, bulk insert, select..into, create index alter index…rebuild) e sim registra as extensões. Desta forma, não é possível realizar o backup de um banco de dados a partir de um determinado ponto no tempo.
Simples (Simple)
Esse modo de recuperação, registra no log de transação as operações exatamente da maneira que é realizado no modo FULL, porem, isso não indica que os arquivos de log serão armazenados permanentemente, ou seja, sempre que o processo de checkpoint do banco de dados for executado serão truncados. Um banco de dados no modo de recuperação Simple, não pode ser recuperado a partir de um ponto no tempo
Script para identificar qual modo de recuperação parametrizado no banco de dados:
SELECT name, recovery_model_desc FROM sys.databases WHERE name = 'XXXX' ; –substituir pelo nome do banco
GO
Script para alteração do modo de recuperação do banco de dados:
ALTER DATABASE XXXXX SET RECOVERY FULL ;
ALTER DATABASE XXXXX SET RECOVERY BULK_LOGGED ;
ALTER DATABASE XXXXX SET RECOVERY SIMPLE ;
Obrigado
Segue dica para geração de arquivo a partir de uma consulta de forma rápida utilizando SqlPlus:
{
echo "set pagesize 0"
echo " Select ColunaExemplo1||','||ColunaExemplo2||','||ColunaExemplo3 ||','||ColunaExemplo4 ||','||ColunaExemplo5||','||
ColunaExemplo6||','||ColunaExemplo7||','||ColunaExemplo8 FROM Tabela_TESTE;"
} | sqlplus -s usário/Senha@Servidor >> Resultado.log
Como saída, será gerado o arquivo resultado.log com o resultado do Select, podendo esse arquivo futuramente ser importado como um CSV.
O script foi utilizado para geração de uma arquivo para uma grande massa de dados e a resposta\performance foi satisfatória.
Obrigado
Segue para identificar e consultar os índices particionados de uma determinada tabela:
select distinct
p.[object_id],
TbName = OBJECT_NAME(p.[object_id]),
index_name = i.[name],
index_type_desc = i.type_desc,
partition_scheme = ps.[name],
data_space_id = ps.data_space_id,
function_name = pf.[name],
function_id = ps.function_id
from sys.partitions p
inner join sys.indexes i
on p.[object_id] = i.[object_id]
and p.index_id = i.index_id
inner join sys.data_spaces ds
on i.data_space_id = ds.data_space_id
inner join sys.partition_schemes ps
on ds.data_space_id = ps.data_space_id
inner JOIN sys.partition_functions pf
on ps.function_id = pf.function_id
WHERE p.[object_id] = object_id('Nome_tabela')
order by TbName, index_name ;
Obs.: Substituir pelo nome da tabela desejado
Obrigado
Segue consulta para identificar quais as 20 consultas mais executadas no seu banco de dados.
SELECT sql_text, executions
FROM (SELECT sql_text, executions,
RANK() OVER (ORDER BY executions DESC) exec_rank
FROM v$sql)
WHERE exec_rank <= 20;
Obrigado
Segue consulta para identificar quando foi atualizada a estatística de uma determinada tabela:
No exemplo a seguir foi utilizada a tabela 'HumanResources.Department'
SELECT name AS index_name,
STATS_DATE(OBJECT_ID, index_id) AS StatsUpdated
FROM sys.indexes
WHERE OBJECT_ID = OBJECT_ID('HumanResources.Department')
GO
| index_name | StatsUpdated |
| PK_Department_DepartmentID | 2012-03-29 13:52:19.380 |
| AK_Department_Name | 2012-03-29 13:52:22.550 |
Obrigado
Baixei o AdventureWorksLT2008.MDF da Microsoft, mas ao tentar importar o banco de dados o SQL Server informa que não foi possível encontrar o arquivo de LOG (.ldf).
Segue o comando para criar o ldf a partir de uma arquivo mdf:
EXEC sp_attach_single_file_db
@dbname = 'AdventureWorksLT2008',
@physname = 'C:\Program Files (x86)\Microsoft SQL Server\MSSQL11.SQLEXPRESS\MSSQL\DATA\AdventureWorksLT2008_Data.mdf'
Onde:
@dbname – Nome do Banco de Dados
@physname – Diretório onde esta armazenado o arquivo mdf.
Obrigado
Há uma coisa que todos os DBA sabe com certeza, e isso é que seus bancos de dados irão crescer com o tempo. Quanto mais dados tivermos, mais trabalho o SQL Server tende realizar.
Ok, mas em que o Data Compression me ajuda?
A compressão de dados em SQL Server oferece dois benefícios potenciais ao DBA:
Tipos de compressão de dados
A partir do SQL Server 2008 foi oferecido duas formas de compressão de dados:
ROW - Nível de compressão de dados por linha. Esta característica de compressão leva em consideração os tipos de dados que definem a coluna da tabela, por exemplo, uma coluna char(50) e o valor armazenado na coluna em sua maioria é 15 caracteres, neste caso a compressão por linha vai ocupar em disco somente o espaço exigido para os 15 caracteres, ou seja, com esse tipo de compressão não será alocado espaço em disco para valores zero ou nulos fazendo com que mais linhas sejam alocadas em uma mesma página. Alguns outros tipos de dados podem ser comprimidos, mas não é aplicado para todos.
PAGE – Nível de compressão de dados por página. Além de armazenar dados de forma eficiente dentro de uma linha, a compressão otimiza a página de armazenamento de várias linhas em uma página, minimizando a redundância de dados. A compressão de página usa compactação de prefixo(procura padrões comuns no início de cada coluna, exemplo, todas que comecem com XPTO%) e compressão de dicionário (procura por correspondências exatas em todas as colunas e linhas de cada pagina) que são substituídas por uma referencia abreviada de menor caracteres ocupando menos espaço.
Quando uma tabela ou índice não possui configuração para compressão de dados o seu tipo estará definido como NONE.
Obrigado
Código utiliza no SSIS para verificação da existencia de uma arquivo antes de realizar a Leitura
' Microsoft SQL Server Integration Services Script Task
' Write scripts using Microsoft Visual Basic 2008.
' The ScriptMain is the entry point class of the script.
Imports System
Imports System.Data
Imports System.Math
Imports Microsoft.SqlServer.Dts.
<System.AddIn.AddIn("
<System.CLSCompliantAttribute(
Partial Public Class ScriptMain
Inherits Microsoft.SqlServer.Dts.Tasks.
Enum ScriptResults
Success = Microsoft.SqlServer.Dts.
Failure = Microsoft.SqlServer.Dts.
End Enum
Public Sub Main()
If System.IO.File.Exists(Dts.
Dts.Variables("sExisteArquivo"
Else
Dts.Variables("sExisteArquivo"
End If
Dts.TaskResult = ScriptResults.Success
End Sub
End Class
No exemplo acima, acaso o arquivo exista será alimentado a variável sExisteArquivo, onde pode ser utilizada em um precedence Constraint Editor realizando a validação antes de fazer a leitura do Data Flow.
Obrigado
Abaixo exemplo com as diferença da aplicação das 2 funções:
Utilizando o Replace, parte da string é substituída por outra. A seguir será substituída a string “Martinez” por “Teste”.
Select Replace('Fabio Martinez','Martinez','Teste')
column1
-----------
Fabio Teste
Já com a função Stuff podemos substituir uma posição específica da string. A seguir será substituída na string a partir da sétima posição 5 caracteres.
Select stuff('Fabio Martinez',7,5,'Teste')
column1
--------------
Fabio TestenezObrigado
Como realizar a ordenação de uma massa de dados trazendo primeiro os registros cujo a coluna possui valores nulos?
No exemplo abaixo será ordenado pela coluna de nome do cliente trazendo primeiro os valores nulos.
Oracle:
SELECT CdNotaFiscal, NmCliente
FROM NOTAFISCAL
ORDER BY NmCliente NULLS FIRST
Sql Server \ Sybase:
SELECT CdNotaFiscal, NmCliente
FROM NOTAFISCAL
ORDER BY CASE WHEN NmCliente IS NULL THEN 'A' ELSE NmCliente END
Obrigado
São arquivos utilizados na inicialização do bando de dados Oracle.
Ao iniciar uma instancia, o Oracle realizada a leitura de “um dos arquivos” que armazena as características (parâmetros – Memória, caminho de arquivos,etc) do banco de dados.
Como disse anteriormente tanto o PFILE como o SPFILE são arquivos, porém SPFILE é uma versão binária do PFILE. O PFILE é armazenado com o nome init.ora e o SPFILE como spfile.ora.
Ok, e quando o Oracle utiliza um ou outro?
Ao tentar iniciar uma instancia, o Oracle procura inicialmente pelo SPFILE, se não encontrar procure pelo PFILE.
Por se tratar de uma arquivo binário, o SPFILE não pode ser alterado manualmente, mas isso não quer dizer que não possa ser alterado, os parâmetros podem ser alterados através do comando:
Alter system set “parâmetros” = “valor”;
Alguns parâmetros podem ser alterados dinamicamente, ou seja, sem a necessidade de reiniciar o banco de dados. Para saber quais os parâmetros podem ser alterados dinamicamente execute a seguinte consulta:
Select * from V$Parameter;
As colunas ISSES_MODIFIABLE identifica parâmetros que podem ser alterados em sessão (Alter Session) e a coluna ISSYS_MODIFIABLE identifica parâmetros que podem ser alterados dinamicamente com Alter Session, onde, quando for IMMEDIATE a alteração passa a ter vigor imediatamente após a alteração, DEFERRED passa a valer para as próximas sessões e FALSE valor estático, ou seja, só ira valer no caso de reinicialização da instancia.
Para verificar a existência e caminho do seu SPFILE:
show parameter SPFILE;
NAME TYPE VALUE
---------- ------ ------------------------------
spfile string C:\ORACLEXE\APP\ORACLE\PRODUCT\11.2.0 SERVER\DBS\SPFILEXE.ORA
Obrigado
Quais os sistemas operacionais suportados para cada versão do SqlServer 2008?
SqlServer Express:
SqlServer Developer e Evaluation:
Sistemas operacionais suportados por todas as versões do SqlServer 2008:
Obs: Por utilizar recursos .Net Framework, o SqlServer 2008 não é suportado pelo Windows Server 2008 Server Core que não possui tais.
Fonte – Kit de treinamento MCTS (Exame: 70-432)
Obrigado
Segue os requisitos mínimos para instalação do SqlServer 2008 em 32 e 64 bits:
32 Bits:
Processador – Pentium III ou superior
Velocidade do processador – 1,0 gigahertz (GHz) ou superior
Memória – 512 megabytes (MB)
64 Bits
Processador – Itanium, Opteron Athelon ou Xeon/Pentium com suporte para EM64T
Velocidade do processador – 1,6 gigahertz (GHz) ou superior
Memória – 512 megabytes (MB)
Quanto ao espaço livre para instalação, isso vai depender dos serviços e ferramentas selecionadas no momento da instação.
Obrigado
