ETL com SQL Server Integration Services (SSIS) - Básico

Curso SSIS Basico Udemy

Neste curso INICIAL de ETL (Extração, Transformação e Carga) com SSIS, você aprenderá os fundamentos essenciais para trabalhar com dados de forma eficaz. Através de uma abordagem prática e teórica, abordaremos os seguintes tópicos:

Primeira parte:

Teoria, explicação sobre alguns termos e sobre a ferramenta.

Compreenda o conceito de ETL e como ele se aplica no contexto de integração de dados.

Segunda parte:

Instalação dos softwares necessários e explicação básica deles.

Terceira parte:

Construção de pacotes (prática) e configurações de algumas Tasks/Tarefas.

Descubra como aplicar diversas transformações nos dados para garantir qualidade e integridade.

Aprenda a conectar-se a diferentes fontes de dados, como bancos de dados, arquivos CSV e Excel.

Quarta parte:

Dicas gerais, links uteis e etc.

Ao final do curso, você estará preparado para criar e gerenciar processos ETL básicos, facilitando a integração de dados em sua organização. Não é necessário ter experiência prévia, apenas interesse em aprender sobre integração de dados.

Este curso é ideal para profissionais de TI, analistas de dados e qualquer pessoa interessada em aprender sobre integração de dados e ETL.

Instalando o AdventureWorks Banco de teste Microsoft

Você já precisou de datasets para testes? Já precisou de um banco transacional (OLTP) para estudos? Ou de um banco no modelo dimensional (DW)?

A microsoft disponibiliza o AdventureWorks. Veremos nesse vídeo como “instalar”(restore) esse BD.

Numero linhas SSMS final

Nesse vídeo verificamos como numero das linhas no SSMS (SQL Server Management Studio).

Curso SSIS:

https://www.udemy.com/course/etl-com-sql-server-integration-services-ssis-basico/?referralCode=29C4B58242D70DCD7438

#microsoft #dados #sqlserver #sql #ssms #bancodedados #database

Mudando o idioma do SSMS (SQL Server Management Studio)

Nesse vídeo verificamos como mudar o idioma do SSMS (SQL Server Management Studio) do português para o inglês.

Procurar objetos (existeem)

EXEC sp_MSforeachdb 'USE [?]   

SELECT distinct

OBJECT_NAME(cmt.ID) OBJECT_NAME,

db_name() banco,

Case

  WHEN (obj.xtype = ''P'')  THEN ''Stored Procedure''

  WHEN (obj.xtype = ''V'')  THEN ''View''

  WHEN (obj.xType = ''TR'') THEN ''Trigger''

  WHEN (obj.xType = ''FN'') THEN ''Função''

  WHEN (obj.xType = ''U'')  THEN ''Tabela''

  ELSE ''Outros''

END TipoEstrutura

FROM        SYSCOMMENTS cmt

inner join sysobjects obj

on cmt.ID = obj.id

WHERE        TEXT LIKE ''%tbdw0020%'' '

Python - Excel via win32com

import win32com.client
excel = win32com.client.Dispatch("Excel.Application")
excel.DisplayAlerts = False
excel.Visible=False
doc = excel.Workbooks.Open('D:\\Users\\735906\\Downloads\\ticket_FieldService_20190925_055000.xlsb')
doc.SaveAs(Filename="D:\\Users\\735906\\Downloads\\ticket_FieldService_20190925_055000.csv",FileFormat=6)
doc.Close()
excel.Quit()

Processos executando - sessões via SQL

Códigos para verificar processos/sessões em execução no SQL Server:

Procedure 1:

exec sp_who

Procedure 2:

exec sp_who2

Consulta tabelas do sistema:

SELECT
sqltext.TEXT,  
req.session_id, 
req.status, 
req.command,   
req.cpu_time, 
req.total_elapsed_time,
start_time,database_id,
user_id,
scheduler_id,
reads,
writes,
logical_reads,
granted_query_memory,
GETDATE() AS DAT_ATUALIZACAO
FROM        
sys.dm_exec_requests req
CROSS APPLY sys.dm_exec_sql_text(sql_handle) AS  sqltext
Order by 
cpu_time desc

Propriedades do servidor: IP, Server Name, Versão via SQL

Código para obter algumas propriedades de Conexão.

SELECT 
CONNECTIONPROPERTY('net_transport') AS net_transport,
CONNECTIONPROPERTY('protocol_type') AS protocol_type,
CONNECTIONPROPERTY('auth_scheme') AS auth_scheme,
CONNECTIONPROPERTY('local_net_address') AS local_net_address,
CONNECTIONPROPERTY('local_tcp_port') AS local_tcp_port,
CONNECTIONPROPERTY('client_net_address') AS client_net_address,
CONNECTIONPROPERTY('physical_net_transport') as physical_net_transport,
@@SERVERNAME as server_name ,
host_name() as host_name,
@@VERSION as versao_sql

Podemos obter IP, nome do servidor e etc.

Espaço em disco (disponível) via SQL

Dois exemplos:

Via procedure:

EXEC master.dbo.xp_fixeddrives; 

Via tabelas do sistema:

SELECT DISTINCT

    VS.volume_mount_point [Montagem] ,

    VS.logical_volume_name AS [Volume] ,

    CAST(CAST(VS.total_bytes AS DECIMAL(19, 2)) / 1024 / 1024 / 1024 AS DECIMAL(10, 2)) AS [Total (GB)] ,

    CAST(CAST(VS.available_bytes AS DECIMAL(19, 2)) / 1024 / 1024 / 1024 AS DECIMAL(10, 2)) AS [Espaço Disponível (GB)] ,

    CAST(( CAST(VS.available_bytes AS DECIMAL(19, 2)) / CAST(VS.total_bytes AS DECIMAL(19, 2)) * 100 ) AS DECIMAL(10, 2)) AS [Espaço Disponível ( % )] ,

    CAST(( 100 - CAST(VS.available_bytes AS DECIMAL(19, 2)) / CAST(VS.total_bytes AS DECIMAL(19, 2)) * 100 ) AS DECIMAL(10, 2)) AS [Espaço em uso ( % )]

FROM

    sys.master_files AS MF

    CROSS APPLY [sys].[dm_os_volume_stats](MF.database_id, MF.file_id) AS VS

--WHERE

--    CAST(VS.available_bytes AS DECIMAL(19, 2)) / CAST(VS.total_bytes AS DECIMAL(19, 2)) * 100 < 100;

Obs: O Where esta comentado.

Tamanhos de tabelas via SQL

Exemplo para obter o tamanho das tabelas no banco de dados:

use master
go


SELECT
    t.NAME AS Tabela,
    p.rows AS Linhas,
    SUM(a.total_pages) * 8 AS TotalSpaceKB,
    CAST(ROUND(((SUM(a.total_pages) * 8) / 1024.00), 2) AS NUMERIC(36, 2)) AS TotalSpaceMB,
    SUM(a.used_pages) * 8 AS UsedSpaceKB,
    CAST(ROUND(((SUM(a.used_pages) * 8) / 1024.00), 2) AS NUMERIC(36, 2)) AS UsedSpaceMB,
    (SUM(a.total_pages) - SUM(a.used_pages)) * 8 AS UnusedSpaceKB,
    CAST(ROUND(((SUM(a.total_pages) - SUM(a.used_pages)) * 8) / 1024.00, 2) AS NUMERIC(36, 2)) AS UnusedSpaceMB
FROM
    sys.tables t
INNER JOIN   sys.indexes i 
ON t.OBJECT_ID = i.object_id
INNER JOIN sys.partitions p 
ON i.object_id = p.OBJECT_ID AND i.index_id = p.index_id
INNER JOIN sys.allocation_units a 
ON p.partition_id = a.container_id
LEFT JOIN sys.schemas s 
ON t.schema_id = s.schema_id
--WHERE
    --t.NAME NOT LIKE 'dt%'
    --AND t.is_ms_shipped = 0
    --AND i.OBJECT_ID > 255
GROUP BY
    t.Name, 
s.Name, 
p.Rows
--ORDER BY
--    t.Name;


A partir desse código pode ser utilizado de acordo com a necessidade do analista. No exemplo as clausulas Where e Order By estão comentadas, pode filtrar/ordenar pelos campos que quiser, por exemplo, nome das tabelas e tamanho.

Obs: No meu exemplo estou no banco Master, mude de acordo com sua necessidade.

Banco de Dados Básico - Parte 05 - O que é DDL, DML e DCL

Nos posts anteriores foram abordados os conceitos iniciais, com foco na cláusula Select.
Neste post teremos uma introdução dos outros comandos existentes.

A SQL é a linguagem mais utilizada em Banco de Dados.
Você pode utilizar SQL em diversos bancos diferentes como por exemplo: Oracle, SQL Server, MySQL, PostgreeSQL, Teradata, Access e etc.
Vale lembrar que há pequenas diferenças na linguagem entre esses Bancos diversos, como por exemplo, tipos de dados e extensões das linguagens como a T-SQL e o PL/SQL.
Mas o padrão é o mesmo. Esse padrão é garantido pela ANSI e ISO.
Aprendendo o SQL padrão será capaz de executar consultas simples em qualquer um desses Bancos.
A SQL é uma linguagem que possui algumas categorias, como por exemplo a DML, DDL e DCL.


A figura a seguir tenta ilustrar a função de cada uma dessas categorias.

Figura 01 -  Categorias da SQL: DML, DCL e DDL.

A DDL (Data Definition Language) é a linguagem para definições de objetos como Tabelas, procedures, tipos de dados, restrições de integridade e etc. Inclui instruções como CREATE, ALTER e DROP. Pense como a categoria para "estrutura" do Banco.

A DML (Data Manipulation Language) é a linguagem que permite consultar e modificar dados. Essas modificações envolvem atualização, exclusão e inserção de novos registros. Inclui instruções como SELECT, INSERT, UPDATE, DELETE e MERGE.
Pense que é a categoria relacionada com o "conteúdo".

A DCL (Data Control Language) lida com permissões e visualizações. Inclui as instruções GRANT, DENY e REVOKE. Pense aqui "Quem acessa" e "O que acessa".

É importante ter essas definições bem claras pois além do aprendizado técnico, essas questões costumam cair em testes de empregos e de concursos.




Referencias:

http://docs.oracle.com/cd/B28359_01/server.111/b28286/statements_1001.htm#SQLRF30001

SILBERSCHATZ, A.; KORTH, H. F.; SUDARSHAN, S.  Sistema de banco de dados. São Paulo : Makron Books, 1999.

BEN-GAN, I. Microsoft SQL Server 2008: fundamentos em T-SQL. Porto Alegre: Bookman, 2010. 416p.

Materiais Gratuitos de TI: Cursos com certificado, livros e tutoriais

Nem sempre temos grana para fazer um curso complementar ou comprar um livro.

Esse post tem como objetivo indicar alguns cursos e materiais gratuitos em TI.

 
1- Cursos gratuitos com certificado:

Data Science Academy

A Data Science Academy oferece 5 cursos gratuitos com certificado. Os cursos são focados em Big Data, Data Science e Inteligência Artificial.

Os cursos são:

• Big Data Fundamentos 2.0
• Inteligência Artificial Fundamentos
• Introdução à Ciência de Dados versão 2.0 
• Microsoft Power BI para Data Science
• Python Fundamentos para Análise de Dados

Os cursos podem ser encontrados no seguinte link:

https://www.datascienceacademy.com.br/pages/cursos-gratuitos-1

 Udemy

Udemy é uma plataforma com diversos cursos e que vem tendo uma utilização grande, além de TI possui cursos de diversas áreas e temas. Geralmente os cursos são pagos, porem existe dezenas de cursos gratuitos. Para achar os cursos gratuitos utilize o "Filtro" na busca de pagina. Também é possível filtrar idioma e outras características dos cursos.

Abaixo alguns cursos gratis em TI:

• Algoritmos e Lógica de programação: https://www.udemy.com/algoritmos-logica-programacao/
• Introdução ao PHP orientado a objetos: https://www.udemy.com/php-orientado-a-objetos/
• Introdução a linguagem de programação python: https://www.udemy.com/introducao-programacaopython/&gt;
• Aprenda Excel 2016 básico na prática gratuitamente: https://www.udemy.com/aprenda-excel-2016-basico-na-pratica-gratuitamente/
• Aprenda C e C++ - Fundamentos Para Lógica de Programação: https://www.udemy.com/c-e-c-fundamentos-para-logica-de-programacao/

Listei apenas algum, podem ser encontrados muitos outros.

BrasilMaisTi

No site BrasilMaisTi podemos encontrar diversos cursos, muitos com foco em tecnologia Microsoft.

Alguns dos cursos encontrados:

• Microsoft - Crie seu primeiro aplicativo para Windows 10.
• Microsoft - Fundamentos da computação em nuvem
• Microsoft - Fundamentos da Linguagem C#
• (Cobol) Lógica de Programação
• (Java) Elementos de Projetos de Informática

Todos os cursos podem ser encontrados em:

http://www.brasilmaisti.com.br/index.php/pt-br/cursos-online/start,40/limitstart,0?start=40&amp;limitstart=0

Escola Virtual

A Escola Virtual da Fundação Bradesco oferece vários cursos. Tem cursos de programação, pacote office e etc.

Alguns cursos:

• Microsoft PowerPoint 2010 – Básico
• Administrando Bancos de Dados
• C++ Desenvolvimento Orientado a Objeto
• Desenvolvendo Aplicações Mobile com Android Studio
• Introdução ao JavaScript

Podemos encontrar todos os cursos:

https://www.ev.org.br/cursos

FGV 

A FGV oferece cursos gratuitos, porem a maioria é focado em administração e finanças.

Alguns cursos:

• Análise introdutória de crédito e risco de crédito
• BSC: Introdução à Criação e Execução da Estratégia
• Cálculo financeiro básico para administração financeira
• Fundamentos da Gestão de TI

Todos os cursos:

http://www5.fgv.br/fgvonline/Cursos/Gratuitos/

2- Livros e tutoriais

Microsoft 

A Microsoft disponibiliza dezenas de livros gratuitos, os livros estão em inglês e estão disponíveis em EPUB e PDF.

Link:

https://blogs.msdn.microsoft.com/mssmallbiz/2013/06/18/huge-collection-of-free-microsoft-ebooks-for-you-including-office-office-365-sharepoint-sql-server-system-center-visual-studio-web-development-windows-windows-azure-and-windows-server/

Github 

No Github podemos encontrar diversos livros e tutoriais em português. São diversas linguagens de programação.

O link para acesso:

https://github.com/EbookFoundation/free-programming-books/blob/master/free-programming-books-pt_BR.md

Observação:

Os cursos e livros são de responsabilidade dos sites. Esse tutorial tem como objetivo ser um guia para ajudar estudantes. Caso os cursos mudem ou sejam retirados do ar não é da nossa responsabilidade.

Obrigado.

SSIS - Visão Geral de algumas Tarefas - Tasks

As tarefas são os componentes principais do SSIS. Podemos dizer que representam o fluxo macro do processo.
Esse post tem como objetivo ser um guia de referencia rápido para descrever algumas tarefas (tasks) utilizadas no SSIS.

Banco de Dados Básico - Parte 04 – Clausula Where

A cláusula Where tem por objetivo restringir os registros de uma consulta, de acordo com o critério utilizado. Em resumo, filtra os registros.

E porque tenho que filtrar registros? Bem, na maioria das consultas que irá realizar, o filtro será essencial.

SSIS – Data flow task - Exportando dados do SQL Server para um arquivo CSV

Hoje a necessidade de integrar diferentes fontes de dados é cada vez mais essencial. Temos diversas fontes de dados espalhadas dentro de uma empresa. Podemos encontrar dados em planilhas, em arquivos de texto e em diferentes bancos, como SQL Server, Oracle, Access e etc.

Os dados podem ter origem em departamentos diferentes, como Marketing, RH e Expedição. E também pode ter origem em sistemas diferentes, como CRM (Customer Relationship Management), ERP (Enterprise Resource Planning) e SCM (Supply Chain Management).

A integração, transformação e padronização desses dados são essenciais para obter informações mais assertivas possíveis para a tomada de decisão.

O SSIS (Sql Server Integration Services) oferece recursos para facilitar essa integração de dados, em especial o Data Flow Task (ou tarefa de fluxo de dados).

Livros Gratuitos Microsoft

A Microsoft disponibilizou gratuitamente vários ebooks.
Os livros são divididos por tecnologia:

• Office
• SharePoint
• Sql Server
• System Center
• Visual Studio
• Web Development
• Windows
• Windows Azure
• Windows Server

Banco de Dados Básico - Parte 03 - Tipos de dados

Um dos tópicos importantes para quem trabalha com Banco de Dados é o tipo de dados. Deve-se compreender bem os tipos de dados existentes.

Nesse post abordaremos os tipos de dados para o SQL Server. Caso utilize outro banco, os tipos podem ser diferentes, mas o conceito geral se aplica a todos.

Quadrante Mágico Gatner – ETL e BI

Existe um relatório de avaliação dos fornecedores de TI chamado Quadrante Mágico, realizado pelo grupo Gatner. O público alvo desse relatório são as empresas que necessitam de fornecedores de TI. Porem um analista pode tirar proveito dessas informações, dá para saber as principais tecnologias utilizadas no mercado e dessa forma direcionar seu aprendizado e sua carreira. É sempre bom ficar atento ao mercado e as novas tecnologias.

Baixando e instalando o Banco AdventureWorks DW

Quando se inicia em uma tecnologia ou linguagem é muito importante o teste prático. Tem que por a “mão na massa” literalmente. 

Para aprender o SQL Server não é diferente, tem que praticar, tirar dúvidas, realizar testes.

Montar um banco “do zero” é bem trabalhoso, fora que quando se está iniciando temos muitas dúvidas que dificultam o desenvolvimento. Seria interessante um Banco de Dados pronto, para realizar testes e utilizarmos como exemplo.

Para o SQL Server é disponibilizado o banco AdventureWorks. Voce pode optar pela versão relacional (AdventureWorks) ou pela versão dimensional (AdventureWorks DW).

Ele não é disponibilizado junto com o SQL Server, mas o download é gratuito no site da Microsoft CodePlex.

Baixe de acordo com a versão do seu SQL Server (2008R2, 2012, 2014).

Esse post tem o objetivo de mostrar como baixar e instalar o AdventureWorks DW 2014.

Material de SQL - Apostilas Gratis

Segue o link com algumas apostilas de SQL, para quem esta começando pode ajudar bastante.
As apostilas estão no meu Drive.