Introdução ao Synapse Data Warehouse no Microsoft Fabric
摘要
TLDRO vídeo foca no Microsoft Fabric, especialmente na ferramenta Synapse Data Warehouse, uma evolução do Azure Synapse Analytics. Esta solução oferece uma plataforma de analytics completa, destacando-se pelo uso de computação sem servidor e suporte nativo ao formato de Delta Lake. A apresentação explora a diferença entre o "dedicated Pool", que é uma computação transacional dedicada, e o "serverless Pool", que permite leitura direta do data lake com alta flexibilidade na execução de consultas. O Microsoft Fabric traz avanços significativos em processamento de dados, como a possibilidade de anexar diretamente dados corporativos a ferramentas como Power BI, visando uma análise mais rápida e integrada. Além disso, destaca-se pela simplicidade na configuração e escalabilidade automática, sem a necessidade de ajustes manuais complexos. Todo o processamento é otimizado para leitura e gravação eficiente de grandes volumes de dados, promovendo segurança e governança robustas. A demonstração prática inclui criação e integração de tabelas, execução de queries e uma visão geral das funcionalidades aprimoradas para otimização de performance. As vantagens em termos de eficiência de custos e integração com o ecossistema de dados da Microsoft são enfatizadas, tornando o Fabric uma solução atraente para projetos modernos de data warehousing.
心得
- 🚀 Microsoft Fabric oferece uma solução completa para Data Warehousing.
- 🛠️ Suporte nativo ao Delta Lake melhora a eficiência do processamento.
- 🔄 Computação sem servidor permite escalabilidade automática.
- 🔒 Segurança e governança integradas em toda a plataforma.
- 📈 Integração direta com Power BI para análises rápidas.
- ⚙️ Configuração simplificada elimina ajustes complexos.
- 💡 Ingestão de dados otimizada com V-Order Write.
- 🗂️ Capacidade de fazer cross-database querying.
- 🔍 Monitoramento avançado de queries e performance.
- 🌐 Suporte a múltiplas ferramentas de gerenciamento.
时间轴
- 00:00:00 - 00:05:00
Introdução sobre o Microsoft Fabric e foco na feature de Synapse Data Warehousing. Explicação sobre os pilares do Microsoft Fabric e a importância do CoPilot de AI.
- 00:05:00 - 00:10:00
Explicação sobre o relacionamento do Azure Synapse Analytics como uma solução Platform as a Service (PaaS) e a evolução para o Synapse Data Warehousing. Destaca-se que a Microsoft não pretende descontinuar a versão atual.
- 00:10:00 - 00:15:00
Discussão sobre as diferenças entre o Dedicated Pool e o Serverless Pool dentro do Azure Synapse Analytics, incluindo suas especificidades de processamento e limitações.
- 00:15:00 - 00:20:00
Mais detalhes sobre o Serverless Pool como uma solução para leitura de dados no Data Lake, destacando sua natureza não transacional e focada em virtualização de dados.
- 00:20:00 - 00:25:00
Ênfase nas limitações do Dedicated Pool e as soluções que o Microsoft Fabric traz, com melhorias em escalabilidade e uso do Delta Format.
- 00:25:00 - 00:30:00
Apresentação de novos cenários de uso com o Microsoft Fabric, mostrando como ele unifica as funções de processamento e análise de dados, oferecendo uma plataforma completa de analytics.
- 00:30:00 - 00:35:00
Foca nas vantagens do Synapse Data Warehousing dentro do Microsoft Fabric, como a computação serverless e a integração com o Delta Format.
- 00:35:00 - 00:40:00
Aspectos técnicos do Synapse Data Warehousing como otimização automática, arquitetura Lake-centric e integração nativa com o Power BI.
- 00:40:00 - 00:45:00
Demonstração prática da criação e integração de dados no Synapse Data Warehousing através de exemplos de queries e uso de cross query entre data warehouses.
- 00:45:00 - 00:50:42
Resumo da vantagem do Synapse Data Warehousing no Microsoft Fabric, destacando sua capacidade de processamento eficiente e integração com outras ferramentas de análise e visualização.
思维导图
常见问题
O que é o Synapse Data Warehouse no Microsoft Fabric?
É uma evolução do Azure Synapse Analytics, integrado ao Microsoft Fabric para otimizar o armazenamento e processamento de dados.
Quais são os principais diferenciais do Microsoft Fabric para Data Warehousing?
Ele oferece processamento transacional aberto com suporte nativo ao Delta Lake e computação em nuvem sem servidor otimizada.
A Microsoft pretende descontinuar o Azure Synapse Analytics?
Não, a Microsoft não planeja descontinuar o Azure Synapse Analytics, conforme documentado em suas políticas.
O que é o 'dedicated Pool' e 'serverless Pool'?
O 'dedicated Pool' fornece computação dedicada e transacional, enquanto 'serverless Pool' oferece processamento distribuído para consultas em data lakes.
Como o Microsoft Fabric melhora o desempenho de Data Warehousing?
Utiliza computação sem servidor otimizada, suporte nativo a Delta Lake e uma infraestrutura de consulta distribuída.
Quais são os principais componentes do Microsoft Fabric para Data Warehousing?
Incluem computação sem servidor, armazenamento em Delta Lake, governança integrada e soluções end-to-end.
O Microsoft Fabric simplifica a configuração de Data Warehousing?
Sim, elimina a necessidade de configuração complexa, com otimização automática e suporte integrado ao Delta Lake.
O que é SQL Serverless no contexto do Microsoft Fabric?
É uma engine de consulta distribuída que permite leitura direta do armazenamento, escalando automaticamente.
查看更多视频摘要
- 00:00:00Fala galera como é que vocês estão
- 00:00:03Espero que todos estejam bem né mais uma
- 00:00:06semana aí após o lançamento do meu
- 00:00:09penúltimo vídeo relacionado ao Storage
- 00:00:13do Microsoft Fabric né hoje a gente tá
- 00:00:15aqui para falar sobre uma feature que eu
- 00:00:18ah gosto bastante né até mesmo porque
- 00:00:21ele vem de uma evolução de um outro
- 00:00:24produto no qual eu tenho trabalhado
- 00:00:27bastante desde muito tempo atrás né a
- 00:00:30gente consegue ver isso nos vídeos
- 00:00:31anteriores mas
- 00:00:33eh vamos lá né Vamos lá vamos falar um
- 00:00:36pouquinho aí do sinaps data warehousing
- 00:00:39dentro do Microsoft Fabric né então
- 00:00:42primeiro vídeo a gente fez uma
- 00:00:44introdução rápida ali sobre o Microsoft
- 00:00:46Fabric Quais são os quatro pilares né a
- 00:00:48gente já consegue ver aqui nesses slides
- 00:00:50Quais são os principais Pilares
- 00:00:52principal Pilar que é uma é uma solução
- 00:00:55completa de Analytics uma plataforma
- 00:00:57completa ela é aberta em todas as
- 00:01:00camadas com a ideia de empoderar os
- 00:01:02usuários finais e a gente tem o ai
- 00:01:05CoPilot embarcado ali dentro do produto
- 00:01:08né Então essa é a ideia da gente hoje
- 00:01:11falar do sinaps data warehous um um
- 00:01:15pedaço específico do Microsoft Fabric
- 00:01:18legal então antes da gente começar esse
- 00:01:20vídeo galera eu sempre falo isso para
- 00:01:22vocês por favor soltem um like aí de
- 00:01:24vocês se inscreva no canal se você não é
- 00:01:27inscrito ativa as notificações para que
- 00:01:29você receba a todas as novidades aí
- 00:01:32também você vai ajudar mais pessoas a
- 00:01:33conhecer um pouco desse conteúdo
- 00:01:35conhecer um pouquinho sobre mim né sobre
- 00:01:38o que eu tenho falado aí de Microsoft
- 00:01:39Fabric e eu espero que vocês tenham
- 00:01:42gostado caso não tenham visto ainda o
- 00:01:43primeiro e o segundo vídeo volta lá e
- 00:01:46assiste espera terminar isso aqui depois
- 00:01:48volta lá e assiste tem muita coisa legal
- 00:01:51aí pra gente falar legal então vamos
- 00:01:54começar esse vídeo de hoje aí falando
- 00:01:56sobre o sinaps date Warehouse assim como
- 00:01:58vocês podem ver aqui aqui preparar
- 00:02:00alguns slides aqui para vocês então
- 00:02:02antes de eu falar sobre o sinaps de
- 00:02:04Warehouse Deixa eu voltar um pouquinho
- 00:02:06deixa eu voltar um pouquinho aqui nos
- 00:02:08meus slides vamos falar aqui qual que é
- 00:02:11a versão atual que a gente tem de
- 00:02:14sinapse datare house né então falei
- 00:02:18bastante isso lá no meu aqui dentro aqui
- 00:02:20no meu canal do YouTube tá lá na tá lá
- 00:02:23na na nos vídeos anteriores de sinaps
- 00:02:25Analytics né lembrando galera o que que
- 00:02:27é o Microsoft Fabric é uma solução P
- 00:02:31legal é perdão é uma solução SAS
- 00:02:35software como serviço desculpa galera
- 00:02:37software como serviço Beleza o que que é
- 00:02:40o azure sinaps Analytics é uma solução
- 00:02:44pass plataforma como serviço por que que
- 00:02:47eu falo que é a versão pass atual do
- 00:02:50sinapse date warehouses legal por quê
- 00:02:53Porque é a versão que ainda existe é a
- 00:02:55versão que ainda vai continuar existindo
- 00:02:56ponto muito importante galera a
- 00:02:59Microsoft não pretende eh descontinuar o
- 00:03:03Azur sinaps Analytics Beleza tem toda
- 00:03:06uma documentação tem toda uma política é
- 00:03:08isso não sou eu que tô falando tá isso
- 00:03:10tá documentado no das documentações
- 00:03:12públicas de de políticas de serviços tá
- 00:03:16então tanto o dedicated pool quanto o
- 00:03:19server são soluções que ainda vão
- 00:03:21continuar existindo beleza para US cases
- 00:03:24específicos cada cada empresa tem seus
- 00:03:26US cases e não vai ser diferente se você
- 00:03:28planeja legal se você planeja ficar
- 00:03:32utilizando ainda o dedicated Pool e o
- 00:03:34seress pool que cada um tem sua
- 00:03:36especificidade legal também hein galera
- 00:03:38então ponto importante a Microsoft não
- 00:03:42planeja e retirar esse produto de linha
- 00:03:45Beleza então vou falar um pouquinho
- 00:03:47desses caras bem rapidamente tá
- 00:03:49dedicated Pool lá atrás ele foi
- 00:03:52conhecido como azu date Ware housee né e
- 00:03:56depois disso a Microsoft fez o rebrand
- 00:03:59para esse esse produto se chamar Azur
- 00:04:01sinaps Analytics então meio que fez uma
- 00:04:03confusão aí no mercado apenas a parte de
- 00:04:06date warehous era conhecido como Azur
- 00:04:09sinaps Analytics e e um pouquinho depois
- 00:04:12pouco dois anos depois a Microsoft veio
- 00:04:14lançou a plataforma Azur sinaps
- 00:04:17Analytics e dentro da plataforma Azur
- 00:04:20synaps Analytics tinha todos os
- 00:04:22workloads para Big Data a parte de date
- 00:04:25Warehouse ficou conhecida como dedicated
- 00:04:27P Pool legal por é um SQL dedicado E aí
- 00:04:31quando a gente fala dedicado ela é uma
- 00:04:33solução que você provisiona a capacidade
- 00:04:37que você quer de computação né O que a
- 00:04:39gente chama ali de dwus né data
- 00:04:42Warehouse units E aí você vai ter o seu
- 00:04:44poder ali de processamento de CPU de
- 00:04:47memória de Storage legal dedicated Pool
- 00:04:50é uma solução de de processamento
- 00:04:51massivo paralelo ele existe Ele tem sua
- 00:04:54própria especificidade para e eh para
- 00:04:58armazenar os dados e tudo mais legal eu
- 00:05:01não vou entrar muito nesse detalhe quer
- 00:05:02saber um pouquinho mais sobre esse cara
- 00:05:04vai lá nos meu vídeos de sinaps
- 00:05:06analíticos Eu tenho um uma trad
- 00:05:08específica de dedicated p Pool Beleza
- 00:05:11então esse aqui é um deware House um
- 00:05:12tipo de deware house muito conhecido
- 00:05:15anteriormente por
- 00:05:17eh se se encaixar muito bem nas
- 00:05:19arquiteturas de Modern date Ware House
- 00:05:21Beleza então ele é fixo ele é
- 00:05:24provisionado ele tem várias
- 00:05:26características de performance de de de
- 00:05:30de armazenamento de dados coluna várias
- 00:05:33coisas tá assim como ele tem vários
- 00:05:36defeitos Beleza então não posso deixar
- 00:05:38de falar aqui quando eu falo defeitos eu
- 00:05:40falo eh situações em que alguns eh eh
- 00:05:44clientes eh sofrem um pouco nas
- 00:05:47configurações legal E aí eu vou pular
- 00:05:50aqui pro server CIC Pool então a medida
- 00:05:53com que o tempo foi a que os workloads
- 00:05:56foram se modernizando galera a microsof
- 00:05:59soft ficou meio que com GAP de uma
- 00:06:02solução que pudesse consultar o datalake
- 00:06:06o dedicated sipu conseguia fazer isso
- 00:06:08Sidney não conseguia consultar direto
- 00:06:11mas conseguia se conectar no dat Lake e
- 00:06:14mandar o dado para dentro do dedicated
- 00:06:16cpol para processar ele utilizando SQL
- 00:06:19né no serverless Pool não serverless
- 00:06:21Pool ele foi a primeira solução
- 00:06:23utilizando o SQL que a Microsoft colocou
- 00:06:26no mercado eh que conseguia ler o
- 00:06:29Storage direto eu eu vou lá dentro do
- 00:06:32arquivo no Storage mando o botão direito
- 00:06:35Quero quero ver as linhas desse arquivo
- 00:06:38pode ser parqu pode ser csv né E aí por
- 00:06:42fim lá no final a Microsoft liberou ele
- 00:06:44para pra leitura de Delta Qual que é o
- 00:06:48grande problema aqui do serverless o
- 00:06:50serverless ele foi feito para uma camada
- 00:06:53de virtualização em cima do storage ou
- 00:06:56seja ele não é transacional ele ele é
- 00:06:59apenas de leitura o dedicated pool não
- 00:07:02dedicated Pool você tem escrita e tem
- 00:07:04leitura mas não tem habilidade de
- 00:07:06consultar o dado no no data Lake tá o
- 00:07:09serverless não o serverless ele já é uma
- 00:07:11camada mais para data virtualization né
- 00:07:14então você cria o seu dataware housee
- 00:07:17dentro do seu dat Lake E cria o server
- 00:07:20as visualizações e as tabelas externas
- 00:07:23ali apontando pro Storage então problema
- 00:07:26que a gente tem aqui eu não consigo
- 00:07:28inserir dados então toda vez que eu
- 00:07:30precisava criar novos dados dentro do
- 00:07:33meu dat Lake eu processava os dados
- 00:07:35dentro do storage eu tinha que dropar e
- 00:07:37recriar a tabela novamente Mas funciona
- 00:07:39muito bem perfeitamente O Outro ponto
- 00:07:41muito importante aqui galera server Pool
- 00:07:44ele não foi feito para um workload
- 00:07:47absurdo assim né para um workload de
- 00:07:50milisegundos de de retorno do dado ali
- 00:07:53para pro Power bi ou então pros usuários
- 00:07:55legal Diferentemente do dedicated SC
- 00:07:58Pool o dedicated cle Pool ele foi foi
- 00:08:01projetado para alta demanda Para para
- 00:08:05que as Sares performe de uma maneira
- 00:08:07muito mais rápido por conta das suas
- 00:08:08características né lembrando dedicated
- 00:08:11Pool é um sistema de massivo paralelo
- 00:08:13processing e o server Pool é um
- 00:08:16distributed query processing Engine
- 00:08:19beleza é uma Engine de processamento de
- 00:08:21query distribuída você manda sua query
- 00:08:23pro control node e e e e eh sua query
- 00:08:27vai ser distribuída nos back end nodes
- 00:08:29ele vai escalar e diminuir
- 00:08:31eh automaticamente vai ler o dado dentro
- 00:08:35do storage e vai devolver o dado pro
- 00:08:36usuário no no dedicated cle Pool já é um
- 00:08:40pouquinho mais diferente você não escala
- 00:08:42e diminui automaticamente você tem um
- 00:08:45único size né E esse único size era um
- 00:08:48problema do outc então se você
- 00:08:50precisasse escalar sua computação que
- 00:08:52era dedicada você não conseguia você
- 00:08:55tinha que Pausar a sua
- 00:08:56informação pausar o seu DW perder todas
- 00:08:59as queries que estavam rolando ali né
- 00:09:01para parar todas as queries e escalar
- 00:09:03pro tamanho que você quer de acordo com
- 00:09:05com o seu processamento né Então
- 00:09:07percebam galera a gente tem um meio que
- 00:09:09um tradeoff aí entre essas duas
- 00:09:10tecnologias né Esse foi um dos motivos
- 00:09:14no qual a Microsoft fez um big upgrade
- 00:09:17no Microsoft Fabric né lembrando
- 00:09:19Microsoft Fabric não atualizou só essas
- 00:09:21duas soluções atualizou todo o
- 00:09:23ecossistema de Big Data da Microsoft
- 00:09:26para soluções mais modernas né então e
- 00:09:28aí e a gente vai começar a falar um
- 00:09:30pouquinho do Microsoft FB só quis fazer
- 00:09:32um resumo bem rápido aqui eu espero que
- 00:09:34vocês tenham entendido qualquer coisa
- 00:09:36volta lá no meus vídeos lá no sinaps
- 00:09:38analítica vocês vão ver tudo sobre esses
- 00:09:40dois caras sensacionais funciona até
- 00:09:42hoje e não vai deixar de existir até a
- 00:09:45onde a Microsoft quiser de acordo com as
- 00:09:46políticas dela tá não tem planos para
- 00:09:49isso vamos avançar então aqui a gente
- 00:09:51tem um cenário mais ah os últimos
- 00:09:55cenários de workloads para esse tipo de
- 00:09:58produto produto né que é o dedicated cle
- 00:10:00Pool e o server cle Pool como vocês
- 00:10:02podem perceber aqui galera a gente tem
- 00:10:05os sistemas de origem a gente vai fazer
- 00:10:07a carga para dentro do nosso Lake House
- 00:10:09aqui a gente já tá falando de
- 00:10:10arquiteturas mais modernas então eu
- 00:10:12carrego o dado ali pra minha camada Roll
- 00:10:15dado bruto eu processo ele utilizando o
- 00:10:17sinaps Spark ou data Bricks de acordo
- 00:10:20com a sua vontade tá eu enriqueço essa
- 00:10:23informação e depois eu crio uma camada
- 00:10:26de dados prontos de dados curados né uma
- 00:10:28vez que dados estão aqui e aí vamos
- 00:10:31vamos colocar aqui que a gente tá
- 00:10:32utilizando o padrão Delta que já é um
- 00:10:34padrão muito utilizado né muito
- 00:10:36utilizado inclusive está dentro por
- 00:10:39padrão dentro do febc né a gente tinha
- 00:10:41dois approaches aqui na hora de ler os
- 00:10:43dados utilizando o SQL eu poderia pegar
- 00:10:45essa informação que está aqui dentro do
- 00:10:47meu dado curado E carregar para dentro
- 00:10:49do meu deic picop existem vários US
- 00:10:52cases no mercado assim galera Mas qual
- 00:10:55que é o ponto aqui interessante o ponto
- 00:10:57é que eu tô duplicando dado então eu já
- 00:10:59tenho uma camada de dados curados que
- 00:11:01foram processados pelo Spark mas só que
- 00:11:04eu não tô escrevendo direto no de de
- 00:11:05picol por por conta de facilidades do
- 00:11:08próprio do próprio Delta e tudo mais eu
- 00:11:11eu duplico o dado dentro do dedicated
- 00:11:14Para quê Para que as engines de consulta
- 00:11:16como Power Bi e os usuários de negócio
- 00:11:19consult esse cara em uma performance bem
- 00:11:21mais rápida tá ou qual é o outro
- 00:11:24approach que eu posso construir eu eu
- 00:11:27crio uma camada de vir ação em cima
- 00:11:30dessa camada curada E aí eu venho com o
- 00:11:32meu seress crio tabelas aqui em cima do
- 00:11:35meu Delta né lembrando o delta Vai
- 00:11:37facilitar na performance do serverless
- 00:11:40cpol mas ele não vai ser tão performante
- 00:11:43quanto o dedicated cpol então percebam
- 00:11:45aqui eu não duplico o dado né só que a
- 00:11:48grande diferença é que aqui eu só estou
- 00:11:51ah virtualizando a informação por
- 00:11:54exemplo uma vez que eu escrevi o dado
- 00:11:56para cá dentro da minha camada curada e
- 00:11:57eu quero atualizar esse informação
- 00:11:59dentro do dedicated CPU eu posso porque
- 00:12:01ele é transacional no serverless não no
- 00:12:04serverless eu preciso dropar a tabela e
- 00:12:06recriar de novo apontando para os novos
- 00:12:07dados tá então cara a gente tem um
- 00:12:10tradeoff aqui beleza e aí a gente vai
- 00:12:12pra próxima esfera Microsoft Fabric do
- 00:12:15Microsoft Fabric vamos falar específico
- 00:12:18do do cnaps zware house uma evolução das
- 00:12:21arquiteturas anteriores que a gente tem
- 00:12:23é o mesmo produto Sydney não é diferente
- 00:12:26legal então eu trago esse slide aqui
- 00:12:29basicamente para falar que ele é a nova
- 00:12:31o FAB que é a nova geração de data e
- 00:12:33Analytics Então a gente tem tudo tudo
- 00:12:35que a gente precisa para para fechar uma
- 00:12:40solução completa de Analytics né e aqui
- 00:12:42eu tô falando especificamente de de date
- 00:12:45Warehouse aí eu vou ter CCD pro date
- 00:12:47Warehouse eu vou ter um tipo só de
- 00:12:49formato eu vou ter governança eu vou ter
- 00:12:52segurança eu vou ter armazenamento de
- 00:12:54dados Então galera é uma plataforma
- 00:12:56completa que vai trabalhar em conjunto
- 00:12:58beleza mas eu trouxe esse slides por quê
- 00:13:01Porque no Microsoft Fabric O que que a
- 00:13:04gente traz pro data Warehouse também uma
- 00:13:06capacidade Universal então em todo o
- 00:13:10Microsoft fbrica a gente tem um tipo de
- 00:13:12computação só máquinas
- 00:13:15rodando máquinas rodando ali por debaixo
- 00:13:18dos panos para executar todos os nossos
- 00:13:20processamentos Diferentemente de quando
- 00:13:23eu tinha o dedicated copol e quando eu
- 00:13:25tinha o serpol quando eu tinha o
- 00:13:27dedicated copol eu tinha um estrutura
- 00:13:29física provisionada né eu precisava
- 00:13:31dizer qual que é o tamanho que eu queria
- 00:13:33e com o serverless pool essa essa
- 00:13:35estrutura essa estrutura ela escalava e
- 00:13:39diminuí automaticamente a gente perdia
- 00:13:41um tempinho ali do War Map dos do
- 00:13:43cluster e ele ele já era uma estrutura
- 00:13:46sim seress mas ele tinha um arm map do
- 00:13:49cluster agora não agora é diferente pro
- 00:13:51deware House agora você rodou sua query
- 00:13:54o dado já roda instantaneamente beleza
- 00:13:57dois pontos principais aqui pro sinaps
- 00:14:00deware House o primeiro ponto galera que
- 00:14:02é o mais diferente de todos ele é o
- 00:14:05primeiro sistema transacional de dware
- 00:14:08house que está embarcando nativamente o
- 00:14:11padrão aberto do Delta Lake Beleza então
- 00:14:14lá no date Ware House lá no sinaps
- 00:14:16analist O que que a gente tinha galera
- 00:14:18Ah um um um um um tipo de armazenamento
- 00:14:23nativo então se eu quisesse migrar os
- 00:14:25meus o meu banco de dados Dent warehous
- 00:14:27para outro local tinha que reescrever
- 00:14:29meu código ou eu tinha que copiar todos
- 00:14:31os dados para lá aqui não aqui a gente
- 00:14:34escreve tudo em Delta Format e eu
- 00:14:36beneficio outras engines de ler e aí eu
- 00:14:40continuo tendo transações por quê Porque
- 00:14:42o delta Format o delta Lake permite esse
- 00:14:46tipo de transações Então a gente tem uma
- 00:14:48camada de datare house em cima de uma
- 00:14:51uma outra camada de de data Lake que é o
- 00:14:54delta Lake beleza outros Pontos
- 00:14:57importantes cara a gente não precisa
- 00:14:58fazer fazer configuração não precisa
- 00:15:00fazer nada de configuração tudo é auto
- 00:15:03auto otimizado a gente não muda nenhuma
- 00:15:05settings legal e a gente continua
- 00:15:08trabalhando ali com SQL primeiro Pilar
- 00:15:11tá E aí no segundo Pilar galera O que
- 00:15:13que a gente faz na parte dos clusters a
- 00:15:17gente remove aqueles clusters dedicados
- 00:15:19que eu acabei de falar para vocês e a
- 00:15:20gente traz tudo para uma estrutura
- 00:15:22computacional celas né então eu não
- 00:15:25tenho mais a computação física na
- 00:15:27verdade a minha computação física ela é
- 00:15:29Ela é assinalada ali pra minha query em
- 00:15:32milissegundos Beleza ela vai escalar e
- 00:15:34diminuir sem eu ter que ficar
- 00:15:37provisionando máquinas por debaixo dos
- 00:15:39panos Isso é uma tecnologia bem
- 00:15:41interessante E aí isso também vai
- 00:15:43impactar e na eficiência do meu produto
- 00:15:46e também vai impactar no preço porque lá
- 00:15:49atrás a gente tinha dois tipos de
- 00:15:51cobrança a primeira cobrança era para a
- 00:15:55primeira cobrança eraa pro dedicado que
- 00:15:57ele tinha a sua especif idade ali para
- 00:15:59tarifar e pro Serv que eu pagava por
- 00:16:01query aqui não eu vou pagar pela
- 00:16:03capacidade total do Microsoft Fabric e
- 00:16:06isso é bem interessante beleza três
- 00:16:09principais pontos aí ele tem que ser
- 00:16:11simples ele tem que ser intuitivo pros
- 00:16:13usuários ele tem que ser baseado em em
- 00:16:17Lake centric né e ele tem que ser pronto
- 00:16:21para um pro negócio uma plataforma
- 00:16:22pronto pro negócio né E aí eu gosto de
- 00:16:25de dar um Highlight dois pontos
- 00:16:27importantes aqui o Prim primeiro ponto é
- 00:16:29agora a gente consegue fazer virtualizar
- 00:16:33outros dataware houses tá e a gente
- 00:16:35consegue fazer cross quering Database no
- 00:16:37mesmo workspace o que a gente não
- 00:16:39conseguia fazer antes nem com serverless
- 00:16:41e nem com dedicated s Pool tá e o outro
- 00:16:44ponto mais interessante é que ele é
- 00:16:46totalmente integrado com a com com o
- 00:16:49semantic layer da do Power bi legal
- 00:16:53então esse é um ponto muito importante
- 00:16:55já vou mostrar para vocês na demo legal
- 00:16:57quando eu falei de leake centro que
- 00:16:59legal ele já está eh trabalhando com o
- 00:17:02formato Delta eu não preciso fazer
- 00:17:04ajustes paraa performance a gente vai
- 00:17:06falar um pouquinho mais disso e eu tenho
- 00:17:08uma fácil recuperação fácil
- 00:17:10gerenciamento dos dados ali através de
- 00:17:12diversas features que eu vou entrando em
- 00:17:15detalhes ao longo do tempo aqui com
- 00:17:16vocês beleza end to end solução uma
- 00:17:20solução fim a fim performance
- 00:17:22visibilidade de tudo governança né
- 00:17:25nativamente dentro desse cara e
- 00:17:27segurança também por padrão Beleza então
- 00:17:30avançando aqui galera eu gosto dessa
- 00:17:32imagem tá essa imagem tá lá na
- 00:17:34documentação da da da do date Ware
- 00:17:37housee tá Então como que funciona a a
- 00:17:40data process Engine percebam que ele
- 00:17:43ainda utiliza as mesmas características
- 00:17:46que a computação seress utilizava lá
- 00:17:48atrás só que ele tem alguns ajustes
- 00:17:50internos vários ajustes internos Para
- 00:17:53quê Para que eu continue utilizando
- 00:17:55computação servas mas eu tenha a
- 00:17:57capacidade de ler e escrever dados e de
- 00:18:00uma maneira muito rápido só que agora a
- 00:18:02gente tem a diferença eu escrevo em
- 00:18:05Delta né uma vez que eu mandei o meu
- 00:18:07insert dentro do meu control node ele
- 00:18:10vai devolver ali pro pro backend node na
- 00:18:13hora que eu escrever o meus dados dentro
- 00:18:15do Lake eu vou escrever a partir do de
- 00:18:17Delta né e assim a leitura também eu
- 00:18:20leio os dados direto por Delta quando eu
- 00:18:23venho paraa minha Engine ali pra Engine
- 00:18:25de de backend de processamento eu vou
- 00:18:28ler essa eu vou fazer o translate pro
- 00:18:30SQL né e vou retornar essa informação
- 00:18:33pro usuário lembrando galera
- 00:18:35eh essa Engine ela é por padrão
- 00:18:38construída em cima do query optimizing
- 00:18:40do SQL server beleza e a gente tá
- 00:18:43utilizando arquitetura de processamento
- 00:18:45que é o distributed query processing o
- 00:18:47mesmo que o sevel utilizava lá atrás
- 00:18:50Então a gente tem uma evolução aqui bem
- 00:18:53bacana bem diferente por debaixo dos
- 00:18:55panos a gente tem muitas coisas legais
- 00:18:57questão de Cash questão de colum Store
- 00:19:00index que é não é muito aberto pro pro
- 00:19:04pros clientes mas é como a Engine
- 00:19:06funciona por debaixo dos panos legal
- 00:19:09então Quais são as opções de ingestão
- 00:19:11então uma vez que eu tenho o meu Dee
- 00:19:12Warehouse eu preciso colocar a
- 00:19:13informação lá dentro Para quê Para que
- 00:19:15eu comece a construir as minhas tabelas
- 00:19:18as minhas dimensões as minhas Fatos e aí
- 00:19:21eu modele o meu workload beleza data
- 00:19:25pipelines vamos falar do do do data
- 00:19:28Factory mais paraa frente nós temos o
- 00:19:30data Flow que a gente consegue carregar
- 00:19:32dentro para dados para dentro do da
- 00:19:33Warehouse também dataflow Gentil solução
- 00:19:36Bem bacana cop Statement Aquela aquele
- 00:19:40aquele tsql basicão que a gente manda o
- 00:19:43dado para dentro do SQL bem Legal
- 00:19:45crossware House ingestion uma feature
- 00:19:48que eu acho muito muito bacana através
- 00:19:51do tsql né então eu posso utilizar o
- 00:19:53insert select select in ou Create table
- 00:19:56é select lembrando galera eu só posso
- 00:19:59consultar dois date warehouses dentro do
- 00:20:02mesmo workspace eu não consigo criar um
- 00:20:05link de conecção com Warehouse em outro
- 00:20:07local tá ponto importante E interessante
- 00:20:10para que vocês entendam aqui e aí eu
- 00:20:12trago um ponto interessante aqui que
- 00:20:14você que eu quero que vocês saibam
- 00:20:16Independente de como você vai fazer em
- 00:20:18gestão dentro do seu dware House com
- 00:20:21qualquer uma dessas informações por
- 00:20:23padrão todos os arquivos parques que são
- 00:20:26produzidos pela pela pela ingestão ele
- 00:20:29vai ser otimizado pelo um carinha
- 00:20:31chamado vorder right optimization Beleza
- 00:20:35então vou falar do vord um pouquinho
- 00:20:37mais pra frente é uma feature que veio
- 00:20:39do Spark e pelo simples fato dela
- 00:20:41trabalhar com Delta tudo tudo
- 00:20:44necessariamente tudo que você faz aqui
- 00:20:46dentro do do deware house toda ingestão
- 00:20:50de dados e leitura também porque eles se
- 00:20:52beneficia da Leitura o vorder tá rodando
- 00:20:54ali por debaixo dos P
- 00:20:57legal forma assim toda vez que eu rodar
- 00:21:00uma query a primeira vez que eu rodar
- 00:21:01uma query no meu deware House a gente
- 00:21:03vai ter ali o que a gente chama de
- 00:21:05execução fria né
- 00:21:06Eh eu vou ler ler os dados e depois eu
- 00:21:10vou carregar ele paraa minha memória
- 00:21:11então pode ser que eu perca um tempo mas
- 00:21:13já na segunda vez que eu for carregar os
- 00:21:16dados para dentro da minha memória esses
- 00:21:18dados já vão ser eh eh comprimidos num
- 00:21:22formato colunar todo mundo sabe que o
- 00:21:24formato colunar é muito bom paraa
- 00:21:26leitura de informações depende dependo
- 00:21:28do tamanho da da dos meus dados eu vou
- 00:21:30também fazer a serialização pro disco
- 00:21:33para o SSD dentro dos compute noes Legal
- 00:21:36então se eu tenho uma consulta rápida eu
- 00:21:39jogo ela pra memória que é uma
- 00:21:40quantidade quantidade de dados pequena
- 00:21:43eu simplesmente jogo ela pra memória e
- 00:21:44retorno pro usuário quando eu tenho uma
- 00:21:47uma uma quantidade de dados maior eu
- 00:21:49faço a serialização entre o disco e o
- 00:21:52Cash beleza estatísticas galera
- 00:21:55interessantíssimo Nós temos dois tipos
- 00:21:57de estat estatísticas estatísticas
- 00:21:59definidas ali pelos usuários e temos
- 00:22:01também estatísticas automáticas né a
- 00:22:03nível de query primeiramente falando de
- 00:22:06estatísticas definidas pelo usuário
- 00:22:09essas estatísticas são manual e elas são
- 00:22:11limitadas por uma única coluna beleza
- 00:22:14nas estatísticas automáticas galera
- 00:22:17Interessante não preciso rodar
- 00:22:18manutenção de estatística mais percebam
- 00:22:20um tanto de coisa que a gente vai
- 00:22:22mudando se você já é um conhecedor das
- 00:22:24outras das outras características tá
- 00:22:26estatísticas automáticas
- 00:22:28toda vez que eu criar a tabela ele vai
- 00:22:31criar a cardinalidade da minha tabela Eu
- 00:22:34tenho um histograma Eu tenho um
- 00:22:36histograma ali criado por cada coluna
- 00:22:38então toda vez que eu
- 00:22:40Eh quero fazer um filtro de uma query
- 00:22:43essa e eu vou captar a a quantidade de
- 00:22:47informações que eu tenho ali daquela
- 00:22:49determinada coluna o tamanho da de
- 00:22:51quantidade de linhas que eu tenho
- 00:22:52daquela coluna Para quê Para que eu
- 00:22:54sempre retorne isso pro usuário isso é
- 00:22:56sempre atualizado a nível de de query ou
- 00:22:58seja todas as vezes que eu tiver
- 00:23:01ah rodar uma query do meu data Lake no
- 00:23:05meu no meu dat Warehouse as estatísticas
- 00:23:07vão ser atualizadas e para o bom
- 00:23:09conhecedor de SQL e sabe que
- 00:23:11estatísticas é basicamente a maneira
- 00:23:13mais fácil você entender a quantidade de
- 00:23:15informação que você tem tá ajuda no no
- 00:23:18no plano de execução das queries e
- 00:23:20várias outras coisas tá E aí por fim
- 00:23:22esqueci de falar que
- 00:23:24ah a gente tem um tipo de estatística
- 00:23:26também para o o tamanho de algumas
- 00:23:29colunas específicas vaixar tá precisa
- 00:23:31saber a quantidade de linhas e o tamanho
- 00:23:34da coluna que a gente tem ali tudo isso
- 00:23:35vai ser criado automaticamente depois eu
- 00:23:38faço uma sessão especificamente de
- 00:23:40estatísticas porque estatísticas
- 00:23:42estatísticas é o coração do SQL
- 00:23:45legal gerenciamento de workload Olha
- 00:23:49isso aqui é uma feature galera que eu
- 00:23:51acho sensacional basicamente você vai
- 00:23:55dividir o seu P em dois pedaços tudo que
- 00:23:57for select né ele vai para uma parte do
- 00:24:01cluster por debaixo dos planos e tudo
- 00:24:03que for em gestão ele vai para uma outra
- 00:24:05parte do custer por debaixo dos panos
- 00:24:07lembrando isso aqui tá documentado
- 00:24:09também tá galera não é nada NDA aqui tá
- 00:24:12então Esso aqui é uma feature muito
- 00:24:14importante para quê para isolamento para
- 00:24:17isolamento de performance a gente sabe
- 00:24:19que a gente mexia bastante em isolamento
- 00:24:21lá no dedicated copu era um parto a
- 00:24:24gente ficar configurando ali tudo na mão
- 00:24:26workload ressource Class aqui não galera
- 00:24:30tudo isso aqui vai ser distribuído e e e
- 00:24:33de acordo com a sua demanda se minhas
- 00:24:35queries estão estão alas elas vão ser
- 00:24:37distribuídas na parte de query se a
- 00:24:39minha ingestão tá alta ela vai ser
- 00:24:41distribuído na parte de digestão e a
- 00:24:43gente não vai conflitar isso aqui é
- 00:24:45muito mas muito interessante também
- 00:24:47depois falo mais um pouquinho desses
- 00:24:48caras para vocês a ideia aqui pessoal é
- 00:24:51basicamente eu fazer um resumão aqui
- 00:24:53para vocês né um resumão de de tudo e
- 00:24:56depois a gente desce de Deep diive nas
- 00:24:58features beleza
- 00:25:00segurança segurança a nível de workspace
- 00:25:03nós temos né Lembrando que agora o
- 00:25:05Storage vai prover pra gente
- 00:25:07possibilidade de segurança então eu
- 00:25:09consigo eh dar permissionamento a nível
- 00:25:11de workspace depois eu vou descendo pros
- 00:25:14itens E aí quando eu falo item eu tô
- 00:25:16falando do date Warehouse do synaps date
- 00:25:18Warehouse né então dentro do date
- 00:25:20Warehouse eu consigo compartilhar esse
- 00:25:21cara eu consigo dar permissionamento a
- 00:25:24nível granular a nível de usuário ali
- 00:25:26nível de objeto né ah h level Security
- 00:25:30colum level Security D dynamic dat mask
- 00:25:33são features que a gente utiliza aí pra
- 00:25:36parte mais de segurança né pra parte
- 00:25:37mais de compli e tudo mais e um ponto
- 00:25:40muito interessante é que a gente tem
- 00:25:42auditoria Bea in tem uma documentação
- 00:25:45bem legal depois a gente vai eu vou
- 00:25:47falar de todos esses caras separado tá
- 00:25:50soluç eh ferramentas que a gente usa o
- 00:25:52bom e velho ssms né SQL server
- 00:25:56Management Studio Azur data Studio quer
- 00:25:59editor do Microsoft Fabric qualquer
- 00:26:02solução que se conecte a um cliente skl
- 00:26:04server qualquer cliente SQL serve né ou
- 00:26:07biblioteca Python qualquer coisa que se
- 00:26:09conecte no protocolo TDS tá e qualquer
- 00:26:13cliente também que se conecte de parque
- 00:26:16e
- 00:26:17eh para bibliotecas de Delta Format tá
- 00:26:20um exemplo é é o Storage g endp e o
- 00:26:24próprio Storage do o próprio de point do
- 00:26:28do One Lake Beleza então essas são as
- 00:26:31soluções que a gente tem ferramentas
- 00:26:33legal
- 00:26:34ah vamos pro próximo monitoramento gosto
- 00:26:39bastante de falar monitoramento percebam
- 00:26:41que eu tô arrastando meu rosto aqui pro
- 00:26:43lado só para não só para não atrapalhar
- 00:26:46na visualização de vocês monitoramento
- 00:26:48gosto bastante boas e velhas dmvs né
- 00:26:52então do lado esquerdo se eu quiser
- 00:26:54monitorar a conexão quem tá conectado
- 00:26:57sessão eu consigo continuar utilizando
- 00:26:59as mesmas dmvs que a gente utilizava
- 00:27:01anteriormente né exec sessions eec
- 00:27:08requests
- 00:27:10connections várias dvs que a gente
- 00:27:12utilizava anteriormente né então a gente
- 00:27:14consegue ainda matar alguma sessão que
- 00:27:16esteja demorando alguma coisa nesse tipo
- 00:27:18tá ponto muito interessante agora nós
- 00:27:22temos por padrão be in dentro do cluster
- 00:27:26e query ins sites Aonde eu consigo ver
- 00:27:29Quais qual o histórico de execução das
- 00:27:31minhas queries Quais são as queries que
- 00:27:33estão mais rodando posso criar um
- 00:27:34dashboard em cima disso Quais são as
- 00:27:36queries que estão demorando mais tempo
- 00:27:38por para que para que eu possa otimizar
- 00:27:40a query né porque lembrando a query não
- 00:27:42se otimiza sozinha Apesar de que o o skl
- 00:27:46server tenha toda essa característica a
- 00:27:48query não vai se otimizar sozinha Beleza
- 00:27:51então por fim a gente tem aí também o
- 00:27:53monitoramento de capacidade né então ele
- 00:27:56é um software um app que você instala
- 00:27:58dentro do Power Bi você consegue
- 00:28:01monitorar toda a capacidade do date
- 00:28:03Warehouse então É bem interessante o que
- 00:28:05que tá sendo consumido O que que tá tá
- 00:28:08deixando de ser consumido é bem legal tá
- 00:28:10depois também vou falar especificamente
- 00:28:12desse cara e finalmente dentro do
- 00:28:15Microsoft fap que nós temos o Hub de
- 00:28:17monitoramento mas ainda não está
- 00:28:19disponível pro pro sinaps date Warehouse
- 00:28:22tá então muito em breve eles devem
- 00:28:25soltar alguma coisa eu não sei Qual é a
- 00:28:27previsão beleza mas a gente já tem todas
- 00:28:30essas ferramentas aqui que a gente
- 00:28:31consegue monitorar o nosso DW né Porque
- 00:28:34por mais que ah ele se autotune a gente
- 00:28:38não consegue prever queries ainda ruins
- 00:28:43né Beleza então vamos aqui arquitetura
- 00:28:47end to end quando eu venho falar de date
- 00:28:49Warehouse né ISO Aqui também tá
- 00:28:50documentado nesse link aí como vocês
- 00:28:52podem ver sempre que eu sempre que eu
- 00:28:54tenho a minha data S Independente se é
- 00:28:56Dad estruturado não estruturados eu
- 00:28:58posso carregar eles para dentro do meu
- 00:29:00Death Warehouse com todos aqueles tipos
- 00:29:02de de de ingestão que eu falei
- 00:29:04anteriormente né e dentro do meu datare
- 00:29:07House eu vou transformar as minhas
- 00:29:08informações por meio de procedures né
- 00:29:10então o Fabric ele te dá a possibilidade
- 00:29:13de trabalhar com a melhor solução que
- 00:29:16você quiser Beleza então no caso do
- 00:29:18dware house a gente vai trabalhar com
- 00:29:20tsql Então como que a gente processa
- 00:29:22dados com tsql Storage procedures para
- 00:29:25que para que eu construa as minhas as
- 00:29:27dimensões construo as minhas fatas e eu
- 00:29:29entrego paraa minha camada de de
- 00:29:32visualização né ou a própria camada de
- 00:29:34consultas adck ali no próprio dhouse né
- 00:29:37lembrando galera tudo que eu escrever
- 00:29:39dentro do Warehouse ele vai ser
- 00:29:42automaticamente eh importado para dentro
- 00:29:45do nosso modelo semântico Para quê Para
- 00:29:48que o Power bi conecte direto no dado
- 00:29:50que está vendo no formato de Delta Lake
- 00:29:53e utiliza feature Direct Lake dentro
- 00:29:55desse dado então isso aqui é é
- 00:29:57sensacional não precisa usar ah Import
- 00:29:59ou ah usa o Direct query não galera isso
- 00:30:02aqui é é diferente Beleza deixa eu ver o
- 00:30:05que que eu tenho mais aqui para falar
- 00:30:07para vocês no futuro isso aqui tá na
- 00:30:11documentação tá galera eh vai ter vai
- 00:30:14ter opções de migração para o dedicated
- 00:30:16picle pool tá isso aqui foi apresentado
- 00:30:18no no último Microsoft build beleza e se
- 00:30:22você quer saber o que que tem de novo
- 00:30:25você pode clicar dentro dessa
- 00:30:26documentação aqui ó o What is the new in
- 00:30:30planet for CS warehousing Microsoft
- 00:30:33Fabric tem algumas coisinhas bem legais
- 00:30:35lá tá
- 00:30:37ã avançando aqui tem alguns recursos
- 00:30:41online mais uma vez falar para vocês
- 00:30:43galera eh se você é uma pessoa curiosa
- 00:30:46lá dentro do Microsoft fabc tem diversos
- 00:30:50links então separei alguns aqui tá Vou
- 00:30:53compartilhar esses slides com vocês num
- 00:30:55link que eu vou deixar aqui no vídeo
- 00:30:57vídeo Beleza então se vocês quiserem eh
- 00:31:01pegar esses slides para vocês foi um
- 00:31:03slide que eu preparei aqui para algumas
- 00:31:04apresentações relacionadas a isso né
- 00:31:07então vamos pra demo né Não adianta eu
- 00:31:09falar aqui 30 minutos vou fazer 10
- 00:31:11minutinhos de demo aí para vocês só pra
- 00:31:14gente não
- 00:31:15eh não ficar sem ver o produto né Então
- 00:31:19deixa eu fechar isso aqui deixa eu abrir
- 00:31:23aqui o meu sinaps deware House então tô
- 00:31:27dentro aqui do meu Microsoft Fabric né
- 00:31:29Ah assim como vocês podem ver deixa eu
- 00:31:33botar meu rostinho para cá legal eu tô
- 00:31:36aqui na minha parte de date Warehouse né
- 00:31:39então ele já vai abrir essa essa telinha
- 00:31:41aqui pra gente do date wareh posso criar
- 00:31:44aqui posso usar um data um dataset de
- 00:31:47exemplo posso criar um pipeliner Posso
- 00:31:50trazer dados aqui utilizando dataflow
- 00:31:53genu mas eu vou criar aqui um dataware
- 00:31:55House bem simples beleza vou chamar esse
- 00:31:58cara aqui de YouTube
- 00:32:01ah
- 00:32:032024 data w House beleza data Ware House
- 00:32:08legal
- 00:32:10ã por algum motivo eu já tenho esse DW
- 00:32:14aqui eu já sei o que que aconteceu
- 00:32:16provavelmente eu não apaguei esse
- 00:32:17carinha aqui deixa eu só fazer uma coisa
- 00:32:21aqui me deem um
- 00:32:25segundo vamos lá
- 00:32:27ah
- 00:32:29workspaces
- 00:32:31ah deixa eu dar uma renderizada aqui na
- 00:32:34tela porque eu acho que ele tá meio que
- 00:32:37bugando deixa eu dar um refresh aqui na
- 00:32:39tela vamos ver se ele vai reclamar legal
- 00:32:42vou criar um novo dware House vou chamar
- 00:32:46ele aqui de
- 00:32:50YouTube 2024 data
- 00:32:54Warehouse vou criar esse cara beleza
- 00:32:57criou era só porque eu tava com a tela
- 00:32:58aberta eu tava fazendo alguns testes
- 00:33:00aqui antes de gravar esse vídeo E aí ele
- 00:33:03meio que Manteve o Cash ali então é
- 00:33:05sempre bom ISO que uma página Web né
- 00:33:06galera então é sempre bom a gente dar o
- 00:33:08refresh legal então olha só que
- 00:33:10interessante tô criando aqui o meu data
- 00:33:14Warehouse Lembrando que eu já tinha um
- 00:33:15um data Lake House dentro deixa eu
- 00:33:18enquanto ele cria aqui o meu data
- 00:33:19Warehouse é muito rápido tá não demora
- 00:33:21tá galera eu
- 00:33:23vou eu vou voltar aqui deixa eu só fazer
- 00:33:27uma coisa aqui que tá me
- 00:33:32atrapalhando só fazer uma coisa aqui que
- 00:33:34está me atrapalhando Ah legal tá
- 00:33:37atrapalhando minha visualização percebam
- 00:33:39ele já criou o deware house rapidão tá
- 00:33:42Não precisei provisionar Não precisei
- 00:33:43dizer qual o tamanho do cluster que eu
- 00:33:45quero eu não digo nada eu só digo qual o
- 00:33:47date Warehouse que eu quero e aí ele já
- 00:33:49traz aqui pra gente ó os esquemas a
- 00:33:51parte de segurança a parte de queries E
- 00:33:54aí eu vou criar o meu Day House aqui a
- 00:33:56parte de tsql Beleza então como que eu
- 00:34:00vou criar esse cara vou criar a partir
- 00:34:01de tsql então ele já vai abrir aqui para
- 00:34:04mim ele já abre a opçãoincorreta
- 00:34:27da Microsoft PR de vendas e tudo mais
- 00:34:30vou criar duas tabelinhas aqui a minha
- 00:34:32tabela de Fato e a minha tabela dimensão
- 00:34:37beleza dimensão de cidades tenho duas
- 00:34:39tabelas dentro do meu date Ware housee
- 00:34:41tô criando esse cara
- 00:34:43ah beleza deixa eu ver aqui do que que
- 00:34:46ele tá reclamando o o esima deve estar
- 00:34:50tal tal tal Ah beleza deixa eu só criar
- 00:34:52meu esquema
- 00:34:54aqui deixa eu comentar esse código e
- 00:34:59deixa eu rodar todas as minha as minhas
- 00:35:03duas tabelas
- 00:35:05novamente legal rodou ele já vai
- 00:35:08renderizar o meu esquema aqui eu criei
- 00:35:09um esquema chamado WWI eu já tenho duas
- 00:35:12tabelinhas aqui pra gente começar a
- 00:35:14nossa brincadeira né Se eu der um
- 00:35:17refresh vamos lá ele deve est
- 00:35:19atualizando os metadados por debaixo dos
- 00:35:21panos Beleza já atualizou então ele
- 00:35:23mostra aquela mensagem de erro ali só
- 00:35:25porque ele não deu tempo de Render a
- 00:35:27tela aqui tá galera porque eu já cliquei
- 00:35:28muito rápido Beleza então tá aqui ó
- 00:35:30minhas duas tabelas elas estão vazias e
- 00:35:33eu posso simplesmente vir aqui na minha
- 00:35:35query galera uma feature interessante e
- 00:35:37renomear posso chamar esse cara aqui de
- 00:35:39Create table por exemplo Create table
- 00:35:43vamos lá que eu não quero perder muito
- 00:35:45tempo aqui com vocês não beleza uma vez
- 00:35:47que minhas tabelas estão criadas que que
- 00:35:49eu preciso fazer galera preciso Popular
- 00:35:51essas tabelas Então posso Popular elas
- 00:35:53de qualquer outras maneira de qualquer
- 00:35:55maneira utilizando data inj
- 00:35:58aqui eu vou utizar o
- 00:36:00c tabela tal pegando diretamente de um
- 00:36:04Storage que está remoto aí na internet
- 00:36:07Beleza vou executar aqui minha
- 00:36:10query ele vai copiar os dados para cá
- 00:36:13para dentro da minha
- 00:36:25tabela muito beleza tá copiando aí
- 00:36:30copiando a as nossas tabelas né tabela
- 00:36:34fato e tabela dimensão percebam aqui
- 00:36:37galera que a gente tem um um um um uma
- 00:36:42interface gráfica bem user friendly né
- 00:36:44onde eu tenho minhas queries onde eu
- 00:36:46tenho uma parte de segurança como se
- 00:36:48fosse um ssms né então e ele tá
- 00:36:53demorando um pouquinho aqui para inserir
- 00:36:54todos esses dados não são não é muita
- 00:36:56informação provavelmente esse Storage
- 00:36:58deve est separado aí do do meu workspace
- 00:37:02que está aqui no Brasil beleza mas já já
- 00:37:04eles termina não creio que deve passar
- 00:37:06de mais de um minuto aí beleza enquanto
- 00:37:10isso que que eu vou fazer uma vez que eu
- 00:37:12tiver as minhas tabelas criadas galera o
- 00:37:15que que eu posso fazer eu Posso
- 00:37:17processar a informação agregar os dados
- 00:37:20eu posso trabalhar o processamento dessa
- 00:37:22informação eu já tenho duas tabelas
- 00:37:24criadas o que que eu vou fazer eu vou
- 00:37:26criar um história de procedur aqui para
- 00:37:28fazer um processamento simples pra gente
- 00:37:31então eu quero criar uma tabela agregada
- 00:37:34ah de vendas por cidade basicamente eu
- 00:37:38vou criar uma tabela vendas por cidade
- 00:37:41né bem simples e depois vou fazer um
- 00:37:44insert nessa tabela fazendo um um um
- 00:37:47join entre a minha Fato né A minha fato
- 00:37:51de vendas e a minha dimensão de cidade
- 00:37:54agrupada e tal agrupado por por cidade
- 00:37:57agrupado por província né então tô
- 00:38:00criando essa procedure Lembrando aqui
- 00:38:02Opa deixa eu ver o que que eu cliquei de
- 00:38:04errado aqui beleza só porque eu tava
- 00:38:06clicado ali em cima do em cima do
- 00:38:10a do artefato ali então beleza criei
- 00:38:13minha procedur legal
- 00:38:16ã deixa eu dar um refresh aqui na parte
- 00:38:19de Storage proceder lembrando isso aqui
- 00:38:21é um date Warehouse normal consigo criar
- 00:38:23View consigo criar procedes consigo
- 00:38:25criar usuários consigo fazer várias
- 00:38:27coisas aqui dentro tá então ó minha
- 00:38:29procedur já está aqui vamos ver se ele
- 00:38:32terminou deixa eu deixa eu renomear esse
- 00:38:34cara aqui
- 00:38:38eh Create
- 00:38:41a Grey Gate proceder Vou Chamar esse
- 00:38:46cara assim a Grey Gate legal e deixa eu
- 00:38:50voltar aqui paraa minha query e ele
- 00:38:51finalizou a carga ó Demorou 1 minuto aí
- 00:38:54e 51 segundos quase 2 minutos para fazer
- 00:38:57a carga de dados aqui Provavelmente
- 00:38:59porque o dado Tá longe do meu Storage
- 00:39:01Beleza vou renomear esse cara aqui
- 00:39:02também já para para eu manter o
- 00:39:04histórico das minhas queries Vou Chamar
- 00:39:06esse cara aqui
- 00:39:08de data load E aí depois galera se vocês
- 00:39:12quiserem esses scripts eu mando todos
- 00:39:13eles para vocês Beleza então fiz aqui o
- 00:39:16meu data load show de bola se eu clicar
- 00:39:19aqui na minha tabela ele ele vai me
- 00:39:22mostrar graficamente aqui vai renderizar
- 00:39:24a tabela e vai me mostrar aqui as
- 00:39:26informações estão dentro dessa tabela de
- 00:39:28dimensão de cidade tá dimensões e fatos
- 00:39:30date Ware housee e a gente tem aqui a
- 00:39:33minha Fata Eu Posso rodar aqui um select
- 00:39:36top eu posso fazer o clone dessa tabela
- 00:39:38É bem interessante tá já e e e vou falar
- 00:39:42um pouquinho de clone também aqui legal
- 00:39:45então beleza galera eu tenho duas duas
- 00:39:48tabelas o que que eu quero fazer galera
- 00:39:51eu quero incluir uma informação externa
- 00:39:54para que eu consiga processar junto com
- 00:39:56com essas minhas duas tabelas então eu
- 00:39:58quero buscar uma dimensão de clientes
- 00:40:00que está onde tá dentro do Lake House
- 00:40:04Deixa eu só fechar aqui aqui em cima a
- 00:40:07gente tem um botão para que a gente
- 00:40:08consiga adicionar os Day to house né
- 00:40:10então uma vez que eu adiciono tudo que
- 00:40:12tiver dentro do meu workspace ele vai
- 00:40:14listar aqui para mim então lembra lá da
- 00:40:16última aula onde a gente tem um um um
- 00:40:19Lake House com algumas informações de
- 00:40:22clientes Então vou selecionar esse cara
- 00:40:24vou confirmar ess Essa é a feature que
- 00:40:27faz com que a gente consiga fazer o
- 00:40:29cross query dware House Beleza então Ó
- 00:40:32que que ele fez aqui para mim mais para
- 00:40:33baixo ele adicionou o meu outro Lake
- 00:40:37house né E aí depois vou falar qual que
- 00:40:39é a diferença entre dware House e Lake
- 00:40:41House e ele tem aqui os os meus esquemas
- 00:40:44ó Então dentro do meu esquema
- 00:40:46debo eu tenho aqui a minha tabela de
- 00:40:48clientes Agora eu quero fazer um um um
- 00:40:50Cross join entre essas essas duas
- 00:40:54databases então eu vou rodar um novo
- 00:40:55script aqui eu já tenho basicamente um
- 00:40:59script pronto aqui né deixa eu pegar
- 00:41:03esse cara aonde o que eu consigo fazer
- 00:41:05galera eu consigo fazer um select fazer
- 00:41:09uma uma soma aqui na quantidade de
- 00:41:11vendas né da minha tabela fato com o
- 00:41:14join na minha dimensão de clientes então
- 00:41:17basicamente o que que ele pega aqui ele
- 00:41:18pega Qual que é o Lake House Qual que é
- 00:41:21o esquema e qual que é o a tabela
- 00:41:24destino Beleza vou agrupar aqui por por
- 00:41:26item por descrição e por cliente beleza
- 00:41:29rodei essa query lembrando falando de
- 00:41:32performance galera ele tá rodando o Code
- 00:41:34aqui por que que ele tá rodando code
- 00:41:35porque é a primeira vez que eu tô
- 00:41:37executando essa query por debaixo dos
- 00:41:39panos as minhas estatísticas estão sendo
- 00:41:42criadas e estão sendo executadas
- 00:41:45lembrando eu tô agregando duas tabelas
- 00:41:48estão em dware houses diferentes uma
- 00:41:52está dentro do Lake House e a outra está
- 00:41:54aqui dentro do meu deware House demorou
- 00:41:56ali aproximadamente 25 segundos para me
- 00:41:58retornar uma informação interessante
- 00:42:00Primeira opção legal aqui a opção da
- 00:42:02gente fazer o cross join e entre dware
- 00:42:05houses e Lake House isso aqui é bem
- 00:42:07interessante se eu rodar esse cara de
- 00:42:09novo percebam 25 segundos Esse cara tem
- 00:42:11que tá lá dentro da memória ele tem que
- 00:42:13ele tem que devolver a informação muito
- 00:42:15mais rápido 3 segundos segunda execução
- 00:42:17foi pra memória uma quantidade de dados
- 00:42:19pequeno ficou só em memória rodei de
- 00:42:21novo vamos lá 3 segundos ele eu acho
- 00:42:26acho que ele não consegue otimizar mais
- 00:42:27do que isso não beleza 3 segundos boa
- 00:42:31então galera uma vez que eu fiz isso em
- 00:42:33vez como esse dado está lá no meu Lake
- 00:42:36House eu posso querer utilizar aqui ele
- 00:42:37dentro do meu dware house né então o que
- 00:42:40que eu posso fazer antes de eu fazer
- 00:42:42algo aqui eu vou só renomear esse cara
- 00:42:44para cross query Cross data Warehouse
- 00:42:48query beleza Cross data we House query
- 00:42:55vocês me peçam depois essas queries vou
- 00:42:57vou compartilhar todas elas com vocês e
- 00:42:59aí por fim galera a última coisa que eu
- 00:43:01queria mostrar aqui para vocês de
- 00:43:02interessante é que legal o dado tá lá
- 00:43:05dentro do Lake House como que eu trago
- 00:43:07ele para cá porque o dware house eu tô
- 00:43:10inserindo as informações dentro do do
- 00:43:12meu dware house no Lake House a
- 00:43:14informação fica só na camada de Lake
- 00:43:16lembrando eu tô consultando uma tabela
- 00:43:18que foi criada lá no Lake House Beleza
- 00:43:21então eu quero que essa tabela faça
- 00:43:23parte do meu datare House então o que
- 00:43:25que eu posso fazer aqui galera eu posso
- 00:43:27criar uma
- 00:43:29tabela a partir de um select então eu
- 00:43:32posso utilizar o comando que a gente
- 00:43:33chama de setas Create table as select
- 00:43:37então eu tô trazendo uma informação de
- 00:43:39lá de dentro do meu Lake House para cá
- 00:43:42para dentro da minha para cá para dentro
- 00:43:44do meu dware House a YouTube 2024 Beleza
- 00:43:48então setas é um comando bem rápido aí
- 00:43:52para se executar Isso aqui é uma
- 00:43:53dimensão que não é muito grande então
- 00:43:55Basic eu tô tirando o dado do Lake House
- 00:43:57e levando ele para dentro do meu deware
- 00:43:59House Beleza então um outro ponto
- 00:44:02interessante aqui que eu queria trazer
- 00:44:04para vocês galera é sobre aquela aquela
- 00:44:07Storage proced que eu criei né Deixa eu
- 00:44:11só renomear esse cara vou chamar ele
- 00:44:13aqui de setas vou renomear e vou criar a
- 00:44:18última query aqui para quê para executar
- 00:44:21aquela procedur que eu tinha criado né E
- 00:44:23depois o que que eu posso fazer galera
- 00:44:26isso aqui tudo com o data Factory tá E
- 00:44:28aí eu posso mostrar isso aqui
- 00:44:29automatizado para vocês posteriormente
- 00:44:31quando a gente for falar de data Factory
- 00:44:33na hora de for construir o nosso DW
- 00:44:35então rodei aqui a minha proc ele vai
- 00:44:38executar o meu select Popular a minha
- 00:44:41tabela de de agregadas por por por
- 00:44:44cidade né então ele tá rodando aí a
- 00:44:48minha setas rodou também se eu voltar
- 00:44:50para cá para dentro do meu dat Warehouse
- 00:44:53a minha tabela já tá aqui ó beleza rodou
- 00:44:57executou Se eu olhar aqui a minha
- 00:45:00tabelinha que que ele fo que que ele fez
- 00:45:02ele criou uma tabela mais e essa tabela
- 00:45:05Mais qual que é é a minha tabela
- 00:45:07agregada de vendas por cidade beleza
- 00:45:10cliquei aqui dentro desse cara ele vai
- 00:45:11me mostrar todo o histórico de vendas
- 00:45:13por cidade Quem foi o cliente que que
- 00:45:15vendeu mais qual foi a cidade na verdade
- 00:45:18a venda por cidade não por cliente né
- 00:45:20Qual foi a cidade que vendeu mais então
- 00:45:23última coisa aqui galera acho que esse
- 00:45:25vídeo já foi bem grande espero que vocês
- 00:45:27tenham paciência que não dá para falar
- 00:45:28tudo assim eh
- 00:45:30eh sem ter uma sequência de de de de
- 00:45:34pensamento uma sequência lógica né então
- 00:45:37venho aqui no meu modelo então lembra
- 00:45:39que eu falei para vocês tudo que eu
- 00:45:41criar dentro do meu date Ware housee o
- 00:45:43que que ele vai fazer ele vai jogar pro
- 00:45:46meu modelo semântico Então dentro do
- 00:45:48modelo semântico ele já separou aqui as
- 00:45:50minhas dimensões ó dimensão de cidade de
- 00:45:53cliente e eu tenho aqui a minha tabela
- 00:45:56fato vou trazer esses caras para cá E aí
- 00:45:59o que que eu posso fazer para facilitar
- 00:46:00na minha modelagem eu posso pegar aqui a
- 00:46:03minha chave da
- 00:46:04cidade arrastar ela para cá para dentro
- 00:46:07da dimensão de cidade e eu quero
- 00:46:10utilizar a integridade referencial né
- 00:46:12Isso é muito ótimo aí pra performance do
- 00:46:15do nosso modelo né lembrando isso aqui
- 00:46:17cai na prova de certificação beleza
- 00:46:20galera várias coisas que eu falei aqui
- 00:46:21cai na prova de certificação tá e eu
- 00:46:23também vou pegar aqui a chave do cliente
- 00:46:26para fazer
- 00:46:28a o relacionamento com a minha tabela de
- 00:46:32dimensões de clientes Beleza então fiz
- 00:46:35aqui assumir uma integridade referencial
- 00:46:37né Para quê Para facilitar na
- 00:46:39performance e o último passo aqui galera
- 00:46:42vai ser eu criar um report apontando
- 00:46:45para esses dados do meu dware House
- 00:46:47Beleza então vamos lá vou criar um
- 00:46:50report bem rapidão aqui para vocês
- 00:46:52galera Então vou pegar aqui a minha
- 00:46:53tabela de fato você selecionar aqui qual
- 00:46:57foi o lucro Cadê a minha a a meu tá aqui
- 00:47:03lucro e eu quero saber qual foi o lucro
- 00:47:05por por território Então vamos saber
- 00:47:09aqui qual foi o lucro por
- 00:47:11território legal outra coisa que eu
- 00:47:14quero fazer aqui galera eu quero pegar
- 00:47:17deixa eu trazer esse carinha para
- 00:47:20cá deixa eu arrumar esse carinha aqui eu
- 00:47:23não sou um cara de report Tá mas vou
- 00:47:25trazer esse aqui para vocês que é bem
- 00:47:26interessante Então eu quero trazer
- 00:47:28também galera o meu
- 00:47:32lucro
- 00:47:34beleza por território e por província
- 00:47:39excluindo as taxas legal olha lá que
- 00:47:44interessante reporte esse aqui é o meu
- 00:47:47lucro Total posso só reordenar esse cara
- 00:47:50aqui para o
- 00:47:51território beleza aí aqui ele vai me
- 00:47:54mostrar o total e Qual foi o total
- 00:47:56excluir nas taxas e por fim eu posso
- 00:47:58criar um um um mapinha aqui bem
- 00:48:02interessante para mostrar qual foi o meu
- 00:48:05lucro deixa eu ver aqui cadê tal tal tal
- 00:48:09o lucro por território Então vou pegar
- 00:48:11pro província nos Estados Unidos né
- 00:48:14então ele vai renderizar o mapa ali para
- 00:48:17mim deixa eu ver se seesse não eu acho
- 00:48:19que esse mapa aqui não tá legal deixa eu
- 00:48:21pegar um outro tipo de mapa deixa eu
- 00:48:23pegar esse tipo de mapa Ah esse aqui já
- 00:48:25ficou mais interessante aqui pra gente
- 00:48:26ter uma pra gente visualizar as
- 00:48:29informações legal então criei o meu
- 00:48:31report Vou salvar esse cara Vou Chamar
- 00:48:34esse cara aqui de
- 00:48:35Sales anális salvei essa informação
- 00:48:39pronto galera minha solução fim a fim tá
- 00:48:42aí esse dado está essa esse esse
- 00:48:45dashboard está esse relatório está
- 00:48:48consultando as informações que está
- 00:48:50dentro do meu padrão Delta né E um ponto
- 00:48:53interessante aqui galera deixa eu
- 00:48:54mostrar aqui para vocês
- 00:48:56vocês lembram lá do meu un Lake né então
- 00:49:00eu tenho aqui o meu YouTube 2024 un Lake
- 00:49:03data Explorer beleza tenho aqui o meu
- 00:49:08YouTube eu tenho aqui o meu Lake House
- 00:49:10deixa eu clicar aqui nesse cara e pedir
- 00:49:12para ele
- 00:49:14sincronizar vamos
- 00:49:17lá sincron sincronizou já trouxe meu
- 00:49:20deware
- 00:49:22housee vamos lá tem aqui as minhas
- 00:49:26tabelas e dentro das minhas tabelas no
- 00:49:29esquema
- 00:49:30WWI que que eu vou ter todas as minhas
- 00:49:32tabelas com o arquivo Delta beleza e o e
- 00:49:37o arquivo Parque aqui dentro também
- 00:49:39legal então galera falei demais Esse
- 00:49:41vídeo foi longo longo longo foi bem foi
- 00:49:45bem longo espero que vocês tenham
- 00:49:47gostado dier que eu dei um overview
- 00:49:49Geral do Day to a house eu espero que
- 00:49:51vocês estejam aqui até o final desse
- 00:49:53vídeo né Espero que vocês tenham gostado
- 00:49:56Ah vou começar a falar de cada features
- 00:49:59separado Você viu que a gente eu dei um
- 00:50:01overview bem geralzão então se gostou
- 00:50:04galera solta o like aí e deixa nos
- 00:50:07comentários aí tudo que vocês querem
- 00:50:09saber sobre esse produto um produto
- 00:50:11sensacional performance aqui vai ser eh
- 00:50:15coisa de outro mundo vamos dizer assim
- 00:50:17né porque a gente tem uma solução Bem
- 00:50:20interessante para trabalhar com date
- 00:50:21Warehouse dentro do Microsoft Fabric
- 00:50:24legal deixa seu like se não é inscrito
- 00:50:26se inscreve no canal e compartilha esse
- 00:50:29vídeo aí com seus amigos galera muito em
- 00:50:31breve a gente tá falando de mais coisas
- 00:50:33aí do Microsoft Fabric Bacana Então
- 00:50:36muito obrigado por estarem todos aqui
- 00:50:38vejo vocês na próxima um abraço a todos
- Data Warehousing
- Microsoft Fabric
- Synapse Analytics
- Delta Lake
- Computação Sem Servidor
- Azure
- SQL
- Análise de Dados