4Data & AI

Curso

Microsoft Fabric do básico ao avançado

Curso completo de Engenharia de Dados no Microsoft Fabric: OneLake, Lakehouse, Spark, Data Factory, Data Warehouse, Real-Time Intelligence, Power BI com Direct Lake, segurança, CI/CD e monitoramento. Aulas curtas e aplicadas, baseadas na documentação oficial da Microsoft, com projeto final e preparação para o exame DP-700.

Avançado93 aulasAulas em gravação: os vídeos são liberados aos poucos

Conteúdo do curso

  1. Módulo 1Fundamentos do Microsoft Fabric

    6 aulas
    • Boas-vindas e como aproveitar o cursoEstrutura do curso, projeto que vamos construir e como praticar.
      Em breve
    • O que é o Microsoft Fabric e suas cargas de trabalhoData Factory, Engenharia de Dados, Warehouse, Real-Time Intelligence, Power BI e mais.
      Em breve
    • Capacidades, licenças e trialComo funciona a cobrança por capacidade e como estudar de graça.
      Em breve
    • Tenant, workspaces e itensA organização do Fabric e como criar seu primeiro workspace.
      Em breve
    • Domínios e organização do ambienteOrganizar workspaces por área de negócio.
      Em breve
    • Tour pelo portal do FabricNavegação, OneLake catalog, criação de itens e configurações.
      Em breve
  2. Módulo 2OneLake

    6 aulas
    • OneLake: um único data lake para a organizaçãoComo o OneLake guarda dados de todas as cargas de trabalho.
      Em breve
    • Delta e Parquet no OneLakeO formato aberto por trás das tabelas do Fabric.
      Em breve
    • Shortcuts: ADLS, Amazon S3 e Google Cloud StorageUsar dados externos sem copiar.
      Em breve
    • Mirroring: replicando bancos para o OneLakeAzure SQL, Snowflake, Databricks e outros quase em tempo real.
      Em breve
    • OneLake catalog e descoberta de dadosEncontrar, entender e reutilizar dados da organização.
      Em breve
    • Acessando o OneLake de fora do FabricAPIs, OneLake file explorer e ferramentas compatíveis com ADLS.
      Em breve
  3. Módulo 3Lakehouse

    6 aulas
    • Criando um Lakehouse: Files e TablesA diferença entre a área de arquivos e a de tabelas.
      Em breve
    • Carregando dados: upload e Load to tablesDo arquivo à tabela Delta em poucos cliques.
      Em breve
    • Schemas no LakehouseOrganizar tabelas em schemas como num banco de dados.
      Em breve
    • SQL analytics endpointConsultar o Lakehouse com T-SQL e conectar ferramentas.
      Em breve
    • Delta, V-Order e otimização de tabelasComo o V-Order acelera leituras e como otimizar tabelas.
      Em breve
    • Manutenção de tabelas: OPTIMIZE e VACUUMArquivos pequenos, histórico e limpeza.
      Em breve
  4. Módulo 4Notebooks e Spark

    6 aulas
    • Notebooks no Fabric: PySpark, Spark SQL e T-SQLCriar, executar e visualizar dados em notebooks.
      Em breve
    • Como o Spark funciona no FabricStarter pools, sessões e o modelo de execução.
      Em breve
    • Environments: bibliotecas e configurações de SparkPadronizar dependências e propriedades do Spark.
      Em breve
    • NotebookUtils: arquivos, segredos e parâmetrosUtilitários para orquestrar e parametrizar notebooks.
      Em breve
    • Encadeando notebooks e alta concorrênciaExecutar notebooks em sequência e em paralelo.
      Em breve
    • Spark job definitionsRodar código Spark empacotado, fora de notebooks.
      Em breve
  5. Módulo 5Transformações com PySpark

    6 aulas
    • DataFrames: leitura e escrita no LakehouseLer arquivos e tabelas e gravar Delta.
      Em breve
    • Limpeza e padronização de dadosTipos, nulos, textos e datas.
      Em breve
    • Duplicados, dados ausentes e atrasadosTratamentos cobrados no dia a dia e no DP-700.
      Em breve
    • Joins, agregações e desnormalizaçãoCombinar e resumir dados para análise.
      Em breve
    • Window functionsRankings, acumulados e últimos registros por chave.
      Em breve
    • MERGE em tabelas Delta e SCD tipo 2Upserts e histórico de dimensões com PySpark.
      Em breve
  6. Módulo 6Data Factory

    8 aulas
    • Pipeline, Dataflow Gen2 ou notebook: como escolherO guia de decisão aplicado a casos reais.
      Em breve
    • Pipelines: atividade de cópia e conectoresMover dados de mais de 200 fontes para o OneLake.
      Em breve
    • Pipelines: atividades, parâmetros e expressões dinâmicasFluxos reutilizáveis com Lookup, ForEach e If.
      Em breve
    • Dataflow Gen2: transformações com Power QueryTransformar dados sem código e gravar no Lakehouse.
      Em breve
    • Copy job: cargas incrementais e CDCCopiar só o que mudou de forma simples.
      Em breve
    • Gateways: dados on-premises e em rede virtualConectar fontes que não estão na nuvem pública.
      Em breve
    • Agendamentos e gatilhos por eventoExecutar pipelines por horário ou chegada de arquivo.
      Em breve
    • Apache Airflow jobs no FabricOrquestrar com Airflow gerenciado.
      Em breve
  7. Módulo 7Data Warehouse

    7 aulas
    • Arquitetura do Fabric Data WarehouseWarehouse vs Lakehouse e quando usar cada um.
      Em breve
    • Tabelas e T-SQL no WarehouseCriar tabelas, views e procedures.
      Em breve
    • Ingestão com COPY INTO, CTAS e pipelinesAs formas de carregar dados no Warehouse.
      Em breve
    • Modelagem dimensional no WarehouseFatos, dimensões e chaves substitutas.
      Em breve
    • Consultas entre Lakehouse e WarehouseCross-database queries no mesmo workspace.
      Em breve
    • Warehouse snapshots e clone de tabelasPontos de restauração e cópias sem duplicar dados.
      Em breve
    • Performance: estatísticas, cache e query insightsInvestigar e acelerar consultas.
      Em breve
  8. Módulo 8Arquitetura medalhão no Fabric

    6 aulas
    • Desenhando a arquitetura medalhão no FabricLakehouses e Warehouse em cada camada e por quê.
      Em breve
    • Bronze: ingestão com pipelines e shortcutsTrazer os dados crus para o OneLake.
      Em breve
    • Prata: transformação com notebooksLimpeza, padronização e deduplicação.
      Em breve
    • Materialized lake viewsCamadas declarativas e atualizadas automaticamente.
      Em breve
    • Ouro: modelo dimensional para o negócioTabelas prontas para relatórios.
      Em breve
    • Orquestrando o fluxo completoUm pipeline que executa todas as camadas.
      Em breve
  9. Módulo 9SQL database no Fabric

    3 aulas
    • SQL database no Fabric: banco transacionalQuando usar e como criar.
      Em breve
    • Replicação automática para o OneLakeDados transacionais disponíveis para análise sem ETL.
      Em breve
    • Mirroring na práticaConfigurar e monitorar a replicação de um banco externo.
      Em breve
  10. Módulo 10Real-Time Intelligence

    8 aulas
    • Conceitos de dados em tempo real e o Real-Time hubEventos, streams e onde encontrá-los no Fabric.
      Em breve
    • Eventstream: capturando e roteando eventosFontes, transformações e destinos de streaming.
      Em breve
    • Eventhouse e banco KQLArmazenar e consultar grandes volumes de eventos.
      Em breve
    • KQL do básico ao intermediárioFiltros, agregações, joins e séries temporais.
      Em breve
    • Janelas de tempo e agregações em streamingTumbling, hopping e sliding windows.
      Em breve
    • Real-Time dashboardsPainéis que atualizam em segundos.
      Em breve
    • Activator: alertas e ações automáticasReagir a eventos com regras.
      Em breve
    • Spark Structured Streaming no FabricStreaming com notebooks e tabelas Delta.
      Em breve
  11. Módulo 11Power BI e consumo

    4 aulas
    • Semantic models no FabricO modelo de dados que alimenta os relatórios.
      Em breve
    • Direct Lake: relatórios direto do OneLakePerformance de importação sem cópia de dados.
      Em breve
    • Atualização e monitoramento de semantic modelsRefresh, falhas e boas práticas.
      Em breve
    • Relatórios no serviço do Power BIDo Lakehouse ao relatório publicado.
      Em breve
  12. Módulo 12Segurança e governança

    6 aulas
    • Funções de workspace e permissões de itemQuem pode ver, editar e administrar.
      Em breve
    • OneLake securityControle de acesso a pastas e tabelas no OneLake.
      Em breve
    • Segurança em nível de linha, coluna e objetoRLS, CLS e OLS no Warehouse e no SQL endpoint.
      Em breve
    • Mascaramento dinâmico de dadosEsconder dados sensíveis de quem não precisa vê-los.
      Em breve
    • Rótulos de confidencialidade e endossoClassificar e certificar itens confiáveis.
      Em breve
    • Microsoft Purview e lineageGovernança, auditoria e rastreio de origem dos dados.
      Em breve
  13. Módulo 13CI/CD no Fabric

    5 aulas
    • Integração com Git: Azure DevOps e GitHubVersionar itens do workspace.
      Em breve
    • Deployment pipelinesPromover itens entre desenvolvimento, teste e produção.
      Em breve
    • Database projects para o WarehouseVersionar e publicar o esquema do Warehouse.
      Em breve
    • Variable libraries e configuração por ambienteParâmetros diferentes em cada ambiente.
      Em breve
    • Automação com fabric-cicd e APIs RESTDeploy automatizado a partir do repositório.
      Em breve
  14. Módulo 14Monitoramento e otimização

    6 aulas
    • Monitoring hubAcompanhar execuções de pipelines, notebooks e dataflows.
      Em breve
    • Capacity Metrics app: smoothing e throttlingEntender o consumo da capacidade e evitar gargalos.
      Em breve
    • Solucionando erros de pipelines e dataflowsDiagnóstico dos erros mais comuns.
      Em breve
    • Solucionando erros de notebooks e SparkLogs, Spark UI e problemas de memória.
      Em breve
    • Otimizando Spark e tabelas do LakehouseConfigurações e manutenção para mais velocidade.
      Em breve
    • Otimizando Warehouse, Eventstream e EventhouseAjustes de performance por carga de trabalho.
      Em breve
  15. Módulo 15IA no Microsoft Fabric

    3 aulas
    • Copilot para engenharia de dadosGerar e explicar código em notebooks, pipelines e SQL.
      Em breve
    • Data agents: perguntas em linguagem naturalCriar um agente sobre os seus dados.
      Em breve
    • AI functions em transformaçõesClassificar, resumir e extrair informações de texto.
      Em breve
  16. Módulo 16Projeto final e DP-700

    7 aulas
    • Projeto final: definição e arquiteturaO caso de negócio e o desenho da solução no Fabric.
      Em breve
    • Projeto final: ingestão e camada bronzePipelines, Copy job e shortcuts.
      Em breve
    • Projeto final: transformação e modelo dimensionalNotebooks, materialized lake views e Warehouse.
      Em breve
    • Projeto final: tempo real e relatóriosEventstream, Eventhouse e Power BI com Direct Lake.
      Em breve
    • Projeto final: segurança, CI/CD e monitoramentoDeixando a solução pronta para produção.
      Em breve
    • Exame DP-700: o que é cobrado e como estudarAs três áreas do exame e um plano de estudo.
      Em breve
    • Simulado comentado do DP-700Questões no estilo do exame, resolvidas passo a passo.
      Em breve