4Data & AI

Curso

Databricks do básico ao avançado

Curso completo de Engenharia de Dados na Databricks, do primeiro notebook à produção: Spark, Delta Lake, Unity Catalog, ingestão com Auto Loader e Lakeflow Connect, Lakeflow Spark Declarative Pipelines, streaming, Lakeflow Jobs, performance, CI/CD com Declarative Automation Bundles, custos e IA. Aulas curtas e aplicadas, baseadas na documentação oficial, com projeto final e preparação para as certificações de Data Engineer.

Avançado119 aulasAulas em gravação: os vídeos são liberados aos poucos

Conteúdo do curso

  1. Módulo 1Fundamentos da plataforma

    5 aulas
    • Boas-vindas e como aproveitar o cursoEstrutura do curso, projeto que vamos construir e como praticar.
      Em breve
    • Arquitetura Lakehouse e o papel da DatabricksData lake, data warehouse e por que o Lakehouse virou padrão.
      Em breve
    • Arquitetura da Databricks: control plane e compute planeComo a plataforma se organiza por dentro e onde seus dados ficam.
      Em breve
    • Free Edition, trial e contas na nuvemOpções para estudar e para usar em empresa, e o que muda entre elas.
      Em breve
    • Tour completo pelo workspaceNavegação, busca, pastas, objetos do workspace e configurações do usuário.
      Em breve
  2. Módulo 2Compute

    5 aulas
    • Tipos de compute na DatabricksServerless, clusters clássicos e SQL warehouses: quando usar cada um.
      Em breve
    • Compute serverless para notebooks e jobsComo funciona, limites e vantagens do serverless.
      Em breve
    • Clusters clássicos: configuração na práticaRuntime, tamanho, autoscaling, modo de acesso e auto término.
      Em breve
    • SQL warehouses e PhotonWarehouses serverless, dimensionamento e o motor Photon.
      Em breve
    • Políticas de compute e controle de custosPadronizar e limitar recursos com compute policies e tags.
      Em breve
  3. Módulo 3Notebooks e desenvolvimento

    5 aulas
    • Notebooks a fundo: linguagens, magic commands e visualizaçõesMisturar SQL, Python e Markdown e explorar dados visualmente.
      Em breve
    • Widgets e parâmetrosParametrizar notebooks para reaproveitar em jobs.
      Em breve
    • Databricks Utilities (dbutils)Arquivos, segredos, widgets e encadeamento de notebooks.
      Em breve
    • Arquivos do workspace, módulos Python e bibliotecasOrganizar código reutilizável e instalar bibliotecas.
      Em breve
    • Git folders: versionando notebooks e códigoConectar ao GitHub, branches, commits e pull requests.
      Em breve
  4. Módulo 4Spark essencial

    8 aulas
    • Como o Spark funciona: driver, executores e lazy evaluationO modelo de execução que explica a performance do seu código.
      Em breve
    • DataFrames: leitura de CSV, JSON e ParquetOpções de leitura, schemas e tipos de dados.
      Em breve
    • Seleção, filtros e colunas calculadasAs transformações mais usadas no dia a dia.
      Em breve
    • Agregações e joinsgroupBy, tipos de join e cuidados com duplicidade.
      Em breve
    • Window functionsRankings, acumulados e comparação entre linhas.
      Em breve
    • Dados complexos: arrays, structs e JSONExplodir, aninhar e ler JSON semiestruturado.
      Em breve
    • Spark SQL e views temporáriasA mesma lógica em SQL e quando preferir cada abordagem.
      Em breve
    • Funções nativas, UDFs e pandas UDFsPor que preferir funções nativas e quando uma UDF vale a pena.
      Em breve
  5. Módulo 5Delta Lake

    7 aulas
    • O que é Delta Lake: transações ACID e transaction logComo o Delta garante consistência sobre arquivos Parquet.
      Em breve
    • Criando e gerenciando tabelas DeltaCREATE TABLE, CTAS, propriedades e DESCRIBE DETAIL.
      Em breve
    • MERGE: upserts e deletesCarregar mudanças de forma idempotente com MERGE INTO.
      Em breve
    • Schema enforcement e schema evolutionProteger a tabela de dados errados e evoluir colunas com segurança.
      Em breve
    • Histórico e time travelConsultar e restaurar versões anteriores da tabela.
      Em breve
    • Change data feedLer apenas as linhas que mudaram entre versões.
      Em breve
    • Constraints e generated columnsRegras de qualidade direto na tabela.
      Em breve
  6. Módulo 6Unity Catalog e governança

    9 aulas
    • Modelo de objetos do Unity CatalogMetastore, catálogos, schemas, tabelas, views, volumes e funções.
      Em breve
    • Tabelas gerenciadas e externasDiferenças, quando usar cada uma e o ciclo de vida dos dados.
      Em breve
    • Volumes para arquivosGuardar e ler arquivos não tabulares com governança.
      Em breve
    • Storage credentials e external locationsConectar o armazenamento da nuvem com segurança.
      Em breve
    • Privilégios e GRANT na práticaQuem pode ver e alterar cada objeto, com grupos e herança.
      Em breve
    • Row filters e column masksSegurança em nível de linha e mascaramento de colunas sensíveis.
      Em breve
    • Tags governadas e ABACControle de acesso baseado em atributos e classificação de dados.
      Em breve
    • Lineage e Catalog ExplorerRastrear de onde vem e para onde vai cada dado.
      Em breve
    • Data quality monitoringMonitorar frescor e qualidade das tabelas automaticamente.
      Em breve
  7. Módulo 7Ingestão de dados e streaming

    13 aulas
    • Estratégias de ingestão na DatabricksUpload, COPY INTO, Auto Loader e conectores: como escolher.
      Em breve
    • COPY INTO para cargas incrementais em batchCarregar só arquivos novos de forma idempotente.
      Em breve
    • Auto Loader: ingestão incremental de arquivoscloudFiles, detecção de arquivos novos e checkpoints.
      Em breve
    • Auto Loader: inferência e evolução de schemaLidar com colunas novas e dados fora do padrão (rescued data).
      Em breve
    • Lakeflow Connect: conectores de aplicações SaaSIngestão gerenciada de sistemas como CRM e ERP.
      Em breve
    • Lakeflow Connect: CDC de bancos de dadosReplicar tabelas de bancos transacionais com change data capture.
      Em breve
    • Ingestão de eventos com KafkaLer tópicos Kafka e gravar em tabelas Delta.
      Em breve
    • Fundamentos do Structured StreamingFontes, sinks e o modelo de tabela infinita.
      Em breve
    • Triggers e modos de saídaavailableNow, processingTime e quando usar cada um.
      Em breve
    • Checkpoints e garantia exactly-onceComo o streaming retoma sem perder nem duplicar dados.
      Em breve
    • Watermarks e agregações com estadoJanelas de tempo e dados atrasados.
      Em breve
    • Streaming de e para tabelas Delta e foreachBatchUpserts em streaming e escrita em vários destinos.
      Em breve
    • Real-time mode para baixa latênciaQuando o caso de uso pede milissegundos.
      Em breve
  8. Módulo 8Arquitetura medalhão na prática

    7 aulas
    • Desenhando as camadas bronze, prata e ouroResponsabilidades de cada camada e convenções de nomes.
      Em breve
    • Bronze: dado cru com metadados de ingestãoPreservar a origem e permitir reprocessamento.
      Em breve
    • Prata: limpeza, padronização e deduplicaçãoTipos, nulos, duplicados e chaves de negócio.
      Em breve
    • Modelagem dimensional: fatos e dimensõesStar schema aplicado ao Lakehouse.
      Em breve
    • SCD tipo 1 e tipo 2 com MERGEManter histórico de dimensões de forma correta.
      Em breve
    • Ouro: agregações para o negócioTabelas prontas para dashboards e indicadores.
      Em breve
    • Cargas incrementais e reprocessamentoWatermarks, idempotência e como refazer um período.
      Em breve
  9. Módulo 9Lakeflow Spark Declarative Pipelines

    8 aulas
    • Conceitos: pipelines, flows, streaming tables e materialized viewsO modelo declarativo e quando ele substitui código manual.
      Em breve
    • Primeiro pipeline em SQLCriar e executar um pipeline de bronze a ouro em SQL.
      Em breve
    • Pipelines em PythonA mesma lógica com a API Python e geração dinâmica de tabelas.
      Em breve
    • Expectations: qualidade de dados no pipelineRegras que alertam, descartam ou param o pipeline.
      Em breve
    • AUTO CDC: SCD tipo 1 e tipo 2 declarativoAplicar mudanças e manter histórico sem escrever MERGE.
      Em breve
    • Configuração, modos de execução e custosTriggered vs contínuo, serverless e parâmetros do pipeline.
      Em breve
    • Monitoramento com o event logAcompanhar execuções, qualidade e lineage do pipeline.
      Em breve
    • Lakeflow Designer e materialized views avulsasConstrução visual e streaming tables fora de um pipeline.
      Em breve
  10. Módulo 10Orquestração com Lakeflow Jobs

    6 aulas
    • Criando jobs e tarefasNotebooks, SQL, pipelines e scripts como tarefas de um job.
      Em breve
    • Dependências, parâmetros e valores dinâmicosEncadear tarefas e passar valores entre elas.
      Em breve
    • Agendamentos e gatilhosAgenda, chegada de arquivo e atualização de tabela.
      Em breve
    • Tarefas condicionais e for eachRamificações e execução em lote de uma mesma tarefa.
      Em breve
    • Retries, timeouts, alertas e notificaçõesDeixar o job resiliente e avisar quando falha.
      Em breve
    • Monitoramento e reparo de execuçõesInvestigar falhas e rodar só o que deu errado.
      Em breve
  11. Módulo 11Performance e otimização

    6 aulas
    • Lendo a Spark UIJobs, stages, tasks e onde o tempo está sendo gasto.
      Em breve
    • Layout de dados: liquid clustering e data skippingOrganizar arquivos para ler menos dados.
      Em breve
    • OPTIMIZE, VACUUM e tamanho de arquivosManutenção de tabelas e o problema dos arquivos pequenos.
      Em breve
    • Predictive optimizationDeixar a plataforma cuidar da manutenção automaticamente.
      Em breve
    • Adaptive Query Execution, shuffle e skewEntender e resolver gargalos de joins e agregações.
      Em breve
    • Boas práticas de custo e performanceChecklist para pipelines rápidos e baratos.
      Em breve
  12. Módulo 12Databricks SQL e consumo

    5 aulas
    • SQL editor, consultas e históricoEscrever, salvar e investigar consultas no Databricks SQL.
      Em breve
    • Alertas em consultas SQLAvisar o time quando um indicador sai do esperado.
      Em breve
    • Dashboards AI/BIModelagem do dataset, visualizações, filtros e publicação.
      Em breve
    • Metric views: métricas governadasDefinir uma vez e reutilizar indicadores em todo lugar.
      Em breve
    • Genie Agents: perguntas em linguagem naturalConfigurar um agente para a área de negócio consultar dados.
      Em breve
  13. Módulo 13DevOps e CI/CD

    7 aulas
    • Boas práticas de desenvolvimento e ambientesDev, homologação e produção e organização do código.
      Em breve
    • Databricks CLI e extensão do VS CodeDesenvolver localmente e falar com o workspace pelo terminal.
      Em breve
    • Databricks ConnectRodar código Spark do seu editor no compute da Databricks.
      Em breve
    • Declarative Automation Bundles: estrutura do projetoJobs e pipelines como código, com targets por ambiente.
      Em breve
    • Bundles: deploy em dev e produçãoValidar, publicar e promover entre ambientes.
      Em breve
    • Testes automatizados de transformaçõespytest para funções de transformação e dados de teste.
      Em breve
    • CI/CD com GitHub ActionsPipeline que testa e publica o bundle a cada merge.
      Em breve
  14. Módulo 14Operação, segurança e custos

    5 aulas
    • System tables: billing, auditoria e usoConsultar custos e uso da plataforma com SQL.
      Em breve
    • Cost management: orçamentos e tagsAtribuir custos a times e projetos.
      Em breve
    • Secret managementGuardar credenciais com segurança e usar no código.
      Em breve
    • Service principals e jobs em produçãoExecutar jobs com identidade de serviço, não de pessoa.
      Em breve
    • Auditoria e governança operacionalQuem acessou o quê e como responder a incidentes.
      Em breve
  15. Módulo 15Integração e compartilhamento

    3 aulas
    • Lakehouse Federation: consultando fontes externasLer bancos externos sem copiar os dados.
      Em breve
    • Delta SharingCompartilhar dados com outras empresas e plataformas.
      Em breve
    • Iceberg e UniFormInteroperabilidade de tabelas com outros motores.
      Em breve
  16. Módulo 16Lakebase: Postgres no Lakehouse

    9 aulas
    • O que é o Lakebase e quando usarBanco transacional (OLTP) Postgres gerenciado ao lado do Lakehouse: casos de uso e diferenças para tabelas Delta.
      Em breve
    • Arquitetura: projetos, branches, computes e bancosComo o Lakebase se organiza e o que é criado automaticamente em um projeto novo.
      Em breve
    • Criando um projeto e conectando com psql e OAuthPrimeiro projeto, credenciais temporárias, conexão segura e o banco databricks_postgres.
      Em breve
    • Autoscaling, scale-to-zero e alta disponibilidadeCompute units, limites de escala, pausa automática, réplicas de leitura e failover.
      Em breve
    • Branching: ambientes isolados e recuperação no tempoBranches copy-on-write para testes e migrações, expiração e point-in-time recovery.
      Em breve
    • Synced tables: do Unity Catalog para o PostgresLevar tabelas Delta para o Lakebase com baixa latência, modos de sincronização e change data feed.
      Em breve
    • Lakehouse Sync: do Postgres para tabelas DeltaCapturar as mudanças do banco transacional em tabelas do Unity Catalog para análise (recurso em Beta).
      Em breve
    • Data API e extensões: pgvector e outrasCRUD por HTTP no estilo PostgREST e busca vetorial com pgvector.
      Em breve
    • Projeto: aplicação com Databricks Apps e LakebaseUma aplicação que grava no Lakebase, lê tabelas sincronizadas e respeita permissões do schema.
      Em breve
  17. Módulo 17IA para engenharia de dados

    4 aulas
    • AI functions em SQLClassificar, extrair e resumir texto direto nas consultas.
      Em breve
    • Processando documentos com IAExtrair dados de PDFs e textos para tabelas.
      Em breve
    • Assistente Genie Code no dia a diaGerar, explicar e corrigir código com o assistente.
      Em breve
    • Databricks Apps: visão geralPublicar aplicações de dados dentro da plataforma.
      Em breve
  18. Módulo 18Projeto final e certificação

    7 aulas
    • Projeto final: definição e arquiteturaO caso de negócio e o desenho da solução ponta a ponta.
      Em breve
    • Projeto final: ingestão e camada bronzeAuto Loader e Lakeflow Connect alimentando o bronze.
      Em breve
    • Projeto final: pipeline declarativo prata e ouroQualidade, CDC e tabelas de negócio.
      Em breve
    • Projeto final: orquestração e CI/CDJob em produção publicado via bundle.
      Em breve
    • Projeto final: dashboard e Genie AgentEntregando o resultado para a área de negócio.
      Em breve
    • Preparação para a certificação Data Engineer AssociateTópicos cobrados, estratégia de estudo e simulado comentado.
      Em breve
    • Preparação para a certificação Data Engineer ProfessionalTópicos avançados e como se preparar.
      Em breve