Curso
Databricks do básico ao avançado
Curso completo de Engenharia de Dados na Databricks, do primeiro notebook à produção: Spark, Delta Lake, Unity Catalog, ingestão com Auto Loader e Lakeflow Connect, Lakeflow Spark Declarative Pipelines, streaming, Lakeflow Jobs, performance, CI/CD com Declarative Automation Bundles, custos e IA. Aulas curtas e aplicadas, baseadas na documentação oficial, com projeto final e preparação para as certificações de Data Engineer.
Avançado119 aulasAulas em gravação: os vídeos são liberados aos poucos
Conteúdo do curso
Módulo 1Fundamentos da plataforma
5 aulas- Boas-vindas e como aproveitar o cursoEstrutura do curso, projeto que vamos construir e como praticar.Em breve
- Arquitetura Lakehouse e o papel da DatabricksData lake, data warehouse e por que o Lakehouse virou padrão.Em breve
- Arquitetura da Databricks: control plane e compute planeComo a plataforma se organiza por dentro e onde seus dados ficam.Em breve
- Free Edition, trial e contas na nuvemOpções para estudar e para usar em empresa, e o que muda entre elas.Em breve
- Tour completo pelo workspaceNavegação, busca, pastas, objetos do workspace e configurações do usuário.Em breve
Módulo 2Compute
5 aulas- Tipos de compute na DatabricksServerless, clusters clássicos e SQL warehouses: quando usar cada um.Em breve
- Compute serverless para notebooks e jobsComo funciona, limites e vantagens do serverless.Em breve
- Clusters clássicos: configuração na práticaRuntime, tamanho, autoscaling, modo de acesso e auto término.Em breve
- SQL warehouses e PhotonWarehouses serverless, dimensionamento e o motor Photon.Em breve
- Políticas de compute e controle de custosPadronizar e limitar recursos com compute policies e tags.Em breve
Módulo 3Notebooks e desenvolvimento
5 aulas- Notebooks a fundo: linguagens, magic commands e visualizaçõesMisturar SQL, Python e Markdown e explorar dados visualmente.Em breve
- Widgets e parâmetrosParametrizar notebooks para reaproveitar em jobs.Em breve
- Databricks Utilities (dbutils)Arquivos, segredos, widgets e encadeamento de notebooks.Em breve
- Arquivos do workspace, módulos Python e bibliotecasOrganizar código reutilizável e instalar bibliotecas.Em breve
- Git folders: versionando notebooks e códigoConectar ao GitHub, branches, commits e pull requests.Em breve
Módulo 4Spark essencial
8 aulas- Como o Spark funciona: driver, executores e lazy evaluationO modelo de execução que explica a performance do seu código.Em breve
- DataFrames: leitura de CSV, JSON e ParquetOpções de leitura, schemas e tipos de dados.Em breve
- Seleção, filtros e colunas calculadasAs transformações mais usadas no dia a dia.Em breve
- Agregações e joinsgroupBy, tipos de join e cuidados com duplicidade.Em breve
- Window functionsRankings, acumulados e comparação entre linhas.Em breve
- Dados complexos: arrays, structs e JSONExplodir, aninhar e ler JSON semiestruturado.Em breve
- Spark SQL e views temporáriasA mesma lógica em SQL e quando preferir cada abordagem.Em breve
- Funções nativas, UDFs e pandas UDFsPor que preferir funções nativas e quando uma UDF vale a pena.Em breve
Módulo 5Delta Lake
7 aulas- O que é Delta Lake: transações ACID e transaction logComo o Delta garante consistência sobre arquivos Parquet.Em breve
- Criando e gerenciando tabelas DeltaCREATE TABLE, CTAS, propriedades e DESCRIBE DETAIL.Em breve
- MERGE: upserts e deletesCarregar mudanças de forma idempotente com MERGE INTO.Em breve
- Schema enforcement e schema evolutionProteger a tabela de dados errados e evoluir colunas com segurança.Em breve
- Histórico e time travelConsultar e restaurar versões anteriores da tabela.Em breve
- Change data feedLer apenas as linhas que mudaram entre versões.Em breve
- Constraints e generated columnsRegras de qualidade direto na tabela.Em breve
Módulo 6Unity Catalog e governança
9 aulas- Modelo de objetos do Unity CatalogMetastore, catálogos, schemas, tabelas, views, volumes e funções.Em breve
- Tabelas gerenciadas e externasDiferenças, quando usar cada uma e o ciclo de vida dos dados.Em breve
- Volumes para arquivosGuardar e ler arquivos não tabulares com governança.Em breve
- Storage credentials e external locationsConectar o armazenamento da nuvem com segurança.Em breve
- Privilégios e GRANT na práticaQuem pode ver e alterar cada objeto, com grupos e herança.Em breve
- Row filters e column masksSegurança em nível de linha e mascaramento de colunas sensíveis.Em breve
- Tags governadas e ABACControle de acesso baseado em atributos e classificação de dados.Em breve
- Lineage e Catalog ExplorerRastrear de onde vem e para onde vai cada dado.Em breve
- Data quality monitoringMonitorar frescor e qualidade das tabelas automaticamente.Em breve
Módulo 7Ingestão de dados e streaming
13 aulas- Estratégias de ingestão na DatabricksUpload, COPY INTO, Auto Loader e conectores: como escolher.Em breve
- COPY INTO para cargas incrementais em batchCarregar só arquivos novos de forma idempotente.Em breve
- Auto Loader: ingestão incremental de arquivoscloudFiles, detecção de arquivos novos e checkpoints.Em breve
- Auto Loader: inferência e evolução de schemaLidar com colunas novas e dados fora do padrão (rescued data).Em breve
- Lakeflow Connect: conectores de aplicações SaaSIngestão gerenciada de sistemas como CRM e ERP.Em breve
- Lakeflow Connect: CDC de bancos de dadosReplicar tabelas de bancos transacionais com change data capture.Em breve
- Ingestão de eventos com KafkaLer tópicos Kafka e gravar em tabelas Delta.Em breve
- Fundamentos do Structured StreamingFontes, sinks e o modelo de tabela infinita.Em breve
- Triggers e modos de saídaavailableNow, processingTime e quando usar cada um.Em breve
- Checkpoints e garantia exactly-onceComo o streaming retoma sem perder nem duplicar dados.Em breve
- Watermarks e agregações com estadoJanelas de tempo e dados atrasados.Em breve
- Streaming de e para tabelas Delta e foreachBatchUpserts em streaming e escrita em vários destinos.Em breve
- Real-time mode para baixa latênciaQuando o caso de uso pede milissegundos.Em breve
Módulo 8Arquitetura medalhão na prática
7 aulas- Desenhando as camadas bronze, prata e ouroResponsabilidades de cada camada e convenções de nomes.Em breve
- Bronze: dado cru com metadados de ingestãoPreservar a origem e permitir reprocessamento.Em breve
- Prata: limpeza, padronização e deduplicaçãoTipos, nulos, duplicados e chaves de negócio.Em breve
- Modelagem dimensional: fatos e dimensõesStar schema aplicado ao Lakehouse.Em breve
- SCD tipo 1 e tipo 2 com MERGEManter histórico de dimensões de forma correta.Em breve
- Ouro: agregações para o negócioTabelas prontas para dashboards e indicadores.Em breve
- Cargas incrementais e reprocessamentoWatermarks, idempotência e como refazer um período.Em breve
Módulo 9Lakeflow Spark Declarative Pipelines
8 aulas- Conceitos: pipelines, flows, streaming tables e materialized viewsO modelo declarativo e quando ele substitui código manual.Em breve
- Primeiro pipeline em SQLCriar e executar um pipeline de bronze a ouro em SQL.Em breve
- Pipelines em PythonA mesma lógica com a API Python e geração dinâmica de tabelas.Em breve
- Expectations: qualidade de dados no pipelineRegras que alertam, descartam ou param o pipeline.Em breve
- AUTO CDC: SCD tipo 1 e tipo 2 declarativoAplicar mudanças e manter histórico sem escrever MERGE.Em breve
- Configuração, modos de execução e custosTriggered vs contínuo, serverless e parâmetros do pipeline.Em breve
- Monitoramento com o event logAcompanhar execuções, qualidade e lineage do pipeline.Em breve
- Lakeflow Designer e materialized views avulsasConstrução visual e streaming tables fora de um pipeline.Em breve
Módulo 10Orquestração com Lakeflow Jobs
6 aulas- Criando jobs e tarefasNotebooks, SQL, pipelines e scripts como tarefas de um job.Em breve
- Dependências, parâmetros e valores dinâmicosEncadear tarefas e passar valores entre elas.Em breve
- Agendamentos e gatilhosAgenda, chegada de arquivo e atualização de tabela.Em breve
- Tarefas condicionais e for eachRamificações e execução em lote de uma mesma tarefa.Em breve
- Retries, timeouts, alertas e notificaçõesDeixar o job resiliente e avisar quando falha.Em breve
- Monitoramento e reparo de execuçõesInvestigar falhas e rodar só o que deu errado.Em breve
Módulo 11Performance e otimização
6 aulas- Lendo a Spark UIJobs, stages, tasks e onde o tempo está sendo gasto.Em breve
- Layout de dados: liquid clustering e data skippingOrganizar arquivos para ler menos dados.Em breve
- OPTIMIZE, VACUUM e tamanho de arquivosManutenção de tabelas e o problema dos arquivos pequenos.Em breve
- Predictive optimizationDeixar a plataforma cuidar da manutenção automaticamente.Em breve
- Adaptive Query Execution, shuffle e skewEntender e resolver gargalos de joins e agregações.Em breve
- Boas práticas de custo e performanceChecklist para pipelines rápidos e baratos.Em breve
Módulo 12Databricks SQL e consumo
5 aulas- SQL editor, consultas e históricoEscrever, salvar e investigar consultas no Databricks SQL.Em breve
- Alertas em consultas SQLAvisar o time quando um indicador sai do esperado.Em breve
- Dashboards AI/BIModelagem do dataset, visualizações, filtros e publicação.Em breve
- Metric views: métricas governadasDefinir uma vez e reutilizar indicadores em todo lugar.Em breve
- Genie Agents: perguntas em linguagem naturalConfigurar um agente para a área de negócio consultar dados.Em breve
Módulo 13DevOps e CI/CD
7 aulas- Boas práticas de desenvolvimento e ambientesDev, homologação e produção e organização do código.Em breve
- Databricks CLI e extensão do VS CodeDesenvolver localmente e falar com o workspace pelo terminal.Em breve
- Databricks ConnectRodar código Spark do seu editor no compute da Databricks.Em breve
- Declarative Automation Bundles: estrutura do projetoJobs e pipelines como código, com targets por ambiente.Em breve
- Bundles: deploy em dev e produçãoValidar, publicar e promover entre ambientes.Em breve
- Testes automatizados de transformaçõespytest para funções de transformação e dados de teste.Em breve
- CI/CD com GitHub ActionsPipeline que testa e publica o bundle a cada merge.Em breve
Módulo 14Operação, segurança e custos
5 aulas- System tables: billing, auditoria e usoConsultar custos e uso da plataforma com SQL.Em breve
- Cost management: orçamentos e tagsAtribuir custos a times e projetos.Em breve
- Secret managementGuardar credenciais com segurança e usar no código.Em breve
- Service principals e jobs em produçãoExecutar jobs com identidade de serviço, não de pessoa.Em breve
- Auditoria e governança operacionalQuem acessou o quê e como responder a incidentes.Em breve
Módulo 15Integração e compartilhamento
3 aulas- Lakehouse Federation: consultando fontes externasLer bancos externos sem copiar os dados.Em breve
- Delta SharingCompartilhar dados com outras empresas e plataformas.Em breve
- Iceberg e UniFormInteroperabilidade de tabelas com outros motores.Em breve
Módulo 16Lakebase: Postgres no Lakehouse
9 aulas- O que é o Lakebase e quando usarBanco transacional (OLTP) Postgres gerenciado ao lado do Lakehouse: casos de uso e diferenças para tabelas Delta.Em breve
- Arquitetura: projetos, branches, computes e bancosComo o Lakebase se organiza e o que é criado automaticamente em um projeto novo.Em breve
- Criando um projeto e conectando com psql e OAuthPrimeiro projeto, credenciais temporárias, conexão segura e o banco databricks_postgres.Em breve
- Autoscaling, scale-to-zero e alta disponibilidadeCompute units, limites de escala, pausa automática, réplicas de leitura e failover.Em breve
- Branching: ambientes isolados e recuperação no tempoBranches copy-on-write para testes e migrações, expiração e point-in-time recovery.Em breve
- Synced tables: do Unity Catalog para o PostgresLevar tabelas Delta para o Lakebase com baixa latência, modos de sincronização e change data feed.Em breve
- Lakehouse Sync: do Postgres para tabelas DeltaCapturar as mudanças do banco transacional em tabelas do Unity Catalog para análise (recurso em Beta).Em breve
- Data API e extensões: pgvector e outrasCRUD por HTTP no estilo PostgREST e busca vetorial com pgvector.Em breve
- Projeto: aplicação com Databricks Apps e LakebaseUma aplicação que grava no Lakebase, lê tabelas sincronizadas e respeita permissões do schema.Em breve
Módulo 17IA para engenharia de dados
4 aulas- AI functions em SQLClassificar, extrair e resumir texto direto nas consultas.Em breve
- Processando documentos com IAExtrair dados de PDFs e textos para tabelas.Em breve
- Assistente Genie Code no dia a diaGerar, explicar e corrigir código com o assistente.Em breve
- Databricks Apps: visão geralPublicar aplicações de dados dentro da plataforma.Em breve
Módulo 18Projeto final e certificação
7 aulas- Projeto final: definição e arquiteturaO caso de negócio e o desenho da solução ponta a ponta.Em breve
- Projeto final: ingestão e camada bronzeAuto Loader e Lakeflow Connect alimentando o bronze.Em breve
- Projeto final: pipeline declarativo prata e ouroQualidade, CDC e tabelas de negócio.Em breve
- Projeto final: orquestração e CI/CDJob em produção publicado via bundle.Em breve
- Projeto final: dashboard e Genie AgentEntregando o resultado para a área de negócio.Em breve
- Preparação para a certificação Data Engineer AssociateTópicos cobrados, estratégia de estudo e simulado comentado.Em breve
- Preparação para a certificação Data Engineer ProfessionalTópicos avançados e como se preparar.Em breve