dados são a nova água
Entenda por que a Engenharia de Dados é a base que sustenta análises, inteligência artificial e a transformação digital nas empresas.
Trilha de Engenharia de Dados
Entenda o que é Engenharia de Dados, aprenda os fundamentos de pipelines e modelagem e avance para Spark, Kafka e arquiteturas de dados.
Seu progresso
0% concluído · 0 de 19 conteúdos concluídos
O progresso fica salvo apenas neste navegador, sem login e sem sincronização com outros dispositivos.
Continue de onde parou
Você ainda não concluiu nenhum conteúdo desta trilha.
Começar trilha →Fundamentos
Entenda o papel da Engenharia de Dados, como um pipeline funciona e como os dados são carregados e modelados para análise.
-
-
Engenharia de Dados ≠ Ciência de Dados.
Descubra as principais diferenças entre Engenharia de Dados e Ciência de Dados e entenda como essas áreas trabalham juntas para transformar dados em decisões…
-
Afinal, o Que É um Pipeline?
Entenda de forma simples o que é um pipeline na tecnologia, com exemplos de pipeline de dados e de desenvolvimento explicados a partir de uma receita de bolo.
-
Fluxo do Pipeline de Dados: Da Origem à Análise
Entenda as cinco etapas de um pipeline de dados moderno: origem, ingestão com Kafka, armazenamento em Data Lake, processamento com Spark e análise.
-
ETL vs ELT
Entenda por que ETL e ELT são conceitos fundamentais para Engenharia de Dados, Analytics e arquiteturas modernas em cloud
-
Como Carregar Seus Dados: Incremental, Full, Append, Overwrite e Upsert
Entenda as 5 estratégias de carga de dados — Incremental, Full, Append, Overwrite e Upsert — com exemplos simples, vantagens, cuidados e um guia para escolher a ideal para o seu cenário.
-
OLTP vs OLAP: você sabe realmente a diferença?
Entender sistemas transacionais e analíticos é essencial para arquitetura de dados moderna
-
Data Warehouse vs. Data Lake: O que você precisa saber para sua próxima entrevista em Engenharia de Dados!
Entenda as diferenças entre Data Warehouse e Data Lake e saiba explicar quando usar cada abordagem em entrevistas e projetos reais
-
Modelo Star Schema
Simples, elegante e poderoso. O modelo Star Schema, criado por Ralph Kimball, é a base de soluções analíticas que entregam performance e clareza para tomada de…
-
Grão da Tabela Fato: Defina o Nível de Detalhe Antes de Escolher a Ferramenta
Entenda o que é o grão da tabela fato, compare uma linha por pedido com uma linha por item de pedido, veja que perguntas de negócio cada grão responde e como escolher o grão certo antes da ferramenta.
Spark
Veja por que o processamento distribuído é necessário e conheça a base e a arquitetura do Apache Spark.
-
Pandas ou PySpark?
As duas ferramentas são fundamentais no ecossistema de dados, mas cada uma resolve problemas diferentes.
-
RDD no Apache Spark: a base de tudo
Entender RDD é compreender os fundamentos que tornam o Spark tão poderoso para processamento distribuído
-
Arquitetura do Apache Spark: Driver, Cluster Manager, Executors e Tasks
Entenda a arquitetura do Apache Spark de forma simples: o papel do Driver, do Cluster Manager, dos Workers, dos Executors, do cache e das Tasks no processamento distribuído de grandes volumes de dados.
Kafka
Combine ingestão de eventos e processamento em tempo real com Apache Kafka e Spark Streaming.
-
Apache Kafka + Spark Streaming em Tempo Real
Entenda como Kafka e Spark Streaming trabalham juntos para processar milhões de eventos em tempo real com escalabilidade.
Arquitetura
Entenda como batch, streaming e armazenamento se combinam em arquiteturas de dados completas.
-
Arquitetura Lambda: quando batch e streaming trabalham juntos
Nem todo problema de dados pode ser resolvido apenas com batch ou apenas com streaming. A Arquitetura Lambda nasceu para unir precisão histórica com baixa…
-
Arquitetura Kappa: Simplificando o processamento de dados em tempo real
Entenda como a Arquitetura Kappa simplifica pipelines de dados utilizando processamento contínuo de eventos em tempo real.
-
Data Lake ou Data Swamp?
Armazenar dados não é suficiente. Entenda por que organização, contexto e governança definem se o seu ambiente de dados gera valor ou se transforma em um…
-
O Que é um Data Hub
Entenda o que é um Data Hub, como ele se diferencia de Data Lakes e Warehouses, e como essa arquitetura conecta fontes, aplica governança e viabiliza análises…
-
Data Fabric
Entenda como a arquitetura Data Fabric integra ecossistemas fragmentados, conectando fontes, tecnologias e domínios em uma camada unificada e governada.
Para se orientar
Leitura complementar para começar com Spark. Ela não faz parte da sequência nem do progresso.