Aprenda Spark sem Pagar Curso: 3 Sites e 3 Canais do YouTube para Sair do Zero

Para aprender Spark você não precisa pagar curso. Precisa de uma boa trilha e de código rodando.

Existe muito conteúdo gratuito de qualidade, escrito e gravado por quem usa Spark no dia a dia. A dificuldade não é encontrar material, e sim saber por onde começar. Selecionamos 3 sites e 3 canais do YouTube para você sair do zero e chegar em produção.

Monte sua trilha: filtre os recursos

Use os filtros para ver só sites, só vídeos ou o que está em português:

Os 3 sites

• Documentação oficial do PySpark: a fonte mais confiável. Tem guias de DataFrame, Spark SQL e Structured Streaming, escritos por quem mantém o projeto.
• Databricks Free Edition: um ambiente real e gratuito para rodar notebooks Spark na nuvem, sem instalar nada na sua máquina.
• The Internals of Apache Spark: para quando você quiser entender como o Spark funciona por dentro: jobs, stages, shuffle e o otimizador.

Os 3 canais do YouTube

• DataTalksClub: traz o módulo de processamento batch com Spark do Data Engineering Zoomcamp, com projeto para praticar.
• freeCodeCamp.org: um curso completo de PySpark para iniciantes, do setup do ambiente até as transformações.
• Luan Moreno | Engenharia de Dados Academy: Spark e engenharia de dados explicados em português.

Como usar essa lista: Lê, Assiste, Roda, Publica

A ordem importa: aprender, praticar, construir e evoluir. Marque abaixo cada etapa que você já concluiu e acompanhe seu progresso:

Um primeiro código para rodar

Já na Free Edition, crie um notebook e teste algo bem simples. O objetivo é ver o Spark funcionando:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("primeiro-spark").getOrCreate()

df = spark.createDataFrame(
    [("Ana", 30), ("Rafael", 35), ("Necy", 28)],
    ["nome", "idade"],
)

df.filter(df.idade > 29).show()

Em ambientes como o Databricks, a sessão spark já vem pronta; a linha com SparkSession é útil para quando você for rodar na sua própria máquina.

O recado mais importante

Tutorial assistido não é conhecimento. Código rodando é. Assistir a uma aula dá a sensação de que você aprendeu, mas só quando você escreve, erra, depura e publica é que o conhecimento fica. Mesmos dados, maiores ideias.

Para lembrar

• Dá para aprender Spark do zero sem pagar curso.
• Use a documentação como referência, o Databricks Free Edition para praticar e o The Internals para se aprofundar.
• O fluxo é Lê, Assiste, Roda, Publica.
• Termine com um projeto no GitHub: ele é a sua prova de que sabe fazer.