Verificações de qualidade com PySpark
Exemplo de biblioteca leve para declarar regras de completude, unicidade e validade e rodá-las em notebooks Databricks.
PythonPySparkDatabricks“Há escolas que são gaiolas e há escolas que são asas.”
Ensinar é ajudar o outro a ver. Dados também.
Entre a sala de aula e a plataforma de dados, meu trabalho é o mesmo: tornar visível o que estava escondido, e transformar conhecimento em asas.
Engenharia de dados · Docência · Pesquisa
Temas
Tudo aqui gira em torno de dados. Explore por assunto.
Da biblioteca
Ver tudo →Fundamentals of Data Engineering
O mapa mais completo do ciclo de vida da engenharia de dados, sem se prender a ferramentas da moda.
Designing Data-Intensive Applications
Para entender de verdade o que acontece por baixo de bancos, filas e sistemas distribuídos.
DAMA-DMBOK — Data Management Body of Knowledge
A referência de base para governança e gestão de dados. Denso, mas indispensável para pesquisa.