Fundamentos da qualidade de dados: guia prático para criar pipelines de dados confiáveis (eBook)

Os dashboards de seus produtos parecem esquisitos? Os relatórios trimestrais estão desatualizados? O conjunto de dados que você está usando está comprometido ou simplesmente errado? Caso tenha respondido sim a essas perguntas, este livro é para você. Geralmente, problemas desse tipo são tratados de forma improvisada e reativa, por mais que afetem quase todas as equipes. Atualmente, muitas equipes de engenharia de dados enfrentam o problema de “pipelines bons, dados ruins”. Se os dados que está processando forem ruins, não importa o nível de avanço de sua infraestrutura de dados. Neste livro, Barr Moses, Lior Gavish e Molly Vorwerck, da empresa de observabilidade de dados Monte Carlo, explicam como abordar a qualidade e a confiabilidade de dados em larga escala, recorrendo às melhores práticas e às tecnologias usadas por algumas das empresas mais inovadoras do mundo. • Crie pipelines de dados mais confiáveis • Escreva scripts para fazer verificações de dados e a fim de identificar pipelines comprometidos com observabilidade de dados • Aprenda como definir e manter SLAs, SLIs e SLOs de dados • Aprenda como tratar serviços e sistemas de dados com a diligência do software de produção • Aprenda como tratar serviços e sistemas de dados com a diligência do software de produção • Automatize grafos de linhagem de dados em todo o seu ecossistema de dados • Crie detectores de anomalias para seus ativos essenciais de dados “Leitura obrigatória para quem se preocupa com a qualidade dos dados.” — Debashis Saha Data Leader AppZen, Intuit, e eBay Barr Moses é a CEO e cofundadora da Monte Carlo, empresa especializada em confiabilidade de dados. Já serviu como comandante de uma unidade de inteligência de dados na Força Aérea de Israel, trabalhou como consultora da Bain & Company e foi vice-presidente de operações da Gainsight. Lior Gavish, é CTO e cofundador da Monte Carlo e também da startup de cibersegurança Sookasa, adquirida pela empresa Barracuda, em 2016. Na Barracuda, foi vice-presidente sênior de engenharia. Tem MBA de Stanford e mestrado em ciência da computação pela Universidade de Tel-Aviv. Molly Vorwerck, é a chefe de conteúdo da Monte Carlo. Antes, foi editora-chefe do blog Uber Engineering e liderou o principal programa da equipe de marca técnica da Uber e também as comunicações internas do diretor de tecnologia e a estratégia do programa de revisão de pesquisa do Uber AI Labs.