Descrição do projeto
TraduzidoSomos uma empresa de médio porte e, ao longo dos anos, acumulamos muitos bancos de dados, esquemas em nosso armazém de dados, exportações em planilhas e relatórios de BI, mas ninguém tem uma visão completa do que dados existem e onde estão. Os analistas passam dias procurando a tabela certa, perguntam a colegas em chats e reconstroem métricas que já foram calculadas em algum lugar. Quando dois relatórios discordam sobre números, não conseguimos rapidamente descobrir qual fonte está correta e quem a possui. Queremos resolver isso com um catálogo de dados adequado: um único registro pesquisável de conjuntos de dados, tabelas, colunas e relatórios, onde cada um tem uma descrição clara, significado comercial, proprietário e indicador de atualidade.
Além da pesquisa, precisamos de linhagem — a capacidade de ver de onde vem um campo, quais pipelines alimentam uma tabela e quais painéis quebrarão se fizermos uma alteração. Também é importante que os indicadores de qualidade dos dados sejam visíveis diretamente no catálogo: uma pessoa entende imediatamente se é um conjunto confiável, desatualizado ou em revisão. O principal objetivo é a confiança: um analista abre o catálogo, encontra o conjunto de dados que precisa em segundos, entende seu significado, vê quem contatar e já sabe se pode confiar nos números antes de construir qualquer coisa sobre eles.
Estamos dispostos a considerar uma solução de código aberto ou leve adequada em vez de uma plataforma empresarial pesada, se se encaixar em nossa pilha e puder ser mantida por uma pequena equipe. Pedimos que você proponha uma abordagem e cronogramas aproximados.
O que esperamos do trabalho:
— Inventário e coleta automática de metadados de fontes;
— Pesquisa com descrições, proprietários e tags;
— Visualização de linhagem em nível de tabela e coluna;
— Indicadores de qualidade dos dados e um processo de verificação simples.
Além da pesquisa, precisamos de linhagem — a capacidade de ver de onde vem um campo, quais pipelines alimentam uma tabela e quais painéis quebrarão se fizermos uma alteração. Também é importante que os indicadores de qualidade dos dados sejam visíveis diretamente no catálogo: uma pessoa entende imediatamente se é um conjunto confiável, desatualizado ou em revisão. O principal objetivo é a confiança: um analista abre o catálogo, encontra o conjunto de dados que precisa em segundos, entende seu significado, vê quem contatar e já sabe se pode confiar nos números antes de construir qualquer coisa sobre eles.
Estamos dispostos a considerar uma solução de código aberto ou leve adequada em vez de uma plataforma empresarial pesada, se se encaixar em nossa pilha e puder ser mantida por uma pequena equipe. Pedimos que você proponha uma abordagem e cronogramas aproximados.
O que esperamos do trabalho:
— Inventário e coleta automática de metadados de fontes;
— Pesquisa com descrições, proprietários e tags;
— Visualização de linhagem em nível de tabela e coluna;
— Indicadores de qualidade dos dados e um processo de verificação simples.
Outros / Diversos Dinheiro, Transferência bancária
