Desenvolver um serviço de log de auditoria para eventos quem-o-que-quando para conformidade

Nossa aplicação cresceu a um ponto em que honestamente não conseguimos responder à pergunta que auditores e clientes corporativos constantemente fazem: quem, o que e quando alguém fez. Neste momento, o histórico de ações está espalhado por logs regulares da aplicação, e esses logs rotacionam, misturam-se com ruídos de depuração e podem ser editados ou perdidos. Isso não é um registro de auditoria, e já está começando a nos fazer perder negócios. Queremos um serviço de log de auditoria especializado que trate cada ação significativa de usuário ou administrador como um evento completo: sujeito, ação, objeto alvo, carimbo de data/hora, IP ou cliente de origem e dados estruturados sobre o que exatamente mudou. Isso não é intencionalmente um projeto de registro geral e não é monitoramento de desempenho, e não é uma página de status. Nos preocupamos especificamente com um rastro confiável de ações de usuários para investigações de conformidade e segurança.

O cerne da tarefa é a proteção contra adulterações e a integridade. Os eventos devem ser gravados em armazenamento apenas para adição, onde qualquer modificação ou exclusão subsequente se torna detectável, por exemplo, através de vinculação de hash-chain, de modo que quebras na cadeia sejam imediatamente visíveis. Nós lidamos com a ingestão de eventos através de uma API limpa que nossos serviços chamam, além de uma biblioteca cliente leve para que os desenvolvedores enviem eventos sem esforço extra. Em cima do armazenamento, precisamos de busca rápida e filtragem por assunto, tipo de ação, objeto, intervalo de datas e texto livre, porque durante um incidente precisamos de respostas em segundos, não em horas. Também precisamos de políticas de retenção personalizáveis por categoria de evento, suporte para retenção legal que suspende a exclusão e acesso baseado em funções para que a leitura do próprio log de auditoria seja controlada e, de preferência, também registrada.

E, finalmente, a conformidade é real apenas quando há algo para entregar ao auditor. Precisamos de exportação confiável em formatos comuns com um manifesto de integridade verificável para que um auditor externo possa verificar se o trecho exportado não foi alterado. Por favor, descreva sua experiência com armazenamentos de eventos de alta integridade, taxa de escrita esperada e como você manterá o desempenho das consultas à medida que o log cresce para centenas de milhões de registros.

— Esquema de evento: assunto, ação, objeto, tempo, fonte, alterações estruturadas
— Armazenamento apenas para adição protegido contra adulterações (hash-chain ou equivalente)
— API de ingestão de eventos e pequena biblioteca cliente para nossos serviços
— Pesquisa e filtragem por assunto, ação, objeto, datas e texto completo
— Políticas de retenção personalizáveis e bloqueio legal na exclusão
— Acesso de leitura baseado em função com acesso ao log registrado
— Exportação verificável para auditores com manifesto de integridade