Evidently é uma biblioteca open source em Python, com suporte a interface web, voltada para o monitoramento de desempenho de modelos de machine learning em ambientes de produção. Destina-se a cientistas de dados, engenheiros de machine learning e equipes de MLOps que precisam acompanhar problemas como drift de dados, degradação do modelo ou viés algorítmico.

Pode ser usada nas etapas de validação, implantação e operação de modelos. Evidently se integra facilmente a notebooks, pipelines de CI/CD ou pode ser executada como um serviço independente com painéis visuais.

Principais benefícios:

• Reúne verificação de dados, detecção de drift e análise de desempenho em uma só ferramenta.

• Funciona sem necessidade de reentreinar ou alterar o modelo.

• Gera relatórios visuais acessíveis tanto para perfis técnicos quanto não técnicos.

Quais são as principais funcionalidades do Evidently?

Detecção de drift nos dados e na variável alvo

Monitora mudanças nas distribuições das variáveis de entrada e saída:

• Utiliza testes estatísticos como Jensen-Shannon e distância de Wasserstein

• Analisa variáveis numéricas e categóricas separadamente

• Compara dados de produção com um conjunto de referência ou entre períodos distintos

• Identifica as variáveis com maior contribuição para o drift

Monitoramento de desempenho do modelo ao longo do tempo

Avalia se o modelo mantém um bom desempenho em produção:

• Acompanha métricas como acurácia, precisão, recall, F1 score

• Permite análises por segmentos de dados (ex: por região, tipo de usuário)

• Ajuda a identificar degradação do modelo por drift de conceito ou mudanças nos dados

Verificação da qualidade e integridade dos dados

Garante que os dados de entrada sejam válidos, completos e consistentes:

• Detecta valores ausentes, tipos incorretos, outliers

• Aponta distribuições incomuns ou erros de esquema

• Útil como validação antes da inferência

Análise de viés e equidade

Permite verificar se o modelo apresenta tratamento desigual entre diferentes grupos:

• Avaliação com métricas como paridade demográfica e igualdade de oportunidades

• Detecta diferenças de impacto ou erro entre atributos sensíveis

• Relevante para auditoria, compliance e mitigação de riscos

Geração de relatórios e dashboards interativos

Evidently cria relatórios visuais e interativos para análise e comunicação:

• Suporta execução em notebooks, exportação como HTML, ou uso via aplicativo local

• Pode ser usado em modo batch ou integrado a monitoramento contínuo

• Visualizações facilitam o entendimento de tendências e anomalias

Por que escolher o Evidently?

• Solução completa para detecção de drift, controle de qualidade e monitoramento de performance

• Leve, flexível e fácil de integrar com notebooks, pipelines e sistemas de produção

• Independente de framework ou tipo de modelo

• Código aberto e personalizável, com foco em transparência

• Orientado à visualização, ideal para colaboração entre times técnicos e de negócio