NannyML é uma biblioteca open source em Python projetada para o monitoramento de modelos de machine learning após o deployment, especialmente em situações onde os rótulos reais (ground truth) estão atrasados ou indisponíveis. É voltada para cientistas de dados, engenheiros de ML e equipes de MLOps que precisam identificar falhas silenciosas, deriva nos dados e acompanhar o desempenho dos modelos em produção.

Diferente de ferramentas tradicionais, NannyML permite estimar métricas de desempenho sem depender de rótulos reais, utilizando técnicas estatísticas avançadas. É especialmente útil em casos como scoring de crédito, detecção de fraudes ou sistemas de recomendação, onde os resultados verdadeiros só chegam dias ou semanas depois.

Principais benefícios:

• Estima desempenho sem rótulos reais

• Detecta drift nos dados e mudanças na importância das variáveis

• Gera relatórios visuais interativos para análise e diagnóstico

Quais são as principais funcionalidades do NannyML?

Estimativa de desempenho sem ground truth

Permite monitorar o desempenho do modelo em tempo real, mesmo sem feedback imediato:

• Utiliza métodos como CBPE (Confidence-Based Performance Estimation) e DLE (Direct Loss Estimation)

• Estima métricas como acurácia, precisão, recall ou perda

• Identifica quedas inesperadas de desempenho

• Ideal para ambientes com retorno tardio dos rótulos

Detecção de drift nos dados

Avalia se houve mudanças nas distribuições das variáveis de entrada:

• Monitora drift a nível de variável individual e conjunto de dados

• Usa métricas como Jensen-Shannon, PSI e distância de Wasserstein

• Destaca as variáveis mais afetadas

• Auxilia na decisão de retreinar o modelo

Comparação entre desempenho estimado e real

Após a chegada dos rótulos, compara as métricas reais com as estimativas anteriores:

• Analisa a precisão das estimativas

• Exibe curvas de desempenho real x estimado

• Permite ajustar estratégias de monitoramento com base em dados reais

Análise da importância das variáveis e qualidade dos dados

Ajuda a entender mudanças no comportamento do modelo:

• Acompanha mudanças na importância relativa das features

• Detecta dados ausentes, corrompidos ou inconsistentes

• Identifica possíveis causas de falhas nas previsões

Geração de relatórios e visualizações

Oferece ferramentas para análise interativa e documentação:

• Compatível com Jupyter Notebooks, exportação em HTML e dashboards locais

• Ideal para monitoramento contínuo com análise temporal

• Facilita a compreensão e comunicação de anomalias

Por que escolher o NannyML?

• Permite monitorar sem rótulos: essencial para aplicações com feedback atrasado

• Métodos estatísticos avançados: vai além das soluções tradicionais de monitoramento

• Open source e independente de framework

• Visualizações claras e diagnósticos explicativos

• Desenvolvido para ambientes reais de produção