Introdução
A observabilidade e avaliação de agentes transforma execuções do Hermes em dados que podem ser investigados e comparados. Sem rastreamento, uma resposta ruim parece um problema único do modelo, quando a causa pode estar na busca, na ferramenta, no contexto, na permissão ou na interpretação do resultado.
Observar não significa guardar todas as mensagens para sempre. O sistema precisa registrar eventos úteis, proteger dados sensíveis e relacionar cada etapa ao objetivo. Avaliar exige critérios representativos, versões controladas e revisão humana em amostras, pois uma métrica automática isolada pode premiar respostas convincentes, mas incorretas.
Este tutorial cria um monitoramento de agentes de IA com rastros, métricas, conjunto de testes e alertas. O objetivo é comparar mudanças de forma repetível, diagnosticar falhas e acompanhar qualidade, custo, latência e segurança em conjunto.
Pré-requisitos / Materiais
Identificadores e versões
Defina identificador para missão, execução, etapa e chamada de ferramenta. Registre versão do agente, modelo, prompts, conectores e base de conhecimento. Sem versão, resultados antigos não podem ser comparados corretamente.
Coletor de eventos
Prepare armazenamento para início, fim, duração, entrada resumida, saída, erro, consumo e estado. Use esquema estável e relógios consistentes. Separe logs operacionais de dados usados em avaliação.
Conjunto de missões
Crie casos frequentes, difíceis, ambíguos e adversariais. Defina resposta esperada ou rubrica. Preserve uma parte para regressão e atualize exemplos quando o uso real mudar.
Política de privacidade
Classifique campos sensíveis, aplique mascaramento, controle acesso e retenção. Não envie conteúdos completos para painéis externos sem necessidade e autorização. A telemetria do agente Hermes deve reduzir risco, não ampliá-lo.
Passo a Passo Sequencial
1. Desenhe o rastro
Represente missão como rastro e cada planejamento, busca, modelo ou ferramenta como etapa. Registre relação entre pai e filho. Isso mostra caminho crítico, paralelismo e ponto exato de uma falha.
2. Padronize eventos
Use nomes e estados consistentes: iniciado, concluído, falhou, bloqueado e cancelado. Inclua duração, tentativa, ferramenta e código de erro. Evite texto livre quando um campo estruturado permitir análise.
3. Registre contexto com moderação
Salve referências e resumos quando o conteúdo completo não for necessário. Remova credenciais e dados pessoais. Permita investigação autorizada do original por caminho separado e auditado.
4. Meça sucesso da missão
Defina sucesso de acordo com a entrega real, não apenas ausência de erro técnico. Uma ferramenta pode responder e o objetivo continuar incompleto. Combine conclusão, qualidade, correção e confirmação do efeito.
5. Acompanhe custo e latência
Meça consumo por etapa, tempo de espera, execução e duração total. Identifique chamadas repetidas, contexto excessivo e gargalos. Compare custo com qualidade antes de otimizar apenas preço.
6. Classifique falhas
Separe entrada inválida, planejamento, recuperação, modelo, ferramenta, permissão, política e integração. Uma taxonomia estável ajuda a priorizar correções e perceber regressões concentradas em um componente.
7. Crie rubricas de qualidade
Avalie precisão, cobertura, evidência, clareza e cumprimento de instruções. Cada critério deve possuir exemplos. A avaliação sistemática de agentes funciona melhor que uma nota única sem explicação.
8. Combine avaliadores
Use verificações determinísticas para formato e citações, modelos avaliadores para aspectos textuais e pessoas para amostras de maior risco. Calibre avaliações automáticas com decisões humanas e monitore discordâncias.
9. Execute testes de regressão
Antes de publicar versão, rode o conjunto fixo e compare com a anterior. Defina limites para quedas de qualidade, aumento de custo e novos incidentes. Não selecione apenas exemplos em que a mudança melhorou.
10. Teste cenários adversariais
Inclua prompt injection, ferramenta indisponível, contexto conflitante e pedido fora de permissão. Verifique se o Hermes bloqueia, pede ajuda e registra a decisão. Segurança precisa fazer parte da avaliação regular.
11. Monte painéis úteis
Mostre sucesso, custo, latência, erros e intervenções por versão, ferramenta e tipo de missão. Permita abrir o rastro. Evite painéis com dezenas de números sem ligação com decisões operacionais.
12. Configure alertas
Alerta deve representar mudança relevante, como aumento persistente de falhas ou custo. Use janelas e limites para reduzir ruído. Incidentes de segurança podem exigir aviso imediato, mesmo com volume pequeno.
13. Feche o ciclo de melhoria
Relacione cada correção a falha observada, hipótese e teste. Depois da implantação, confirme o efeito nas métricas. Documente impactos negativos e mantenha capacidade de retorno à versão anterior.
14. Revise o conjunto de avaliação
Adicione casos reais anonimizados e remova exemplos sem valor, preservando histórico. Evite treinar ajustes apenas para passar no teste. A qualidade de sistemas agentivos deve refletir o uso verdadeiro.
Exercício de diagnóstico
Execute a mesma missão em duas versões, alterando apenas o mecanismo de busca. Compare evidências recuperadas, resposta, custo e tempo. Se a qualidade cair, o rastro deve mostrar se a fonte correta não foi encontrada ou se foi ignorada na geração.
Depois provoque uma falha de ferramenta e confirme que erro, tentativa e bloqueio aparecem no painel. Verifique também se nenhum segredo foi registrado. Uma observabilidade que vaza dados não pode ser considerada melhoria.
Construa indicadores acionáveis
Para cada métrica, registre responsável, faixa esperada e ação quando houver desvio. Se a latência crescer, determine se a equipe examina busca, modelo ou ferramenta. Se a qualidade cair, identifique quais missões e versões foram afetadas. Um número sem resposta prevista raramente ajuda a operação.
Use percentis de duração em vez de apenas média, pois poucas execuções muito lentas podem afetar usuários. Separe custo de tentativas bem-sucedidas e falhas. Acompanhe também cancelamentos, bloqueios corretos e pedidos de ajuda, pois nem toda interrupção representa defeito.
Evite otimização da métrica errada
Reduzir chamadas pode baixar custo e simultaneamente piorar verificação. Aumentar concisão pode remover ressalvas importantes. Sempre observe um conjunto equilibrado de qualidade, eficiência e segurança. Quando indicadores entrarem em conflito, documente a decisão e o contexto do produto.
Faça revisões periódicas com exemplos reais por trás dos números. Uma amostra pequena de rastros bem escolhidos costuma revelar mudanças de comportamento que o agregado demora a mostrar. Use essas descobertas para atualizar testes e alertas.
Documente o dicionário de métricas, fórmulas, fontes e atrasos de atualização. Se duas equipes calcularem sucesso de formas diferentes, o painel criará debates sem solução. Controle mudanças no esquema e valide consultas após migrações. Confiabilidade da observabilidade começa na qualidade dos próprios dados.
Nomeie responsáveis por revisar definições e comunicar mudanças antes que comparações históricas sejam afetadas.
Perguntas Frequentes
Logs e rastros são a mesma coisa?
Não. Logs registram eventos; rastros conectam etapas de uma execução. Ambos se complementam para diagnóstico e análise agregada.
Qual é a principal métrica?
Depende do objetivo. Sucesso da missão é central, mas precisa ser observado junto com qualidade, custo, tempo, segurança e intervenção.
Posso usar outro modelo para avaliar?
Sim, desde que seja calibrado com revisão humana e critérios claros. Avaliadores automáticos também possuem vieses e podem variar.
Quanto tempo guardar os dados?
Somente o necessário para operação, auditoria e obrigações aplicáveis. Defina retenção por tipo e proteja informações sensíveis.
Como comparar versões justamente?
Use o mesmo conjunto, condições e métricas. Registre mudanças de modelo, prompt, ferramentas e dados para evitar conclusões confundidas.
Quando bloquear uma nova versão?
Quando ultrapassar limites de regressão, introduzir falha grave ou não houver evidência suficiente de segurança. Corrija e repita os testes.
Observabilidade torna o comportamento discutível com evidências. Ao unir rastros e avaliações, a equipe melhora o Hermes com menos suposições e consegue recuar quando uma mudança produz efeitos inesperados.
Artigos relacionados: testes de segurança para agentes; planejamento autônomo com métricas.