Introdução
O RAG avançado com validação de fontes ajuda o Hermes a responder com base em documentos recuperados, mantendo uma ligação verificável entre afirmações e evidências. A técnica combina busca, seleção de trechos e geração de texto. Sua qualidade depende menos de uma resposta elegante e mais da capacidade de encontrar o material certo, reconhecer lacunas e citar com precisão.
Um RAG básico pode recuperar páginas parecidas e enviá-las ao modelo, mas isso não garante correção. Trechos podem estar desatualizados, fora de contexto ou duplicados. Também podem existir fontes que discordam. O agente precisa avaliar origem, data, relevância e suficiência antes de transformar documentos em conclusão.
Neste tutorial será criada uma recuperação aumentada por geração com ingestão rastreável, busca híbrida, reordenação, citações e detecção de evidência insuficiente. O projeto pode usar documentos internos ou uma coleção pública, desde que as permissões e a origem sejam preservadas.
Pré-requisitos / Materiais
Coleção documental controlada
Escolha documentos com autoria, data e versão conhecidas. Inclua alguns conteúdos repetidos, antigos e contraditórios para que os testes representem condições reais. Defina quais usuários podem consultar cada fonte antes de criar o índice.
Armazenamento textual e vetorial
Guarde o arquivo original, texto extraído, metadados, trechos e vetores. Cada fragmento precisa apontar para documento, página ou seção. Essa relação permite abrir a fonte correta e remover todas as partes quando o original for excluído.
Buscador e reordenador
Prepare busca lexical para termos exatos e busca semântica para significados semelhantes. Um reordenador pode avaliar os candidatos em relação à pergunta completa. Registre pontuações para entender por que um trecho entrou no contexto.
Perguntas de avaliação
Crie perguntas respondidas por uma fonte, por várias fontes e por nenhuma. Acrescente versões com termos ambíguos e premissas falsas. Marque as evidências esperadas para medir a validação de evidências em RAG.
Passo a Passo Sequencial
1. Organize a ingestão
Ao receber um documento, valide formato, tamanho, origem e permissão. Calcule um identificador do conteúdo para detectar duplicidades. Extraia texto preservando títulos, tabelas, página e hierarquia. Arquivos que falharem devem ir para revisão, não para o índice.
2. Divida o conteúdo com contexto
Crie trechos por seção ou unidade de sentido, evitando cortes mecânicos no meio de uma explicação. Inclua uma pequena sobreposição quando necessário. Guarde cabeçalho e localização junto ao fragmento, mas não repita metadados extensos dentro do texto vetorizado.
3. Enriqueça os metadados
Registre título, autor, data, versão, tipo, idioma, assunto e regras de acesso. Marque documentos substituídos e vigência. Metadados permitem filtrar fontes incompatíveis antes que a semelhança semântica influencie a busca.
4. Crie o índice híbrido
Gere embeddings e um índice de palavras. Na consulta, combine resultados com uma fórmula calibrada. Termos técnicos, números e códigos favorecem busca lexical; perguntas conceituais se beneficiam de vetores. Preserve as duas pontuações para análise posterior.
5. Reescreva consultas com cuidado
O Hermes pode expandir siglas e criar subperguntas, mas deve manter a intenção original. Registre a consulta enviada ao buscador e impeça que uma reescrita adicione premissas não fornecidas pelo usuário. Em perguntas compostas, pesquise cada parte separadamente.
6. Aplique permissões antes da relevância
Filtre documentos por usuário, organização e projeto antes da seleção semântica. Nunca recupere um trecho proibido para depois tentar ocultá-lo. O controle no nível da busca reduz risco de vazamento por resposta, citação ou log.
7. Reordene os candidatos
Recupere uma lista ampla e use o reordenador para escolher trechos diretamente relacionados à pergunta. Penalize duplicidades e versões antigas. Mantenha diversidade quando partes diferentes da questão exigirem documentos distintos.
8. Verifique qualidade das fontes
Defina critérios por domínio: documentos oficiais, políticas vigentes e dados primários podem ter prioridade. Uma fonte popular não é automaticamente confiável. O RAG com citações verificáveis deve informar autoria, data e localização suficiente para conferência.
9. Detecte contradições
Compare datas, versões e afirmações centrais. Quando duas fontes válidas discordarem, apresente a divergência e explique o possível motivo, sem escolher silenciosamente. Se uma norma nova substituir a antiga, use metadados de vigência para justificar a preferência.
10. Avalie suficiência das evidências
Antes de gerar, verifique se os trechos cobrem todas as partes da pergunta. Se houver apenas indícios ou nenhum documento adequado, o Hermes deve declarar a limitação. Uma resposta incompleta e honesta é melhor que uma conclusão sem sustentação.
11. Gere com vínculo entre frase e fonte
Instrua o modelo a usar somente o contexto aprovado para afirmações factuais. Associe citações aos trechos durante a geração, evitando adicioná-las depois por semelhança. Cada referência precisa realmente sustentar a frase próxima.
12. Valide a resposta produzida
Execute uma segunda etapa que separe afirmações verificáveis e confira suporte nos trechos citados. Marque frases não sustentadas para remoção ou revisão. Verifique também se a resposta extrapolou o período, público ou escopo do documento.
13. Mostre incerteza de maneira útil
Não use porcentagens de confiança inventadas. Explique a incerteza com motivos concretos: fonte antiga, documentos divergentes ou ausência de dado. Sugira qual informação permitiria concluir com mais segurança.
14. Monitore o sistema
Acompanhe consultas sem resultado, documentos mais citados, falhas de extração, latência e custo. Meça recuperação, reordenação e geração separadamente. Assim, uma resposta ruim pode ser relacionada ao componente correto.
Teste prático completo
Escolha uma pergunta cuja resposta mudou entre duas versões de um manual. O sistema deve recuperar ambas, reconhecer a versão vigente, citar a seção correta e mencionar a mudança se ela for relevante. Depois remova o documento novo e confirme que o Hermes não mantém a conclusão anterior por memória ou cache.
Repita o teste com uma pergunta que combine duas seções distantes e outra que não possua resposta. Verifique se a busca cobre as partes necessárias, se as citações apontam para locais corretos e se a ausência de evidência é comunicada sem completar a lacuna por suposição.
Crie uma rotina para reindexar documentos após mudança do extrator ou modelo de embeddings. Faça a migração em paralelo, compare resultados e mantenha possibilidade de retorno. Durante a transição, não misture índices incompatíveis. A versão do acervo precisa aparecer no rastro de cada resposta.
Perguntas Frequentes
RAG elimina alucinações?
Não. Ele fornece evidências, mas busca e geração ainda podem falhar. Validação, citações e testes reduzem erros e tornam problemas mais fáceis de detectar.
Quantos trechos devem entrar no contexto?
Use apenas os necessários para cobrir a pergunta. O valor ideal depende do tamanho, diversidade e modelo. Contexto excessivo pode reduzir foco e aumentar custo.
Posso indexar qualquer documento?
Não. Verifique direitos, privacidade, segurança e permissão de acesso. Conteúdo autorizado para armazenamento pode ainda exigir restrições de consulta e retenção.
Como lidar com documentos atualizados?
Registre versão e vigência, desative trechos substituídos e reprocesse o índice. Teste se buscas deixam de priorizar a versão antiga após a atualização.
Citações garantem que a resposta está correta?
Não. Uma citação pode ser irrelevante ou mal interpretada. É necessário conferir se a fonte sustenta a afirmação e se o contexto foi respeitado.
Quando o Hermes deve recusar uma conclusão?
Quando faltarem fontes suficientes, houver conflito não resolvido ou a pergunta exigir dados fora do acervo autorizado. Ele pode explicar a lacuna e pedir documentos adicionais.
Um RAG confiável não é apenas um buscador conectado ao modelo. Ele preserva origem, aplica permissões, compara versões e permite verificar cada conclusão. Esse cuidado transforma documentos em apoio real para decisões.
Artigos relacionados: memória semântica para agentes; investigação na web com fontes confiáveis.