O que é Hallucination em IA? Entenda alucinações e confabulações

O que é Hallucination em Inteligência Artificial?

Hallucination, ou alucinação, é o termo mais popular para descrever saídas de modelos generativos que parecem plausíveis, mas contêm fatos incorretos, detalhes inventados, referências inexistentes ou afirmações que não são sustentadas pela informação disponível.

O NIST utiliza preferencialmente o termo confabulation em seu perfil de risco para IA Generativa. A escolha busca evitar a impressão de que o sistema possui uma experiência psicológica semelhante à humana.

A IBM define AI hallucinations como respostas geradas que soam plausíveis, mas são falsas, irrelevantes ou fabricadas. Exemplos incluem estudos inexistentes, URLs inventadas, números incorretos ou eventos que nunca aconteceram.

A característica central é a combinação de plausibilidade e falta de fundamento. O problema não é apenas o modelo errar; é errar de forma que possa parecer confiável.

Por que modelos podem inventar?

Modelos generativos são treinados para produzir sequências adequadas ao contexto e aos padrões aprendidos. Eles não funcionam como um banco de dados que verifica automaticamente cada frase em uma fonte externa.

Quando o contexto não contém a informação necessária, o modelo pode continuar a geração usando padrões estatisticamente plausíveis.

A formulação pode soar correta porque o modelo aprendeu estruturas de linguagem, formatos de citações, estilo de relatórios e padrões de resposta.

Por isso, forma convincente e verdade factual são propriedades diferentes.

Alucinação não é simplesmente 'prever o próximo token'

É comum explicar hallucination dizendo apenas que LLMs predizem o próximo token. A afirmação é tecnicamente relacionada ao mecanismo de muitos modelos, mas é insuficiente como explicação de produto.

O risco depende também do treinamento, do contexto, da instrução, da disponibilidade de fontes, da tarefa, do sistema de recuperação e das políticas de resposta.

Um modelo pode gerar fatos corretos usando o mesmo mecanismo probabilístico com que produz um erro.

O problema real é quando o sistema não possui evidência suficiente, utiliza mal a evidência disponível ou não foi desenhado para admitir incerteza.

Tipos comuns de alucinação

Uma alucinação pode ser factual, como afirmar uma data ou número incorreto. Pode ser bibliográfica, como inventar um paper. Pode ser relacional, ao atribuir uma fala à pessoa errada. Pode ser documental, ao citar uma cláusula que não existe.

Também pode surgir como contradição interna: o modelo afirma algo em um parágrafo e o contrário em outro.

Em tarefas de resumo, pode inserir um detalhe que não estava no documento. Em análise, pode apresentar como evidência uma inferência que nunca foi observada.

Separar tipos de erro ajuda a construir avaliações específicas.

Citações e links inventados

Referências são uma área particularmente arriscada porque modelos conhecem a forma de uma citação acadêmica ou URL.

Quando não possuem a fonte real, podem gerar um título, autor, periódico ou link estruturalmente convincente.

A presença de uma citação formatada não deve ser tratada como prova de existência.

Sistemas de pesquisa precisam conectar a geração a fontes recuperadas ou ferramentas de busca e verificar se a referência realmente existe.

Números e precisão falsa

Números específicos transmitem uma sensação de precisão.

Um modelo pode gerar percentuais, datas, preços ou estatísticas sem fonte adequada.

Quanto mais exata a afirmação, maior deveria ser a exigência de evidência verificável.

Em relatórios empresariais, uma prática segura é vincular cada número crítico à fonte e à data.

Hallucination e Retrieval Error

Em sistemas RAG, há pelo menos duas famílias de falha diferentes.

A primeira ocorre quando o mecanismo de retrieval recupera documentos errados, incompletos ou irrelevantes. A segunda ocorre quando o LLM recebe evidência adequada, mas a interpreta ou utiliza incorretamente.

A documentação de otimização da OpenAI recomenda avaliar separadamente retrieval e comportamento do modelo porque corrigir um eixo não resolve automaticamente o outro.

Isso evita culpar o LLM por uma falha que nasceu antes da geração.

RAG reduz alucinação?

RAG pode reduzir alucinações ao fornecer ao modelo informação específica, atual e autorizada no momento da resposta.

Mas não elimina o problema. A recuperação pode trazer um documento incorreto, e o modelo pode extrapolar além do texto recuperado.

Um bom sistema RAG precisa avaliar chunking, retrieval, ranking, contexto, instruções e geração.

Fontes também precisam estar atualizadas e ter autoridade adequada.

Grounding

Grounding é a prática de conectar a resposta do modelo a fontes verificáveis.

Google Cloud descreve grounding como uma maneira de vincular saídas a fontes de informação específicas e reduzir a chance de conteúdo não fundamentado.

A fonte pode ser uma Knowledge Base, web search, banco de dados ou sistema corporativo.

Grounding melhora verificabilidade, mas continua dependendo da qualidade da fonte e da interpretação do modelo.

Ferramentas e dados estruturados

Alguns fatos não deveriam ser gerados pelo modelo quando podem ser consultados de forma determinística.

Preço, saldo, disponibilidade, status de pedido e cálculo podem vir diretamente de API, banco ou ferramenta.

O modelo interpreta a pergunta e apresenta o resultado, mas não precisa inventar o valor.

Tool Use reduz o espaço em que geração probabilística é usada para dados exatos.

Citações como mecanismo de controle

Citações permitem que o usuário confira a origem da afirmação.

Elas também ajudam a aplicação a exigir que determinadas respostas sejam baseadas apenas em trechos recuperados.

Uma citação, porém, precisa apontar para a fonte real e sustentar exatamente a frase associada.

Citar um documento relevante de maneira genérica não prova todas as conclusões do texto.

Abstenção: saber dizer 'não sei'

Um sistema confiável precisa ter permissão para não responder quando evidência é insuficiente.

Prompts e políticas podem orientar o modelo a declarar ausência de informação em vez de completar lacunas.

Isso é especialmente importante em perguntas factuais de alto risco.

Uma taxa ligeiramente maior de abstenção pode ser preferível a respostas convincentes e falsas.

Confidence não é verdade

A linguagem de um modelo pode soar extremamente segura.

Tom confiante é uma característica de estilo e não uma medição confiável de probabilidade factual.

Mesmo quando plataformas expõem scores para determinadas operações, esses valores precisam ser calibrados para o caso de uso.

Usuários não devem inferir certeza a partir de fluência.

Criatividade não é Hallucination

Se o usuário pede uma história fictícia, inventar personagens e eventos é o objetivo.

O problema surge quando conteúdo inventado é apresentado como se fosse um fato do mundo real ou uma informação da fonte.

Em brainstorming, o modelo pode explorar hipóteses desde que sejam identificadas como hipóteses.

Separar fato, inferência e criação reduz confusão.

Hallucination, Bias e Misinformation

Bias descreve padrões sistematicamente distorcidos. Misinformation descreve informação falsa ou imprecisa. Hallucination descreve um mecanismo de geração não fundamentada ou incorreta.

Uma saída pode ter os três problemas ao mesmo tempo, mas eles exigem controles diferentes.

Viés pode exigir dados e avaliações de equidade. Misinformation pode exigir fontes e checagem. Hallucination pode exigir grounding, tool use e políticas de abstenção.

Taxonomias claras ajudam a diagnosticar falhas.

Aplicações de baixo e alto risco

Em ideação criativa, uma alucinação factual pode ter impacto limitado porque a saída será tratada como inspiração.

Em saúde, finanças, jurídico ou segurança, o mesmo padrão pode causar dano.

O nível de controle deve ser proporcional à consequência de um erro.

Isso inclui fontes, supervisão humana, restrições de ferramenta e validação profissional.

Evals de factualidade e groundedness

Sistemas de produção precisam medir alucinação em vez de confiar apenas em testes manuais.

Evals podem verificar factualidade, aderência às fontes, presença de citações corretas e taxa de afirmações sem evidência.

Google Cloud oferece mecanismos de grounding check que comparam uma resposta candidata com fatos fornecidos.

A avaliação deve usar perguntas representativas do domínio real.

O papel da revisão humana

Revisão humana continua importante em conteúdos de alto impacto e publicação externa.

A pessoa deve conseguir acessar as fontes e identificar quais trechos foram produzidos pelo modelo.

Revisão não pode ser apenas uma leitura rápida de fluência; precisa verificar dados críticos.

A IA pode acelerar a primeira versão sem transferir automaticamente responsabilidade.

Design de produto para reduzir alucinação

Um produto pode reduzir risco ao mostrar fontes, separar dados consultados de geração, sinalizar falta de evidência e limitar perguntas ao escopo conhecido.

Também pode usar interfaces estruturadas em vez de respostas livres quando a tarefa exige exatidão.

Logs e tracing ajudam a descobrir se a falha veio de retrieval, ferramenta ou geração.

Confiabilidade é uma propriedade da arquitetura completa, não apenas do modelo.

O que muda na prática?

Hallucination mostra por que IA generativa não deve ser confundida com mecanismo de verdade.

O modelo é excelente para transformar e sintetizar informação, mas precisa de fontes e controles quando fatos importam.

A estratégia madura não é esperar que alucinações desapareçam por completo, e sim projetar o sistema para detectar, reduzir e limitar seu impacto.

Quanto maior o risco da decisão, menor deve ser a quantidade de fatos deixados à geração sem verificação.

Perguntas frequentes