Por que a IA inventa respostas erradas (alucinação)

Alucinação é o nome dado a quando uma IA gera uma informação que soa correta, mas é falsa ou inventada. Não é um "bug" no sentido tradicional, é uma consequência direta de como o modelo funciona: ele gera a continuação mais provável de um texto, não necessariamente a mais verdadeira.

Por que isso acontece

Quando o modelo não tem informação suficiente sobre um assunto muito específico, ele ainda assim tenta completar a resposta de forma plausível, porque foi treinado para sempre gerar uma continuação. O resultado pode soar confiante mesmo estando errado.

Quando o risco é maior

Perguntas muito específicas (números exatos, citações, nomes pouco conhecidos, eventos recentes) têm mais chance de gerar alucinação do que perguntas gerais e conceituais.

Como se proteger

Peça fontes quando o assunto for factual. Desconfie de números e citações muito específicos sem verificação. Use ferramentas com acesso à internet para perguntas atuais. E, principalmente, trate a resposta da IA como um primeiro rascunho a conferir, não como a palavra final.