"E se a IA inventar um preço?" é a objeção mais legítima que existe em qualquer projeto de atendimento automatizado. Ela merece uma resposta técnica, não uma promessa comercial.
A resposta curta: alucinação é sintoma de lacuna. O modelo preenche o vazio com o que parece plausível. Se você fechar as lacunas — escopo, dado, alçada — o comportamento muda de forma previsível. Se não fechar, nenhum ajuste de texto salva.
Por que o modelo inventa
Um modelo de linguagem prevê a continuação mais provável. Quando a informação necessária não está no contexto, a continuação mais provável ainda existe — e sai com a mesma confiança de uma resposta correta. Não há sinal interno de "eu não sei" a menos que você crie um.
Daí decorrem as três causas mais comuns em atendimento:
- O agente não tinha o dado (sem ferramenta, ou a ferramenta falhou em silêncio).
- O escopo era largo demais ("responda o que o cliente perguntar").
- A instrução era ambígua e o modelo escolheu a leitura errada.
Controle 1 — escopo fechado
O controle mais barato e mais eficaz. Em vez de "você é um assistente da empresa X", defina fronteiras explícitas:
Você atende sobre: status de pedido, segunda via de fatura,
prazo de entrega e agendamento.
Você NÃO fala sobre: preços não constantes na tabela,
prazos que não vierem da consulta, política de exceção,
assuntos jurídicos, nem qualquer tema fora da lista acima.
Se o assunto não estiver na lista, diga que vai passar
para um atendente e chame a ferramenta escalar_humano.
Escopo estreito reduz a superfície de erro mais que qualquer outra técnica. Um agente que faz quatro coisas bem vale mais que um que tenta vinte.
Controle 2 — resposta ancorada em dado real
A regra que deveria estar em toda instrução de agente de atendimento:
Toda afirmação sobre valor, prazo, saldo, disponibilidade ou política precisa vir do retorno de uma ferramenta. Se a ferramenta não retornou, diga que não conseguiu consultar — nunca estime.
Isso transforma preço e prazo em dado consultado, não em texto gerado. E exige o outro lado: as ferramentas precisam existir e falhar de forma explícita. Uma integração que devolve null silencioso é convite para o modelo completar a lacuna. Como desenhar essas chamadas está em como integrar um agente ao ERP e ao CRM.
Para conteúdo textual (políticas, procedimentos, manual), a versão equivalente é a busca: recuperar o trecho relevante e responder com base nele, citando de onde veio. Sem trecho recuperado, sem resposta.
Controle 3 — alçada e aprovação humana
Nem todo erro tem o mesmo peso. Classifique as ações por consequência:
| Risco | Exemplos | Tratamento |
|---|---|---|
| Baixo | informar status, horário, procedimento | agente resolve sozinho |
| Médio | gerar link de pagamento, abrir chamado, agendar | agente executa, com registro e idempotência |
| Alto | desconto, cancelamento, estorno, exceção de política | agente prepara, humano aprova |
A coluna da direita é uma decisão de negócio, não de engenharia. Ela é o que permite dizer com tranquilidade que a IA não decide sobre dinheiro fora da regra.
Controle 4 — deixar o agente dizer "não sei"
Modelos são tendencialmente prestativos demais. Vale instruir explicitamente que não responder é um resultado aceitável, e dar uma saída digna:
Se você não tem certeza ou o dado não veio da consulta, responda: "Não consigo confirmar isso por aqui — vou chamar alguém do time para te responder." E chame
escalar_humano.
Parece óbvio; quase nunca está escrito. A ausência dessa frase explica boa parte das invenções em produção.
Controle 5 — medir, e não confiar na impressão
Sem avaliação, a qualidade é opinião. O mínimo viável:
- Conjunto de casos-teste. 30 a 100 perguntas reais, extraídas do seu histórico, com a resposta esperada. Roda a cada mudança de instrução ou de modelo.
- Amostragem semanal. 20 conversas reais lidas por alguém do time, com marcação de erro por tipo (dado errado, tom, escalonamento tardio, ferramenta não chamada).
- Sinais automáticos. Conversas em que o cliente repetiu a pergunta, pediu humano ou usou palavras de frustração. São o melhor detector barato de resposta ruim.
O ganho maior dessa disciplina é poder trocar de modelo sem medo: com o conjunto de testes, a migração vira uma comparação de números, não uma aposta. Falamos disso em escolha de modelo, fallback e custo.
Controle 6 — piloto com humano no circuito
Nas primeiras semanas, rode em modo sugestão: o agente escreve, uma pessoa aprova e envia. É lento e é o único jeito de descobrir os erros que ninguém previu, sem pagar com cliente.
O critério para soltar não é tempo, é número: quando a taxa de aprovação sem edição passa de um patamar acordado (na prática, algo em torno de 90% em casos do escopo), libera-se por tipo de caso — não tudo de uma vez.
O que não funciona
- Escrever "não invente" e parar por aí. Instrução sem dado não fecha lacuna.
- Temperatura zero como solução. Reduz variação, não erro factual. Um dado que o modelo não tem continua não existindo a 0.
- Modelo maior como solução. Ajuda na margem; não substitui integração.
- Revisar só as conversas que reclamaram. O erro caro é o que o cliente acreditou.
O resumo operacional
Confiabilidade em atendimento com IA vem de arquitetura, não de sorte: escopo estreito, dado real por ferramenta, alçada explícita, saída honesta para o não sei, medição contínua e piloto supervisionado. Com esses seis, dá para colocar um agente falando com cliente sem apostar a reputação da empresa.
Quer avaliar quais dos seus casos entram em cada faixa de risco? Agende uma conversa de 40 minutos.