Guia · IA na Prática · 5 min

Como saber se o seu agente de IA está funcionando: o teste de 20 casos

A maioria das empresas responde "o agente está bom?" com sensação. Aí alguém mexe no prompt, quebra três coisas e ninguém percebe. Este guia monta o conjunto de teste que transforma achismo em número, numa tarde e sem ferramenta nenhuma.

Junte 20 casos reais que já aconteceram e escreva a resposta certa do lado de cada um. Isso é o seu conjunto de teste. Toda vez que alguém for mexer no agente, rode os 20 antes e depois e compare. Planilha resolve; ferramenta só depois que doer.

Fabian Martinelli · 11 de agosto de 2026 · Agentes de IA, Avaliação, Produção, PME

Pergunta desconfortável: como você sabe que o seu agente de IA está funcionando?

Quase toda empresa que ligou um agente responde isso com sensação. Achei que melhorou. Parece que está respondendo bem. O cliente não reclamou essa semana.

Sensação não é medida, e o preço disso aparece sempre do mesmo jeito: alguém mexe no prompt para corrigir uma coisa, quebra três outras, e ninguém percebe — porque não existia como perceber. Duas semanas depois o cliente reclama de algo que já estava quebrado desde a terça.

Este é o primeiro guia da série Agente em produção. Ele resolve a base de todo o resto: se você não consegue medir, não consegue melhorar nem defender uma decisão.

Nota

O que você vai ter no fim: uma planilha com 20 linhas que diz, em minutos, se a última mudança no agente melhorou ou piorou as coisas. Leva uma tarde para montar e vale para sempre.

1 · Por que 20 casos, e não 3 nem 200

Três casos não pegam nada: qualquer mudança passa. Duzentos você não roda, e o que não se roda não existe.

Vinte é o número que cabe numa tarde, dá para conferir a olho em vinte minutos e já cobre o suficiente para uma quebra aparecer. Se depois de uns meses o agente ficar crítico, você cresce esse conjunto. Comece com vinte.

2 · De onde saem os casos

Do que já aconteceu. Não invente cenário — invente mal, e você acaba testando o agente contra a sua imaginação em vez de contra a realidade.

Vá no histórico: conversas de cliente, pedidos, e-mails, chamados, mensagens de WhatsApp. Pegue os últimos que passaram pelo processo que o agente cobre.

Monte a mistura assim:

10 casos comuns. O feijão com arroz, o que acontece todo dia.
5 casos de borda. Aquele cliente que escreveu tudo em maiúscula, o pedido que veio sem um campo, a pergunta que mistura dois assuntos.
3 casos em que o agente deve recusar ou escalar. Pedido de desconto fora da alçada, reclamação séria, dúvida jurídica.
2 casos que já deram errado. Aqueles que você lembra porque doeram. São os mais valiosos do conjunto.

Se você tem menos de 20 casos reais no histórico, o agente é novo demais para ser avaliado. Deixe rodar mais uma semana e volte.

3 · A resposta certa vai do lado

Aqui está o trabalho de verdade, e é o que quase todo mundo pula.

Para cada caso, escreva qual seria a resposta certa. Não precisa ser a redação perfeita — precisa ser o conteúdo que a resposta tem obrigatoriamente que ter.

Na prática, três colunas resolvem:

Coluna	O que vai nela
Entrada	a mensagem real, copiada como chegou
Tem que ter	os pontos que a resposta precisa conter para estar certa
Não pode ter	o que invalida a resposta (preço errado, prazo que você não pratica, promessa fora de alçada)

A coluna "não pode ter" é a que salva você. É ela que pega a resposta bonita, educada e completamente errada.

4 · Como rodar

A regra é uma só: rodar antes e depois de toda mudança. Prompt novo, modelo trocado, ferramenta adicionada, base de conhecimento atualizada. Tudo.

Passe os 20 casos pelo agente e cole as respostas numa coluna.
Marque cada uma: passou, passou com ressalva, falhou.
Anote a data e o que mudou naquela versão.
Compare com a rodada anterior.

O que interessa não é a nota absoluta. É o que piorou. Um agente que foi de 17 para 18 acertos parece melhor — mas se dos 3 que ele errava agora ele erra 2 diferentes, alguma coisa quebrou e você precisa saber qual.

5 · Quem marca

Uma pessoa, com nome, e de preferência quem conhece o processo — não quem montou o agente. Quem montou tende a ler a resposta com boa vontade.

Marcar 20 casos leva uns 20 minutos depois que a planilha existe. É a atividade mais barata dessa lista e a que mais evita retrabalho.

6 · O que esse teste NÃO pega

Sendo honesto sobre os limites, porque um teste em que você confia demais é pior que nenhum:

Não pega o que não está no conjunto. Casos novos, sazonais, ou um tipo de cliente que ainda não apareceu.
Não mede tom nem experiência. Mede conteúdo. Se o tom importa muito para você, adicione uma coluna de "soa como a gente?" e aceite que essa é subjetiva.
Não substitui olhar conversa real. Continue lendo uma amostra do que o agente respondeu de verdade, toda semana. O teste protege contra regressão; a leitura descobre o que você nem sabia que era um caso.

7 · Quando sair da planilha

Quando alguma destas doer:

Rodar os 20 na mão começou a consumir tempo demais (sinal: você está pulando rodadas).
Você tem mais de um agente em produção.
Mais de uma pessoa mexe no prompt.

Aí vale automatizar a rodada. Mas automatize o que já existe — quem compra ferramenta de avaliação antes de ter os 20 casos escritos acaba com uma ferramenta vazia e o mesmo achismo de antes.

Por onde começar hoje

Abra uma planilha com as três colunas: entrada, tem que ter, não pode ter.
Puxe 20 casos reais do histórico, na mistura da seção 2.
Preencha a coluna "tem que ter" de todos. Essa é a tarde de trabalho.
Rode os 20 no agente como ele está hoje. Essa é a sua linha de base.
Combine com a equipe: ninguém mexe no agente sem rodar os 20 depois.

O próximo guia da série é sobre a segunda dor de agente em produção: a fatura que estoura e as três causas que estão sempre por trás.

Fabian Martinelli implanta IA em pequenas e médias empresas e é certificado nas normas internacionais de gestão, risco e governança de IA (ISO 42001, 23894 e 38507).