Pedir pra IA revisar a própria resposta: as perguntas que fazem ela achar o erro sozinha

Resposta rápida

A forma mais direta de fazer a IA revisar a própria resposta é não pedir “está certo?” (ela quase sempre vai dizer que sim), e sim pedir um ataque específico: “aponta 3 coisas que podem estar erradas, incompletas ou mal fundamentadas nessa resposta, e me explica por quê”. Trocar a pergunta de aprovação por uma pergunta de investigação muda o resultado, porque força o modelo a procurar problema em vez de só confirmar o que já escreveu. Pesquisadores chamam essa técnica de self-refine: o próprio modelo gera a resposta, critica a resposta e reescreve com base na própria crítica, sem precisar de dado novo nem de outro modelo no meio do caminho.

Por que só pedir “revisa aí” quase nunca funciona

Quando você manda “revisa essa resposta” ou “tem certeza disso?”, o modelo tende a reafirmar o que já disse, às vezes até com mais confiança do que antes. Isso acontece porque o pedido não muda a tarefa: ele continua sendo “concorde ou não com o que eu disse”, e a saída mais provável, estatisticamente, é a confirmação.

O ganho aparece quando a pergunta muda o papel do modelo, de autor pra crítico. Um estudo de referência sobre o assunto, o Self-Refine (Madaan et al., publicado no NeurIPS 2023), testou esse método de gerar, criticar e refinar em sete tarefas diferentes, com GPT-3.5, ChatGPT e GPT-4, e mediu uma melhora média de cerca de 20 pontos percentuais absolutos na qualidade das respostas, na comparação com a versão de uma etapa só, sem revisão. A diferença inteira estava em como a pergunta de crítica foi formulada, não em dar mais dado pro modelo.

Quais perguntas fazem a IA achar o próprio erro

Guarda esse repertório. São perguntas testadas pra puxar autocrítica de verdade, não elogio disfarçado de revisão:

1. “Aponta 3 pontos fracos dessa resposta, do mais grave pro mais leve, e explica cada um.” Força ranking, o que impede a resposta genérica “está tudo ótimo”.
2. “Se um especialista experiente nessa área lesse essa resposta, o que ele criticaria primeiro?” Muda o ponto de vista pra alguém com padrão mais alto, e isso puxa crítica mais dura.
3. “Assume que essa resposta tem pelo menos um erro factual ou um raciocínio furado. Encontra ele.” A premissa “tem erro” quebra o viés de concordar consigo mesmo.
4. “Reescreve essa resposta como se você tivesse que defender ela num debate contra alguém que discorda de tudo.” Obriga o modelo a antecipar a objeção mais forte, não a mais fácil.
5. “O que está faltando aqui que uma pessoa que sabe do assunto ia sentir falta na hora?” Pega lacuna, não erro, que é outro tipo de falha comum (resposta correta, mas incompleta).
6. “Refaz essa resposta do zero, sem olhar a anterior, e depois compara as duas: onde elas divergem, e qual versão está mais sólida?” É uma variação mais forte, útil quando o assunto é importante o suficiente pra gastar uma rodada extra.

Isso funciona igual pra código?

Funciona, mas a pergunta certa muda. Em código, pedir “revisa esse código” tende a receber de volta um comentário sobre estilo. O que realmente pega bug é pedir cenário: “lista 5 entradas que provavelmente quebram essa função (vazio, negativo, tipo errado, tamanho muito grande, caractere especial) e testa cada uma mentalmente”. Isso transforma a revisão de opinião em simulação, e simulação encontra erro que opinião não encontra. A mesma lógica vale pra planilha e fórmula: em vez de “essa fórmula está certa?”, peça “quais três valores de entrada dessa fórmula dariam resultado errado ou erro de cálculo?”.

Um exemplo aplicado, do prompt errado ao prompt que funciona

Pra sair do genérico, segue uma sequência real de como isso muda o resultado, num caso comum: pedir pra IA analisar o motivo de queda de vendas de um mês.

Prompt 1 (a resposta original). “Analisa esses números de vendas de agosto e me diz por que caíram.” A IA devolve uma resposta plausível: menciona sazonalidade, talvez cite concorrência, e fecha com uma recomendação genérica de “investir mais em marketing”.

Prompt 2 (o pedido de revisão fraco). “Tem certeza dessa análise?” Nove em cada dez vezes, a resposta que volta é uma reafirmação educada: “sim, a análise considera os principais fatores, mas você pode aprofundar se quiser”. Nada mudou, porque a pergunta não pediu nada específico.

Prompt 3 (a pergunta de crítica que funciona). “Quais dessas conclusões você tirou olhando só o número total, sem comparar com o mesmo período do ano passado ou sem separar por produto? Aponta isso antes de eu levar essa análise pra reunião.” Essa pergunta muda o comportamento do modelo: ele é forçado a admitir que a “sazonalidade” foi um chute sem comparação histórica, que “concorrência” não tinha dado nenhum pra sustentar, e que a queda pode estar concentrada em um produto específico, não no total. A resposta final, depois dessa rodada, fica mais curta, mais honesta sobre o que é suposição e o que é fato, e mais útil na hora de decidir alguma coisa de verdade.

O padrão se repete em qualquer área: a pergunta de crítica boa sempre nomeia o tipo de falha que você está procurando (suposição sem dado, comparação que faltou, caso que não foi testado), em vez de pedir uma opinião solta sobre a qualidade geral do texto.

Quantas vezes vale a pena pedir revisão

Na prática, a maior parte do ganho aparece na primeira rodada de crítica. A segunda rodada ainda ajuda em tarefa complexa (código com várias funções, texto técnico longo, análise com múltiplas etapas), mas a partir da terceira o retorno cai bastante e o risco cresce: o modelo pode começar a “consertar” o que já estava certo, só porque você pediu mais uma crítica e ele precisa entregar alguma coisa. Regra prática: peça uma crítica específica, aplique o que fizer sentido, e só peça uma segunda rodada se a primeira revelou algo estrutural (não um ajuste de forma).

Quando a autocrítica da IA não vale confiança

Existe um limite real que vale saber antes de confiar cego nessa técnica: pesquisa recente (como o trabalho “Self-[In]Correct”, que testa a capacidade dos modelos de discriminar entre respostas geradas por eles mesmos) mostra que os modelos ainda erram bastante ao julgar se a própria resposta anterior está certa ou errada, principalmente em tarefas que exigem cálculo exato, data específica ou fonte verificável. Ou seja: a autocrítica melhora estilo, estrutura, completude e raciocínio lógico visível, mas não substitui checar um número, uma citação ou um fato contra uma fonte de verdade. Pedir pra IA revisar a própria resposta reduz erro; não elimina a necessidade de conferir o que importa de verdade.

Como aplicar isso no seu dia a dia

Três situações comuns em que vale colar esse hábito:

• Depois de pedir um e-mail ou mensagem importante: “aponta o trecho que pode soar mal-educado ou ambíguo pra quem vai ler, e sugere reescrita”.
• Depois de pedir uma análise ou resumo de dado: “quais dessas conclusões dependem de uma suposição que eu não confirmei? Lista elas separadas do resto”.
• Depois de pedir um plano ou passo a passo: “qual passo desse plano tem mais chance de falhar na prática, e por quê?”.

O ponto comum das três é o mesmo do resto do artigo: pedir concordância traz concordância, pedir investigação traz achado. Quem usa ferramentas como o Claude no dia a dia dentro da CPDF (Comunidade Profissionais do Futuro, por Danilo Gato) sente essa diferença rápido, porque o mesmo prompt, com uma segunda pergunta bem feita de crítica, já evita retrabalho que só apareceria depois, na hora de usar a resposta de verdade.

Se você quer ir além da autocrítica e entender também como formular a pergunta original pra já reduzir erro antes mesmo de a IA responder, o artigo sobre fazer a IA fazer perguntas antes de responder cobre o outro lado do mesmo fluxo: um cuida do antes, o outro cuida do depois.