Como analisar as respostas do questionário da pesquisa com IA sem distorcer o que a pessoa disse

Resposta rápida

Sim, a IA pode analisar as respostas abertas do seu questionário, mas o jeito certo é diferente do que a maioria tenta primeiro. Não peça um resumo direto (“resuma o que as pessoas responderam”), porque isso convida a IA a parafrasear e distorcer o sentido original. Peça um codebook: uma lista de categorias/temas, cada uma acompanhada do trecho literal de pelo menos duas ou três respostas que sustentam aquela categoria, mais a contagem de quantas respostas caíram ali. Assim você confere se a categoria faz sentido olhando a fala real de quem respondeu, em vez de confiar cegamente numa síntese que já veio pronta.

Por que isso importa (e por que fazer na mão trava)

Categorizar resposta aberta manualmente funciona bem em pesquisa pequena, mas vira gargalo rápido: pesquisadores relatam que resumir os temas centrais de um conjunto de texto de entrevistas ou questionários exige um volume grande de tempo e recursos justamente porque é trabalho de leitura repetida, linha por linha. A partir de algumas centenas de respostas por rodada, a codificação manual vira o gargalo do projeto inteiro, e é exatamente nesse volume (de centenas a dezenas de milhares de respostas) que a análise assistida por IA compensa mais.

O ponto de referência que a área usa pra julgar se uma ferramenta de IA está fazendo um bom trabalho é o mesmo padrão que se usa entre pesquisadores humanos: pesquisa acadêmica sobre codificação qualitativa trata algo em torno de 80% de concordância entre codificadores como o piso pra considerar uma análise confiável. Ferramentas comerciais de análise temática que já reportam medição pública dizem entregar acurácia de tema acima de 80% direto da caixa, e melhoram conforme alguém revisa e ajusta o modelo de temas. Ou seja: mesmo a ferramenta pronta pra isso não dispensa revisão humana, ela só reduz o trabalho.

O risco real: a IA inventar uma categoria que não existe

O erro mais comum não é a IA ficar “burra” com o texto, é o contrário: ela é boa demais em encontrar padrão, inclusive padrão que não está lá. Se você pedir “quais são os principais sentimentos nessas respostas?” sem mandar o texto bruto completo, ou sem pedir prova literal de cada categoria, ela pode:

• Criar uma categoria elegante que só se sustenta em uma ou duas respostas isoladas, fazendo parecer que é um padrão forte.
• Misturar duas ideias diferentes numa categoria só porque as palavras se parecem.
• Parafrasear a resposta de alguém de um jeito que muda o sentido (a pessoa reclamou de “demora”, a IA generaliza pra “insatisfação com o atendimento”, que é mais amplo do que ela disse).

O antídoto pra isso é simples e sempre o mesmo: exigir citação literal. Toda categoria só é válida se vier acompanhada do trecho exato, entre aspas, da resposta original que a sustenta.

Passo a passo: pedindo a análise sem distorcer o dado

1. Exporte as respostas cruas. No Google Forms: Respostas > ícone de planilha (Sheets) > exporta todas as respostas da pergunta aberta numa coluna só, sem editar nada.
2. Cole o texto bruto inteiro no chat, não um resumo que você mesmo já fez. Se forem muitas respostas, divida em blocos, mas nunca resuma antes de mandar.
3. Peça o codebook, não o resumo. O prompt certo é algo como: “Agrupe essas respostas em categorias temáticas. Para cada categoria, me dê o nome, quantas respostas se encaixam nela, e cite literalmente (entre aspas) pelo menos duas respostas de exemplo.”
4. Peça a tabela de contagem. “Categoria X: 34 respostas (17%)” é informação que você consegue conferir contando manualmente uma amostra, diferente de “muita gente comentou sobre X”.
5. Confira uma amostra manualmente. Pegue 10% das respostas de cada categoria e leia você mesmo. Se a citação que a IA deu não bater com a categoria, o codebook inteiro precisa de revisão, não só aquele item.
6. Peça a “gaveta de outros”. Toda categorização tem resposta que não encaixa em lugar nenhum. Peça explicitamente uma categoria “não classificável / outro” em vez de deixar a IA forçar encaixe.

Análise qualitativa não é análise quantitativa, mesmo com número no meio

Contar quantas respostas caem em cada categoria (o “34 respostas, 17%”) parece estatística, mas continua sendo análise qualitativa: a decisão de QUAL categoria existe e o que entra nela é interpretativa, feita por quem lê o texto, seja humano ou IA. Isso é diferente de uma pergunta fechada (múltipla escolha), onde a contagem é objetiva porque a pessoa já escolheu entre opções fixas.

Na hora de escrever a metodologia do seu trabalho, essa diferença importa: descreva que a categorização foi feita com apoio de IA e revisão humana, isso é uma técnica legítima de análise de conteúdo, não motivo pra esconder.

E se eu tiver entrevista transcrita, em vez de formulário?

O princípio é o mesmo, muda só o volume por resposta. Transcrição de entrevista costuma ser mais longa e ter mais contexto (tom, hesitação, mudança de assunto no meio da fala), então vale pedir pra IA marcar TAMBÉM o trecho de tempo ou o parágrafo aproximado de onde tirou a citação, pra você conseguir voltar no áudio original se precisar confirmar o contexto completo.

O que a IA não deve decidir sozinha

A interpretação final do que os dados significam pro seu argumento é decisão sua, não da IA. Ela é ótima pra organizar volume e sugerir agrupamento, mas a conclusão de pesquisa (o que essas categorias dizem sobre o problema que você está estudando) precisa passar pela sua leitura crítica. Um orientador vai perguntar “por que você agrupou assim?”, e “a IA decidiu” não é resposta aceitável, “eu revisei o agrupamento e confirmei com as citações originais” é.

Quantas respostas preciso ter pra valer a pena usar IA em vez de fazer na mão?

Não existe um número mágico, mas a experiência prática de quem usa essas ferramentas mostra o padrão: com poucas dezenas de respostas, fazer na mão ainda é rápido e você mantém controle total. A partir de umas 100 a 200 respostas abertas, a IA já economiza tempo real, e o ganho fica mais evidente ainda na faixa de milhares de respostas, onde ler tudo manualmente deixaria de ser viável no prazo de uma pesquisa.

A IA pode misturar respostas de perguntas diferentes sem eu perceber?

Só se você mandar o texto sem identificar de qual pergunta cada resposta veio. Sempre rotule o bloco de texto com o número ou o enunciado da pergunta antes de colar (ex.: “Pergunta 3: respostas abaixo”), principalmente se o formulário tiver mais de uma pergunta aberta.

Preciso citar que usei IA na metodologia do meu trabalho?

Sim, na maioria dos cursos e periódicos. Vale descrever a técnica (ex.: “categorização temática assistida por IA com verificação manual de amostra”) na seção de metodologia, do mesmo jeito que se descreve qualquer outra ferramenta ou software de análise usado na pesquisa.

Analisar resposta aberta é a parte da pesquisa que mais recompensa paciência: uma categoria bem sustentada por citação literal vale muito mais, na hora da banca, do que um resumo bonito que ninguém consegue rastrear até a resposta original. Se você já resolveu a parte da coleta de artigos e agora está organizando o material pra escrever, vale também conferir como formatar o trabalho dentro da ABNT e, se algum artigo citado pela IA parecer bom demais pra ser verdade, como confirmar se aquela referência existe de verdade antes de usar.

Aqui na CPDF (Comunidade Profissionais do Futuro - por Danilo Gato) a gente trata análise de dados com IA do mesmo jeito que trata geração de texto: ferramenta poderosa pra organizar volume, mas a citação literal e a revisão humana são o que garante que o dado final ainda representa o que a pessoa realmente respondeu.

Leia também

• IA para pesquisa acadêmica: achar artigos científicos, ler rápido e escrever o TCC sem trapacear
• IA para formatar o trabalho na ABNT: margem, sumário automático, numeração e o que ela não faz por você
• A IA inventou uma referência bibliográfica: como conferir cada citação antes de entregar o trabalho