David Wendel
Neste artigo
Três questões de provas anteriores podem cair no mesmo tópico do edital e, ainda assim, exigir trabalhos muito diferentes do candidato. Uma pede que ele reconheça uma informação conhecida. Outra coloca o mesmo conteúdo dentro de uma situação e exige que descubra onde aplicá-lo. A terceira apresenta alternativas próximas e obriga a perceber uma diferença conceitual pequena.
Se as três forem registradas apenas pelo nome do assunto, essa diferença desaparece. A planilha mostrará três ocorrências do mesmo conteúdo e nada dirá sobre o que foi necessário fazer para chegar às respostas.
É aí que a análise de provas anteriores pode avançar. Contar assuntos continua sendo útil, mas o histórico também permite observar como o conhecimento foi transformado em tarefa. Em vez de tentar descobrir apenas o que uma banca já cobrou, o candidato pode investigar que tipo de raciocínio apareceu quando aquele conteúdo entrou na prova.
Três questões, uma mesma etiqueta
Considere um exemplo hipotético de uma disciplina qualquer. Em três provas anteriores, determinado conceito apareceu três vezes.
Na primeira questão, bastava reconhecer sua definição correta.
Na segunda, o conceito não era mencionado diretamente. O candidato precisava interpretar uma situação e identificar que aquela era a ideia aplicável.
Na terceira, duas alternativas utilizavam conceitos muito parecidos, e a resposta dependia de perceber uma condição que separava um do outro.
Quem contabiliza apenas o tópico registra três ocorrências. A contagem está correta. O problema está em acreditar que ela descreve tudo.
O próprio estudo acadêmico de questões de concurso mostra que existe espaço para observar demandas cognitivas, e não apenas conteúdo. Uma pesquisa publicada na Revista Contabilidade & Finanças analisou 1.675 questões de 37 provas de concursos públicos federais para cargos de contador, realizadas entre 1999 e 2006, classificando as questões segundo níveis de habilidades cognitivas inspirados na Taxonomia de Bloom.
Esse estudo possui um recorte específico, antigo e concentrado na área contábil. Ele não permite concluir que todas as bancas ou concursos funcionem da mesma forma. Sua utilidade aqui é outra: demonstrar que uma questão pode ser analisada também pelo tipo de atividade intelectual que exige.
Pare de contar por alguns minutos
Quando alguém reúne provas antigas, é natural começar pelas frequências. Direito Administrativo apareceu quantas vezes? Porcentagem teve quantas questões? Interpretação de texto ocupou qual parcela da prova?
Essas perguntas ajudam a visualizar o conteúdo da amostra. Elas não precisam ser abandonadas.
O exercício agora é deixá-las de lado temporariamente.
Escolha algumas questões e, antes de registrar o assunto, pergunte:
O que eu precisaria fazer para resolver esta questão, supondo que possuísse o conhecimento necessário?
A resposta deve ser escrita em linguagem simples, sem preocupação inicial com uma classificação acadêmica.
Talvez seja:
- lembrar uma informação específica;
- entender o que uma situação está descrevendo;
- aplicar uma regra a um caso;
- comparar duas possibilidades;
- perceber uma exceção;
- relacionar informações que aparecem em partes diferentes do enunciado;
- distinguir conceitos muito próximos;
- avaliar qual alternativa satisfaz determinadas condições.
O candidato não precisa decidir imediatamente se cada tarefa pertence a uma categoria formal. O objetivo inicial é produzir uma descrição fiel do movimento necessário para resolver a questão.
Essa separação entre conhecimento e processo cognitivo possui base educacional. A Taxonomia de Bloom revisada apresentada pela University of Illinois Chicago organiza processos como recordar, compreender, aplicar, analisar, avaliar e criar e também distingue diferentes dimensões do conhecimento.
Para estudar concursos, porém, não é necessário transformar cada exercício em uma classificação acadêmica perfeita. A taxonomia ajuda a perceber o princípio. Saber sobre o que a questão fala e identificar o que ela exige que o candidato faça são observações diferentes.
Descreva o movimento antes de tentar dar um nome a ele
Existe uma vantagem em começar com frases comuns.
Se o candidato abre uma lista pronta de categorias antes de examinar as provas, existe o risco de tentar encaixar cada questão em uma caixa, mesmo quando a descrição não combina bem com ela.
O caminho inverso preserva mais informação.
Depois de resolver ou examinar uma questão, escreva uma frase como:
“Eu precisava perceber que a regra geral não valia naquela condição.”
Ou:
“O conteúdo estava no texto, mas eu precisava relacionar dois trechos antes de responder.”
Ou ainda:
“Eu conhecia as duas definições, mas a questão dependia de encontrar a característica que separava uma da outra.”
Depois de dezenas de registros, algumas descrições provavelmente começarão a parecer semelhantes. É nesse momento que agrupamentos úteis aparecem com mais naturalidade.
Isso é diferente de decidir antecipadamente que toda questão precisa ser marcada como “memorização”, “interpretação” ou “aplicação”. O padrão deve nascer do material observado.
Misture matérias que normalmente ficariam separadas
Depois de analisar algumas questões dentro de cada disciplina, experimente retirar temporariamente os nomes das matérias da frente da análise.
Uma questão de Administração pode apresentar um caso e pedir que o candidato reconheça qual conceito explica a situação.
Uma questão de Direito pode fazer algo parecido com um instituto jurídico.
Uma questão de outra disciplina pode apresentar duas situações e exigir que se identifique em qual delas determinada regra se aplica.
Os conteúdos são diferentes. A maneira de transformar conhecimento em tarefa possui uma semelhança.
Essa comparação transversal é importante porque alguns padrões não aparecem quando cada matéria é examinada isoladamente.
O candidato pode descobrir, por exemplo, que várias disciplinas apresentam questões em que a definição raramente aparece de forma direta. O conhecimento precisa ser reconhecido dentro de uma situação.
Em outra amostra, pode acontecer o contrário. Muitas questões podem exigir recuperação bastante direta de conceitos, características ou condições.
Nenhum dos dois resultados deve ser presumido antes de abrir as provas.
As exceções contam parte da história
Encontrar uma repetição é tentador. Depois de várias questões com estrutura semelhante, surge rapidamente uma frase como “essa banca cobra desse jeito”.
É justamente nesse momento que as questões diferentes merecem atenção.
Imagine que, entre dez itens analisados de determinado assunto, sete tenham exigido aplicação em situações concretas. Os outros três utilizaram cobrança direta.
Dizer que a aplicação foi frequente na amostra é defensável.
Dizer que a banca “sempre cobra por aplicação” apagaria três observações que contradizem a regra absoluta.
Uma exceção pode significar apenas variação normal. Várias exceções podem indicar que o padrão imaginado era estreito demais. Em ambos os casos, elas impedem que uma recorrência histórica seja transformada em certeza.
Por isso, não esconda questões que não combinam com o agrupamento que começou a surgir. Elas fazem parte do retrato.
Só então volte para os assuntos
Depois dessa primeira leitura, a frequência dos conteúdos volta a ser importante.
Agora, porém, ela possui contexto.
Imagine que dois assuntos apareçam oito vezes cada um em um conjunto de provas.
O primeiro costuma surgir em perguntas diretas, nas quais o candidato precisa reconhecer informações e condições.
O segundo aparece frequentemente dentro de situações que exigem escolher qual conceito se aplica ou relacionar duas informações.
Dizer apenas “os dois apareceram oito vezes” faz parecer que o histórico é idêntico.
Não é.
A frequência responde onde determinado conteúdo apareceu. A análise da tarefa mostra como ele foi utilizado quando apareceu.
É a combinação dessas duas observações que começa a tornar as provas antigas mais úteis para o planejamento.
Uma folha simples pode mostrar o que estava escondido
Não é necessário construir uma base enorme para começar. Uma folha ou planilha com poucas colunas já permite preservar as informações principais.
| Questão | Assunto | O que precisei fazer para resolver | Como o problema foi apresentado | Observação |
|---|---|---|---|---|
| 1 | Conceito hipotético | Reconhecer a definição correta | Pergunta direta | Alternativas bem distintas |
| 2 | Conceito hipotético | Identificar onde o conceito se aplica | Situação prática | Conceito não mencionado no enunciado |
| 3 | Conceito hipotético | Distinguir duas ideias próximas | Comparação de alternativas | Diferença dependia de uma condição específica |
A coluna de observação é propositalmente aberta.
Ela pode receber algo que não estava previsto: texto muito longo, informação irrelevante usada como distração, necessidade de combinar duas regras, alternativas quase idênticas ou qualquer característica que ajude a explicar o trabalho exigido.
Não há motivo para preencher todas as células com frases sofisticadas. O registro deve permitir que o candidato retorne depois e reconheça o que viu.
Materiais produzidos por instituições que elaboram avaliações também mostram que provas anteriores podem ser exploradas de maneiras diferentes. A OCR recomenda trabalhar questões antigas por tópicos, objetivos de avaliação e palavras de comando, além do uso tradicional de resolver uma prova inteira sob limite de tempo.
O contexto é diferente dos concursos brasileiros, mas o princípio é útil: uma prova anterior não precisa servir apenas como simulado completo.
Quando várias linhas começam a parecer parentes
Depois de registrar um conjunto razoável, leia as descrições sem olhar primeiro para o gabarito ou para sua taxa de acertos.
Procure frases que descrevem movimentos semelhantes.
Talvez diferentes questões exijam localizar uma exceção.
Outras podem colocar um conceito dentro de um caso.
Outro grupo pode exigir comparação entre alternativas próximas.
O nome dado ao grupo é menos importante do que a consistência das questões que entram nele.
Depois, observe onde esses grupos aparecem.
Um comportamento pode estar concentrado em uma disciplina. Outro pode atravessar várias matérias. Alguns podem aparecer apenas em provas mais recentes da amostra. Outros talvez dependam do tipo de cargo.
É nesse momento que deixa de existir apenas uma coleção de questões anotadas e começa a surgir um retrato da cobrança observada.
Há ainda um cuidado com os verbos do enunciado. Expressões como “identifique”, “compare”, “analise” ou “explique” fornecem pistas, mas não deveriam ser usadas isoladamente para classificar uma questão. A AQA trata palavras de comando junto com objetivos de avaliação, tipos de questão, contexto e construção dos itens. O verbo faz parte da tarefa, mas a pergunta inteira precisa ser examinada.
Uma banca não é uma personalidade
Depois que o candidato encontra algumas recorrências, surge outro risco: transformar uma organizadora em uma personagem com comportamento fixo.
Frases como “a banca gosta disso”, “a banca nunca faz aquilo” ou “ela sempre cobra dessa maneira” podem esconder o fato de que as provas analisadas foram produzidas para contextos diferentes.
As características observadas em uma organizadora também precisam ser lidas dentro do concurso analisado. Mudar de cargo, área, programa ou instituição organizadora pode alterar bastante aquilo que o candidato encontrará, razão pela qual a adaptação necessária ao trocar de concurso não depende apenas das matérias em comum.
Provas incomparáveis podem fabricar um padrão artificial
Uma prova para determinado nível de escolaridade, outra para uma carreira especializada e uma terceira com programa completamente diferente podem ter sido elaboradas pela mesma instituição e, ainda assim, exigir construções bastante distintas.
Antes de juntar os itens, observe se há proximidade suficiente entre:
- nível e natureza do cargo;
- disciplina analisada;
- conteúdo previsto;
- tipo de prova;
- formato das questões;
- período em que as avaliações foram produzidas.
Isso não significa que todas as provas precisem ser idênticas para entrar na análise. Significa apenas que diferenças relevantes precisam permanecer visíveis.
Se um padrão aparece exclusivamente em um subconjunto muito específico, talvez ele descreva melhor aquele tipo de prova do que a organizadora inteira.
O tempo também muda a amostra
Uma prova antiga continua sendo evidência histórica. Isso não a transforma automaticamente em um retrato atual.
Conteúdos podem mudar, programas podem ser reorganizados e formas de avaliação podem se alterar.
Por isso, datas não devem desaparecer da planilha.
Se determinado comportamento aparece em provas antigas e deixa de aparecer nas mais recentes da amostra, essa informação é mais útil do que somar tudo e apresentar uma única frequência.
O objetivo não é descartar material antigo por idade. É evitar que dez anos de provas sejam tratados como se tivessem sido produzidos no mesmo contexto.
Separe uma prova antes de começar e não use nela para construir o padrão
Existe uma forma simples de testar se sua descrição está útil: reserve uma prova antiga comparável antes de iniciar a análise principal.
Ela não será utilizada para decidir quais recorrências existem.
Depois de construir seu retrato a partir das demais, abra a prova reservada.
Agora observe se aquilo que você encontrou aparece novamente.
Talvez os padrões estejam bastante presentes.
Talvez apareçam apenas em parte.
Talvez a prova reservada revele uma forma de cobrança que não apareceu no primeiro conjunto.
Todos esses resultados são úteis.
Se o retrato não descreve bem uma prova comparável, pode ser necessário ampliar a amostra ou diminuir a força das conclusões.
Isso não transforma a prova reservada em previsão da próxima avaliação. Ela continua sendo uma prova passada. A função é apenas testar se o padrão encontrado descreve algum material histórico que não participou da construção inicial.
Não tente adivinhar a próxima prova
Essa análise perde valor quando vira uma tentativa de profecia.
Se um tópico apareceu em quatro provas, o dado correto é que ele apareceu quatro vezes na amostra examinada.
Se determinado tipo de questão predominou, o dado correto é que houve uma recorrência naquele conjunto.
Nenhuma dessas observações garante repetição.
Também não existe base para eliminar um conteúdo do estudo simplesmente porque apareceu pouco em provas anteriores, se ele continua fazendo parte do programa relevante para a preparação.
As provas antigas ajudam a caracterizar o que aconteceu. O edital ou programa aplicável continua definindo o universo que pode precisar ser estudado.
Essa diferença protege o candidato de duas decisões ruins: estudar exclusivamente aquilo que apareceu no passado ou acreditar que identificou uma fórmula secreta da organizadora.
O padrão só ganha utilidade quando encontra a sua preparação
Até aqui, a análise descreveu as provas, não o candidato.
Essa separação importa.
Uma banca pode ter utilizado com frequência questões que exigem aplicação em situações, mas isso não diz automaticamente se essa é uma dificuldade sua.
Somente quando o histórico da prova é comparado com o próprio desempenho surge uma decisão individual.
Quando você sabe o conteúdo, mas erra o uso
Imagine que você consegue responder perguntas diretas sobre determinado assunto, mas começa a falhar quando o mesmo conhecimento aparece dentro de um caso.
Se a análise das provas mostra que essa forma de cobrança aparece com frequência no conjunto examinado, existe um desalinhamento relevante.
O problema talvez não seja estudar novamente toda a teoria desde o começo.
A prática pode precisar incluir mais questões nas quais o candidato reconheça quando, por que e em que condições aquele conhecimento deve ser utilizado.
Outro candidato pode ter dificuldade em diferenciar conceitos próximos. Se esse tipo de contraste aparece recorrentemente nas provas, exercícios que obriguem a comparar condições podem ter mais valor do que repetir apenas perguntas de definição.
Quando o problema está no próprio conteúdo
Também existe a situação inversa.
O candidato tenta explicar seu desempenho pelo formato da questão, mas o conhecimento básico ainda não está suficientemente disponível.
Se ele não consegue recuperar a regra, explicar o conceito ou reconhecer seus elementos fundamentais, trocar apenas o tipo de exercício não resolve a base do problema. Em algumas situações, será necessário investigar se a dificuldade começa em um conhecimento anterior ao assunto que está sendo praticado.
Por isso, a análise das provas não substitui a análise do próprio desempenho.
Depois de identificar o tipo de tarefa que aparece nas avaliações, pode ser útil examinar também questões que foram acertadas sem domínio seguro, porque um gabarito correto não mostra sozinho se o conhecimento está pronto para ser utilizado novamente em outro formato.
Gabarito, espelho e relatório podem acrescentar outra camada
A questão mostra o que foi perguntado. Quando existem materiais oficiais complementares, eles podem revelar mais sobre o que era esperado na resposta.
Em uma prova objetiva comum, o gabarito informa principalmente qual alternativa foi considerada correta.
Quando há espelho de correção, padrão de resposta, critérios de pontuação ou comentários oficiais, o candidato pode observar quais elementos eram necessários para receber crédito.
Isso é especialmente útil em avaliações discursivas, nas quais duas respostas podem chegar a uma conclusão semelhante e receber avaliações diferentes por causa da argumentação, dos passos demonstrados ou dos elementos apresentados.
A OCR destaca que esquemas de correção e relatórios de examinadores podem ajudar estudantes a observar objetivos avaliados, elementos necessários para pontuação e dificuldades recorrentes de candidatos. Novamente, o sistema de avaliação abordado pela instituição não é o mesmo dos concursos brasileiros, mas a ideia ajuda a usar materiais oficiais adicionais quando eles realmente existem.
Não invente uma exigência que a banca não publicou. Quando só existe questão e gabarito, limite a análise ao que esse material permite observar.
Volte às três questões do começo
No início, havia três questões registradas sob o mesmo assunto.
Uma exigia reconhecer uma informação.
Outra escondia o conceito dentro de uma situação.
A terceira obrigava a separar alternativas muito parecidas.
Depois de analisar várias provas, talvez essas três formas apareçam repetidamente. Talvez apenas uma delas seja frequente. Talvez as três sejam exceções dentro de um conjunto muito mais variado.
É justamente isso que precisa ser descoberto no material, e não decidido antes de examiná-lo.
Uma lista de frequências continua respondendo quais conteúdos apareceram. O passo seguinte é observar o que as questões fizeram com esses conteúdos.
Quando o candidato registra o movimento necessário para resolver cada item, compara questões de matérias diferentes, preserva as exceções, testa o retrato em outra prova e só depois confronta tudo isso com o próprio desempenho, as provas anteriores deixam de ser apenas um arquivo de assuntos já cobrados.
Elas passam a mostrar como determinados conhecimentos foram transformados em tarefas naquele conjunto histórico. Isso não revela o futuro da banca. Revela, com muito mais precisão, o passado que o candidato realmente tem diante de si e permite preparar a prática sem confundir recorrência com promessa.
