Em 4 pontos, os erros que transformaram o Enem 2019crise:

Além disso, até a quarta-feira da semana passada (22) pelo menos 250 estudantes já haviam apresentado reclamações ao Ministério Público Federal (MPF) a respeitosuas notas.

Os erros na correção da prova levaram a Justiça FederalSão Paulo a suspender a divulgação dos resultados do SistemaSeleção Unificada (Sisu), que seleciona alunos para vagasuniversidades com base nas notas do Enem — o processo só foi liberado na tardeterça-feira (28) por decisão do Superior TribunalJustiça (STJ).

Mas as dificuldades não terminaram com a decisão do STJ. Alguns estudantes relataram problemas para utilizar o site do Sisu — aparentemente a opçãolistaespera para cursos não funcionou adequadamente, e a hashtag #erronalistadeespera foi um dos assuntos mais comentados no Twitter na tardeontem.

Além disso, o MPF disse ter encontrado irregularidades na destinaçãovagas a candidatos com deficiência no Sisu. A Procuradoria da República no Distrito Federal (PRDF) deu prazocinco dias para que o Ministério da Educação preste informações sobre o assunto.

O processoelaboração do exame também foi marcado por problemas ao longo deste ano: o Inep, responsável por realizar as provas, trocoupresidente quatro vezes desde o início da gestãoJair Bolsonaro — um dos presidentes do instituto permaneceu apenas 18 dias no cargo.

Em abril, a gráfica que imprimiria as provas, a RR Donneley, encerrou suas atividades no Brasil, alegando dificuldades financeiras. Dias depois, o governo contratou uma outra empresa para a tarefa, sem realizar processo licitatório, por R$ 151,7 milhões.

No primeiro diaprovas, 3novembro, novo sobressalto: uma foto da provaredação circulou nas redes sociais enquanto o exame estava ocorrendo.

João Marcelo Borges é diretorEstratégia Política do Todos pela Educação, uma organização da sociedade civil. Para a organização, os problemas começaram bem antes da realização da prova, quando o MEC montou uma comissão para expugar itens "ideológicos" do bancoquestões usado no Enem.

"A nossa avaliação éque o MEC e o Inep conduziram muito mal o Enem. Tanto na preparação para a prova, com essa comissão para avaliar o Banco NacionalItens, quanto depois, na correção. Muito embora a quantidadealunos afetados possa parecer pequena, menos1%, a dimensão qualitativa desse problema é grave", diz Borges.

"Tanto o MEC quanto o Inep têm sido apenas reativos desde que os problemas começaram a aparecer. Não foi o Inep que identificou os erros na correção. Foram os alunos que identificaram os problemas e começaram a reclamar nas redes sociais, e isso fez com que o Inep identificasse o erro, depoisdivulgados os resultados. Isso jamais poderia ter acontecido. O Inep deveria ter feito todos os testessegurança para garantir os resultados", completa Borges.

No começo da semana, Jair Bolsonaro admitiu que a situação do Enem era "complicada", e disse que conversaria com Weintraub para entender o que estava acontecendo. "Tenho que conversar com ele (...). (Para ver) se realmente foi uma falha nossa, se tem alguma falha humana, sabotagem, seja lá o que for", disse o presidente na terça (28), reforçando que todas as hipóteses estavam sendo consideradas, inclusive sabotagem.

Já o ministro da Educação disse que não se tratou "uma coisamá fé". "Foi um acidente, coisa que acontece", disse. Após a falaBolsonaro, ele ligou para o presidente para reafirmar que não foi detectada qualquer sabotagem na prova.

A crise no Enem também acirrou os ânimos do outro lado da Esplanada, no Congresso: o presidente da Câmara, Rodrigo Maia (DEM-RJ), chegou a dizer que Weintraub era "um desastre".

"O ministro da Educação atrapalha o Brasil, atrapalha o futuro das nossas crianças, está comprometendo o futuromuitas gerações. Cada ano que se perde com a ineficiência, com um discurso ideológicopéssima qualidade na administração, acaba prejudicando o0s anos seguintes", disse Maia nesta quinta (30).

Mas, no fim das contas, o que deu errado com a correção do Enem? O erro impactou todos os 3,9 milhõescandidatos que fizeram o teste ou apenas os 5.974 que tiveram seus cadernosprovas trocados? O resultado apresentado pelo Inep e pelo MEC é confiável?

A reportagem da BBC News Brasil conversou com técnicos que conhecem a realização da prova e com especialistas na Teoria da Resposta ao Item (TRI) para entender o que aconteceu. Abaixo, conheça as respostas para quatro perguntas sobre o tema.

1. Como foi feita a correção das provas do Enem?

O Enem é feito com questões (itens) elaboradosantemão por professores que recebem treinamento do Inep.

Os itens passam, então, por um pré-teste, no qual são aplicados a um conjuntoestudantes — escolhidos a dedo para ser uma amostra representativa do universopessoas que vai fazer a prova, depois.

A partir deste pré-teste, o Inep calcula a dificuldadecada item. As questões, depoisprontas, passam a integrar o Banco NacionalItens (BNI), a partir do qual são elaboradas as provas.

"O Inep tem esse bancoitens, devidamente estruturado, que indica, para cada habilidade (a ser avaliada), um item com as suas estatísticas. Ou seja: se ele discrimina bem o aluno bom do aluno ruim; (qual o grau)dificuldade ele apresenta", explica um técnico consultado pela reportagem.

Num vestibular tradicional, a nota é calculada com base no númeroacertos: se você acerta 6 questões das 10 possíveis, anota vai ser 6.

Nas provas baseadas na TRI, não é assim: o aluno vai galgando "degraus" dentrouma escala, conforme o níveldificuldade das questões que ele acerta.

"Para você estimar a proficiência (a nota) do aluno, o principal elemento é justamente esse parâmetrodificuldade do item. Como é que eu sei que um aluno é (digno da nota) 700? Simples. Eu ordeno os itens pela dificuldade, e vou verificando como ele responde. Então, se ele paraacertar ali por volta700, posso dizer que a proficiência dele estátorno700", explica o professor Ocimar Alavarse.

"Esse aluno vinha acertando,forma consistente, até os itens 700. A partir daí ele começa a errar. Se ele acertou lá na frente (um itemdificuldade) 900, você diz, bom, o padrão dele é consistente até 700", disse ele à BBC News Brasil.

É por isso que acertar questões difíceis "no chute" não vai necessariamente melhorar anota no Enem: para atingir uma nota maior, é preciso que o candidato acerte as mais fáceis e também as mais difíceis,forma consistente.

2. O que aconteceu2019?

Em nota técnica enviada à Justiça, o Inep admitiu que um erro mecânico afetou diretamente a correção das provas5.974 participantes — os gabaritos utilizados para aferir esses exames estavam trocados, frutoum "erro mecânico". Depoisidentificadas, essas provas foram devidamente corrigidas.

Além disso,2019 o Inep não seguiu totalmente o roteiro descrito na pergunta acima: uma parte dos itens teve o seu graudificuldade calculado depois da aplicação da prova, a partiruma amostra aleatória100 mil candidatos.

Técnico consultado pela reportagem da BBC News Brasil explica que não é a primeira vez que isso acontece — na verdade, é até comum que parte dos itens tenha seu graudificuldade calculado depois.

"Muitas vezes, ao recorrer a este banco (o BNI), você não tem o item daquela habilidade X. Então você coloca um item novo, elaborado com todo o cuidado, mas que não passou pelo pré-teste. Então o que acontece? Ele calibra-se na realização da prova. A rigor, isso não tem problema. Desde que você mantenha, na prova, um número suficienteitens pré-calibrados para garantir a isonomiatodos os participantes", diz, sob condiçãoanonimato.

Tufi Machado Soares é professor do DepartamentoEstatística da UFJF, e especialista na Teoria da Resposta ao Item.

Segundo ele, a grande vantagem da TRI sobre as provassomatório simples é permitir comparações entre provas diferentes — o que permite a aplicaçãodiferentes cadernosprovas, ouumdias diferentes por razões religiosas, por exemplo.

Além disso, a TRI também é mais precisa que o sistemapontuação bruto, usado nas provas tradicionais.

3. Os erros atingiram toda a prova?

Uma parte das 5.974 provas erradas acabou sendo incluída na amostra aleatória100 mil estudantes, usada para calcular a dificuldadealguns dos itens — o Inep não esclareceu ainda quantos deles tiveram o graudificuldade calculado depois.

Por causa disso, o "erro mecânico"menos6 mil provas acabou afetando a correção das provastodos os 3,9 milhõesestudantes.

O que o Inep alega — e o argumento foi aceito pelo Superior TribunalJustiça — é que a influência foi diminuta, incapazprejudicar o exame como um todo.

Nas provas do primeiro dia,Linguagens eCiências Humanas, nenhuma prova "errada" integrou a amostra100 mil alunos, segundo o Inep.

No segundo dia, a "contaminação" foi83 provas erradas na amostra usada para calibrar os itens do testeCiências da Natureza; e105 na provaMatemática.

4. O resultado é confiável? Uma auditoria é necessária?

No entendimento do Inep, seria inútil recalcular os resultados da prova — a "contaminação" da amostra não afetou a confiança do teste, e os resultadoscada participante ficaram "dentro do intervaloconfiança esperado".

"Desta forma, a propostaselecionar nova amostra, recalibrar os itens e recalcular as proficiências (as notascada aluno), se apresentaria como medida inócua, já que conforme apresentado (...), as proficiências dos participantes continuam sendo estimadas com a mesma precisão e mantendo a escala construída a partir2009, utilizadatodas as edições do Enem desde então", disse o instituto, na nota apresentada à Justiça.

Os especialistas consultados pela BBC News Brasil divergem sobre a necessidaderefazer o teste.

"Você pode falar 'não, Ocimar, mas esse erro aí vai dar pouquinho'. Mas acontece que as disputas, para alguns cursos, se dãopequenos valoresdiferença. Portanto, essas diferenças muito pequenas dos candidatos podem estar escondendo um problemaonde elas partiram, que é a tal parametrização dos itens", diz Ocimar Alaversa, da USP.

"Como que a gente pode ter certeza? Só tem um jeito, que é abrir a basedados. Tem que fazer uma auditoria. No caso do Enem, como tem muita coisajogo, é preciso fazer isso com a máxima transparência. Traz alguns estatísticos, da áreapsicometria; especialistasbasesdados, o Ministério Público, e verifique-se."

Já para o ex-presidente do Inep e professor do DepartamentoEconomia da USP Reynaldo Fernandes, a diferença obtida com o recálculo das notas seria ínfima — a diferença viria apenas várias casas decimais após a vírgula.

"(A inclusão das provas 'erradas' na amostra) pode aumentar o erro, aumenta o grauincerteza da prova. Agora, isso depende da quantidade. 200 provas numa amostra100 mil é nada, é um erro negligenciável."

"Afeta não sei quantas casas depois (da vírgula). É mais que pequeno, é negligenciável", diz ele. Ele faz a ressalvaque este raciocínio só é válido se as explicações do Inep à Justiça estiverem corretas, eque apenas isso aconteceu.

"Se for só isso (conforme explicado pelo Inep), corrige-se os problemas e pronto. O impacto sobre a calibração é muito pequeno. Errosprovas, ruídos, sempre tem. Se os mesmos alunos fizessem a mesma provaoutro dia, os resultados seriam ligeiramente diferentes também. Se você antecipasse uma semana, também. O último candidato que entrou, e o primeiro que ficoufora, eles são indistinguíveis. Um deu mais sorte, e o outro deu mais azar", pondera ele.

Para Tufi Machado Soares, da UFJF, os resultados são seguros — desde que os problemas sejam apenas os que o Inep já admitiu. Mesmo assim, o ideal seria fazer uma reanálise mais ampla.

Em 2017, Soares colaborou com o Ministério Público na auditoria independenteuma outra edição do Enem.

"Se você teve 200 provas com o gabarito trocado numa amostracalibração100 mil, provavelmente a influência dessas provas é praticamente zero. Se for só isso. Estou falando por hipótese", diz ele.

"Agora, é preciso verificar o seguinte: sempre que você encontra um conjuntoproblemas no teste, é possível que haja outros. O problema, a meu ver, é que está faltando um poucotransparência,divulgação maior do que está acontecendo. Até para a gente poder fazer uma análise melhor do que está acontecendo", diz ele.

"Acho que isso (auditorias) deveriam ser uma prática adotada pelo próprio Inep constantemente,todas as avaliações. Com especialistas externos, empresas contratadas para isso. O próprio Inep deveria realizar esse tipoprocedimento, até para garantir a segurança das pessoas", diz ele.