Em 4 pontos, os erros que transformaram o Enem 2019quanto tempo demora saque sportingbetcrise:quanto tempo demora saque sportingbet

Além disso, até a quarta-feira da semana passada (22) pelo menos 250 estudantes já haviam apresentado reclamações ao Ministério Público Federal (MPF) a respeitoquanto tempo demora saque sportingbetsuas notas.

Os erros na correção da prova levaram a Justiça Federalquanto tempo demora saque sportingbetSão Paulo a suspender a divulgação dos resultados do Sistemaquanto tempo demora saque sportingbetSeleção Unificada (Sisu), que seleciona alunos para vagasquanto tempo demora saque sportingbetuniversidades com base nas notas do Enem — o processo só foi liberado na tardequanto tempo demora saque sportingbetterça-feira (28) por decisão do Superior Tribunalquanto tempo demora saque sportingbetJustiça (STJ).

Mas as dificuldades não terminaram com a decisão do STJ. Alguns estudantes relataram problemas para utilizar o site do Sisu — aparentemente a opçãoquanto tempo demora saque sportingbetlistaquanto tempo demora saque sportingbetespera para cursos não funcionou adequadamente, e a hashtag #erronalistadeespera foi um dos assuntos mais comentados no Twitter na tardequanto tempo demora saque sportingbetontem.

Além disso, o MPF disse ter encontrado irregularidades na destinaçãoquanto tempo demora saque sportingbetvagas a candidatos com deficiência no Sisu. A Procuradoria da República no Distrito Federal (PRDF) deu prazoquanto tempo demora saque sportingbetcinco dias para que o Ministério da Educação preste informações sobre o assunto.

O processoquanto tempo demora saque sportingbetelaboração do exame também foi marcado por problemas ao longo deste ano: o Inep, responsável por realizar as provas, trocouquanto tempo demora saque sportingbetpresidente quatro vezes desde o início da gestãoquanto tempo demora saque sportingbetJair Bolsonaro — um dos presidentes do instituto permaneceu apenas 18 dias no cargo.

Em abril, a gráfica que imprimiria as provas, a RR Donneley, encerrou suas atividades no Brasil, alegando dificuldades financeiras. Dias depois, o governo contratou uma outra empresa para a tarefa, sem realizar processo licitatório, por R$ 151,7 milhões.

No primeiro diaquanto tempo demora saque sportingbetprovas, 3quanto tempo demora saque sportingbetnovembro, novo sobressalto: uma foto da provaquanto tempo demora saque sportingbetredação circulou nas redes sociais enquanto o exame estava ocorrendo.

João Marcelo Borges é diretorquanto tempo demora saque sportingbetEstratégia Política do Todos pela Educação, uma organização da sociedade civil. Para a organização, os problemas começaram bem antes da realização da prova, quando o MEC montou uma comissão para expugar itens "ideológicos" do bancoquanto tempo demora saque sportingbetquestões usado no Enem.

"A nossa avaliação équanto tempo demora saque sportingbetque o MEC e o Inep conduziram muito mal o Enem. Tanto na preparação para a prova, com essa comissão para avaliar o Banco Nacionalquanto tempo demora saque sportingbetItens, quanto depois, na correção. Muito embora a quantidadequanto tempo demora saque sportingbetalunos afetados possa parecer pequena, menosquanto tempo demora saque sportingbet1%, a dimensão qualitativa desse problema é grave", diz Borges.

"Tanto o MEC quanto o Inep têm sido apenas reativos desde que os problemas começaram a aparecer. Não foi o Inep que identificou os erros na correção. Foram os alunos que identificaram os problemas e começaram a reclamar nas redes sociais, e isso fez com que o Inep identificasse o erro, depoisquanto tempo demora saque sportingbetdivulgados os resultados. Isso jamais poderia ter acontecido. O Inep deveria ter feito todos os testesquanto tempo demora saque sportingbetsegurança para garantir os resultados", completa Borges.

No começo da semana, Jair Bolsonaro admitiu que a situação do Enem era "complicada", e disse que conversaria com Weintraub para entender o que estava acontecendo. "Tenho que conversar com ele (...). (Para ver) se realmente foi uma falha nossa, se tem alguma falha humana, sabotagem, seja lá o que for", disse o presidente na terça (28), reforçando que todas as hipóteses estavam sendo consideradas, inclusive sabotagem.

Já o ministro da Educação disse que não se tratou "uma coisaquanto tempo demora saque sportingbetmá fé". "Foi um acidente, coisa que acontece", disse. Após a falaquanto tempo demora saque sportingbetBolsonaro, ele ligou para o presidente para reafirmar que não foi detectada qualquer sabotagem na prova.

A crise no Enem também acirrou os ânimos do outro lado da Esplanada, no Congresso: o presidente da Câmara, Rodrigo Maia (DEM-RJ), chegou a dizer que Weintraub era "um desastre".

"O ministro da Educação atrapalha o Brasil, atrapalha o futuro das nossas crianças, está comprometendo o futuroquanto tempo demora saque sportingbetmuitas gerações. Cada ano que se perde com a ineficiência, com um discurso ideológicoquanto tempo demora saque sportingbetpéssima qualidade na administração, acaba prejudicando o0s anos seguintes", disse Maia nesta quinta (30).

Mas, no fim das contas, o que deu errado com a correção do Enem? O erro impactou todos os 3,9 milhõesquanto tempo demora saque sportingbetcandidatos que fizeram o teste ou apenas os 5.974 que tiveram seus cadernosquanto tempo demora saque sportingbetprovas trocados? O resultado apresentado pelo Inep e pelo MEC é confiável?

A reportagem da BBC News Brasil conversou com técnicos que conhecem a realização da prova e com especialistas na Teoria da Resposta ao Item (TRI) para entender o que aconteceu. Abaixo, conheça as respostas para quatro perguntas sobre o tema.

1. Como foi feita a correção das provas do Enem?

O Enem é feito com questões (itens) elaboradosquanto tempo demora saque sportingbetantemão por professores que recebem treinamento do Inep.

Os itens passam, então, por um pré-teste, no qual são aplicados a um conjuntoquanto tempo demora saque sportingbetestudantes — escolhidos a dedo para ser uma amostra representativa do universoquanto tempo demora saque sportingbetpessoas que vai fazer a prova, depois.

A partir deste pré-teste, o Inep calcula a dificuldadequanto tempo demora saque sportingbetcada item. As questões, depoisquanto tempo demora saque sportingbetprontas, passam a integrar o Banco Nacionalquanto tempo demora saque sportingbetItens (BNI), a partir do qual são elaboradas as provas.

"O Inep tem esse bancoquanto tempo demora saque sportingbetitens, devidamente estruturado, que indica, para cada habilidade (a ser avaliada), um item com as suas estatísticas. Ou seja: se ele discrimina bem o aluno bom do aluno ruim; (qual o grau)quanto tempo demora saque sportingbetdificuldade ele apresenta", explica um técnico consultado pela reportagem.

Num vestibular tradicional, a nota é calculada com base no númeroquanto tempo demora saque sportingbetacertos: se você acerta 6 questões das 10 possíveis, aquanto tempo demora saque sportingbetnota vai ser 6.

Nas provas baseadas na TRI, não é assim: o aluno vai galgando "degraus" dentroquanto tempo demora saque sportingbetuma escala, conforme o nívelquanto tempo demora saque sportingbetdificuldade das questões que ele acerta.

"Para você estimar a proficiência (a nota) do aluno, o principal elemento é justamente esse parâmetroquanto tempo demora saque sportingbetdificuldade do item. Como é que eu sei que um aluno é (digno da nota) 700? Simples. Eu ordeno os itens pela dificuldade, e vou verificando como ele responde. Então, se ele paraquanto tempo demora saque sportingbetacertar ali por voltaquanto tempo demora saque sportingbet700, posso dizer que a proficiência dele estáquanto tempo demora saque sportingbettornoquanto tempo demora saque sportingbet700", explica o professor Ocimar Alavarse.

"Esse aluno vinha acertando,quanto tempo demora saque sportingbetforma consistente, até os itens 700. A partir daí ele começa a errar. Se ele acertou lá na frente (um itemquanto tempo demora saque sportingbetdificuldade) 900, você diz, bom, o padrão dele é consistente até 700", disse ele à BBC News Brasil.

É por isso que acertar questões difíceis "no chute" não vai necessariamente melhorar aquanto tempo demora saque sportingbetnota no Enem: para atingir uma nota maior, é preciso que o candidato acerte as mais fáceis e também as mais difíceis,quanto tempo demora saque sportingbetforma consistente.

2. O que aconteceuquanto tempo demora saque sportingbet2019?

Em nota técnica enviada à Justiça, o Inep admitiu que um erro mecânico afetou diretamente a correção das provasquanto tempo demora saque sportingbet5.974 participantes — os gabaritos utilizados para aferir esses exames estavam trocados, frutoquanto tempo demora saque sportingbetum "erro mecânico". Depoisquanto tempo demora saque sportingbetidentificadas, essas provas foram devidamente corrigidas.

Além disso,quanto tempo demora saque sportingbet2019 o Inep não seguiu totalmente o roteiro descrito na pergunta acima: uma parte dos itens teve o seu grauquanto tempo demora saque sportingbetdificuldade calculado depois da aplicação da prova, a partirquanto tempo demora saque sportingbetuma amostra aleatóriaquanto tempo demora saque sportingbet100 mil candidatos.

Técnico consultado pela reportagem da BBC News Brasil explica que não é a primeira vez que isso acontece — na verdade, é até comum que parte dos itens tenha seu grauquanto tempo demora saque sportingbetdificuldade calculado depois.

"Muitas vezes, ao recorrer a este banco (o BNI), você não tem o item daquela habilidade X. Então você coloca um item novo, elaborado com todo o cuidado, mas que não passou pelo pré-teste. Então o que acontece? Ele calibra-se na realização da prova. A rigor, isso não tem problema. Desde que você mantenha, na prova, um número suficientequanto tempo demora saque sportingbetitens pré-calibrados para garantir a isonomiaquanto tempo demora saque sportingbettodos os participantes", diz, sob condiçãoquanto tempo demora saque sportingbetanonimato.

Tufi Machado Soares é professor do Departamentoquanto tempo demora saque sportingbetEstatística da UFJF, e especialista na Teoria da Resposta ao Item.

Segundo ele, a grande vantagem da TRI sobre as provasquanto tempo demora saque sportingbetsomatório simples é permitir comparações entre provas diferentes — o que permite a aplicaçãoquanto tempo demora saque sportingbetdiferentes cadernosquanto tempo demora saque sportingbetprovas, ouquanto tempo demora saque sportingbetumquanto tempo demora saque sportingbetdias diferentes por razões religiosas, por exemplo.

Além disso, a TRI também é mais precisa que o sistemaquanto tempo demora saque sportingbetpontuação bruto, usado nas provas tradicionais.

3. Os erros atingiram toda a prova?

Uma parte das 5.974 provas erradas acabou sendo incluída na amostra aleatóriaquanto tempo demora saque sportingbet100 mil estudantes, usada para calcular a dificuldadequanto tempo demora saque sportingbetalguns dos itens — o Inep não esclareceu ainda quantos deles tiveram o grauquanto tempo demora saque sportingbetdificuldade calculado depois.

Por causa disso, o "erro mecânico"quanto tempo demora saque sportingbetmenosquanto tempo demora saque sportingbet6 mil provas acabou afetando a correção das provasquanto tempo demora saque sportingbettodos os 3,9 milhõesquanto tempo demora saque sportingbetestudantes.

O que o Inep alega — e o argumento foi aceito pelo Superior Tribunalquanto tempo demora saque sportingbetJustiça — é que a influência foi diminuta, incapazquanto tempo demora saque sportingbetprejudicar o exame como um todo.

Nas provas do primeiro dia,quanto tempo demora saque sportingbetLinguagens equanto tempo demora saque sportingbetCiências Humanas, nenhuma prova "errada" integrou a amostraquanto tempo demora saque sportingbet100 mil alunos, segundo o Inep.

No segundo dia, a "contaminação" foiquanto tempo demora saque sportingbet83 provas erradas na amostra usada para calibrar os itens do testequanto tempo demora saque sportingbetCiências da Natureza; equanto tempo demora saque sportingbet105 na provaquanto tempo demora saque sportingbetMatemática.

4. O resultado é confiável? Uma auditoria é necessária?

No entendimento do Inep, seria inútil recalcular os resultados da prova — a "contaminação" da amostra não afetou a confiança do teste, e os resultadosquanto tempo demora saque sportingbetcada participante ficaram "dentro do intervaloquanto tempo demora saque sportingbetconfiança esperado".

"Desta forma, a propostaquanto tempo demora saque sportingbetselecionar nova amostra, recalibrar os itens e recalcular as proficiências (as notasquanto tempo demora saque sportingbetcada aluno), se apresentaria como medida inócua, já que conforme apresentado (...), as proficiências dos participantes continuam sendo estimadas com a mesma precisão e mantendo a escala construída a partirquanto tempo demora saque sportingbet2009, utilizadaquanto tempo demora saque sportingbettodas as edições do Enem desde então", disse o instituto, na nota apresentada à Justiça.

Os especialistas consultados pela BBC News Brasil divergem sobre a necessidadequanto tempo demora saque sportingbetrefazer o teste.

"Você pode falar 'não, Ocimar, mas esse erro aí vai dar pouquinho'. Mas acontece que as disputas, para alguns cursos, se dãoquanto tempo demora saque sportingbetpequenos valoresquanto tempo demora saque sportingbetdiferença. Portanto, essas diferenças muito pequenas dos candidatos podem estar escondendo um problemaquanto tempo demora saque sportingbetonde elas partiram, que é a tal parametrização dos itens", diz Ocimar Alaversa, da USP.

"Como que a gente pode ter certeza? Só tem um jeito, que é abrir a basequanto tempo demora saque sportingbetdados. Tem que fazer uma auditoria. No caso do Enem, como tem muita coisaquanto tempo demora saque sportingbetjogo, é preciso fazer isso com a máxima transparência. Traz alguns estatísticos, da áreaquanto tempo demora saque sportingbetpsicometria; especialistasquanto tempo demora saque sportingbetbasesquanto tempo demora saque sportingbetdados, o Ministério Público, e verifique-se."

Já para o ex-presidente do Inep e professor do Departamentoquanto tempo demora saque sportingbetEconomia da USP Reynaldo Fernandes, a diferença obtida com o recálculo das notas seria ínfima — a diferença viria apenas várias casas decimais após a vírgula.

"(A inclusão das provas 'erradas' na amostra) pode aumentar o erro, aumenta o grauquanto tempo demora saque sportingbetincerteza da prova. Agora, isso depende da quantidade. 200 provas numa amostraquanto tempo demora saque sportingbet100 mil é nada, é um erro negligenciável."

"Afeta não sei quantas casas depois (da vírgula). É mais que pequeno, é negligenciável", diz ele. Ele faz a ressalvaquanto tempo demora saque sportingbetque este raciocínio só é válido se as explicações do Inep à Justiça estiverem corretas, equanto tempo demora saque sportingbetque apenas isso aconteceu.

"Se for só isso (conforme explicado pelo Inep), corrige-se os problemas e pronto. O impacto sobre a calibração é muito pequeno. Errosquanto tempo demora saque sportingbetprovas, ruídos, sempre tem. Se os mesmos alunos fizessem a mesma provaquanto tempo demora saque sportingbetoutro dia, os resultados seriam ligeiramente diferentes também. Se você antecipasse uma semana, também. O último candidato que entrou, e o primeiro que ficouquanto tempo demora saque sportingbetfora, eles são indistinguíveis. Um deu mais sorte, e o outro deu mais azar", pondera ele.

Para Tufi Machado Soares, da UFJF, os resultados são seguros — desde que os problemas sejam apenas os que o Inep já admitiu. Mesmo assim, o ideal seria fazer uma reanálise mais ampla.

Em 2017, Soares colaborou com o Ministério Público na auditoria independentequanto tempo demora saque sportingbetuma outra edição do Enem.

"Se você teve 200 provas com o gabarito trocado numa amostraquanto tempo demora saque sportingbetcalibraçãoquanto tempo demora saque sportingbet100 mil, provavelmente a influência dessas provas é praticamente zero. Se for só isso. Estou falando por hipótese", diz ele.

"Agora, é preciso verificar o seguinte: sempre que você encontra um conjuntoquanto tempo demora saque sportingbetproblemas no teste, é possível que haja outros. O problema, a meu ver, é que está faltando um poucoquanto tempo demora saque sportingbettransparência,quanto tempo demora saque sportingbetdivulgação maior do que está acontecendo. Até para a gente poder fazer uma análise melhor do que está acontecendo", diz ele.

"Acho que isso (auditorias) deveriam ser uma prática adotada pelo próprio Inep constantemente,quanto tempo demora saque sportingbettodas as avaliações. Com especialistas externos, empresas contratadas para isso. O próprio Inep deveria realizar esse tipoquanto tempo demora saque sportingbetprocedimento, até para garantir a segurança das pessoas", diz ele.