Reviravolta no exame: por trás do algoritmo que desencadeou o caos das notas de nível A
'Sementes do desastre político' semeadas em carta enviada por Gavin Williamson quando o bloqueio foi anunciado em março
'Sementes do desastre político' semeadas em carta enviada por Gavin Williamson quando o bloqueio foi anunciado em março
Chris J Ratcliffe / Getty Images
Como a raiva irrompeu após o lançamento das notas de nível A na semana passada, o primeiro-ministro Boris Johnson insistiu que os resultados foram robustos, bons e confiáveis para os empregadores.
Mas poucos dias depois, após a retirada repentina de Ofqual dos critérios para notas apelativas, o governo foi forçado a uma embaraçosa reviravolta, com resultados agora baseados nas previsões dos professores, e não em um algoritmo controverso.
O sistema automatizado foi usado em uma tentativa de evitar o que o secretário de Educação, Gavin Williamson, descreveu como inflação galopante das notas em meio à pandemia de coronavírus e exames cancelados. Mas quem criou o algoritmo, que pode acabar custando a Williamson seu trabalho no gabinete?
Circunstâncias sem precedentes
As sementes do desastre da política foram plantadas no dia em que o bloqueio entrou em vigor, quando Williamson advertiu em uma carta ao Ofqual que evitar a inflação de notas era uma prioridade, Os tempos relatórios.
O Ofqual deve garantir, na medida do possível, que os padrões de qualificação sejam mantidos e a distribuição das notas siga um perfil semelhante ao dos anos anteriores, disse Williamson ao regulador dos exames.
Ou seja, diz o jornal, apesar de os alunos não fazerem exames, o governo queria tratar a turma de 2020 como a dos anos anteriores. Os níveis A foram tratados como o 'padrão ouro' do sistema educacional e não deveriam ser desvalorizados.
Mas, ao solicitar que o regulador de exames fizesse uma apólice de seguro na forma de seu algoritmo malfadado, esse desejo de limitar a inflação das notas foi longe demais, acrescenta o BBC .
O que deu errado?
A pedido do secretário de educação, os estatísticos do regulador decidiramplanejando um sistema para distribuir notasisso não permitiu que os resultados dos exames subissem em relação aos anos anteriores, explica Jo-Anne Baird, professora de avaliação educacional da Universidade de Oxford e membro do comitê consultivo do Ofqual.
O problema era que, no caso da classe da Covid, a preocupação em manter os padrões custava um preço muito alto, segundo a BBC.
Um total de 39% dos resultados de nível A divulgados na última quinta-feira foram rebaixados , e os alunos em áreas desfavorecidas foram desproporcionalmente atingidos com mais força, diz NS Tech , uma divisão do New Statesman.
O algoritmo previu graus após receber vários bits de dados.
A primeira foi a nota prevista pelo professor para cada aluno com base em seu desempenho em sala de aula e nos exames simulados, explica o site de notícias. Mas isso foi considerado insuficiente por si só, então os professores também foram solicitados a classificar cada aluno da mais alta à mais baixa em termos de sua nota esperada.
As escolas se lançaram na tarefa de avaliação, acrescenta The Times, com chefes de departamento liderando reuniões onde os professores defendiam o caso de seus alunos.
Mas, diz o jornal, havia um problema no sistema Ofqual. UMA relatório divulgado pelo regulador na semana passada revelou que as notas atribuídas pelos professores só tinham prioridade em turmas com menos de 15 alunos - um sistema que favorecia as escolas privadas com turmas menores.
Por outro lado, para alunos em escolas maiores, as notas foram muito mais influenciadas pelo desempenho histórico da escola e a classificação de seus professores do que suas notas previstas, acrescenta NS Tech.
Essa discrepância é responsável pelo número desproporcional de alunos de escolas que geralmente não enviam alunos para as melhores universidades do Reino Unido que viram suas notas previstas agressivamente rebaixadas.
Era possível um sistema mais justo?
De acordo com Os tempos 'Editor de ciências, Tom Whipple, criar um algoritmo justo é como tentar desembrulhar um ovo - isto é, impossível.
O problema, escreve Whipple, é que quando as pessoas extrapolam os dados populacionais para fazer previsões sobre os indivíduos ... você pode acabar cometendo todo tipo de erros contra-intuitivos, surpreendentes e às vezes absurdos.
Isso é o que deu errado com um algoritmo baseado tão fortemente nos resultados históricos de uma escola, ele argumenta. Claramente, isso será injusto com crianças excepcionais em escolas não excepcionais, ao passo que, inversamente, será excessivamente gentil com as crianças excepcionais em escolas excepcionais.
Sam Freedman, CEO da organização não governamental Education Partnerships Group, concorda com este veredicto. O algoritmo iria inevitavelmente atingir os alunos atípicos que estavam no topo da distribuição em escolas que não tinham muitos alunos de alto desempenho no passado, ele tweets .
Mas, Freedman acrescenta, a decisão do governo de usar apenas as notas previstas pelos professores também é injusta com os alunos das escolas que avaliam com cautela, injusta com as coortes passadas / futuras e cria [d] uma loteria para vagas universitárias.
E a reviravolta pode chegar tarde demais para alguns alunos, com muitas universidades dizendo que os cursos para o próximo ano letivo já estão lotados.
Quanto ao algoritmo, as estatísticas são, por definição, uma forma de representar muitos números em menos números, diz Whipple.
Isso é extremamente útil, mas precisamos saber o que significa: esquecer o indivíduo.
