O que ignorar para entender as pontuações de teste do seu filho

Agora que o primeiro mês da escola acabou, os pais podem se preparar para o próximo marco do ano letivo - eles logo receberão relatórios sobre os testes estaduais que seus filhos fizeram no ano passado.

Minhas estimativas mostram que aproximadamente 26 milhões de estudantes em escolas públicas fizeram testes estaduais em leitura e matemática no ano passado. Muitos deles também realizaram testes estaduais em ciências. Esses testes fornecem informações importantes aos pais sobre o desempenho de seus filhos na escola.

No entanto, minha pesquisa também mostra que, quando os pais recebem o relatório de pontuação do teste de seus filhos, eles podem ter dificuldade em separar as informações importantes das ininteligências estatísticas.

Além disso, os resultados podem até não fornecer informações precisas sobre o crescimento acadêmico de seus filhos.

Seu filho é "proficiente"?

A lei No Child Left Behind, promulgada no 2002, exigia que todos os estados estabelecessem “padrões de nível de aproveitamento” em leitura e matemática para os graus três a oito e para um grau no ensino médio, tipicamente 10th ou 11th. Os Estados também foram obrigados a desenvolver testes para medir o nível de "proficiência" em cada teste.


innerself assinar gráfico


A nova lei federal foi aprovada em dezembro 2015, o Todos os estudantes são bem-sucedidos (ESSA), continuará esta prática.

Como resultado, os pais dos relatórios de teste recebem classificar as crianças em níveis de desempenho, como “básico” ou “proficiente”. Cada estado decide a que essas classificações são chamadas, mas pelo menos uma categoria deve significar “proficiente”.

Essas categorias de nível de realização são descritas nos relatórios de pontuação do teste e, portanto, essa informação é facilmente compreendida pelos pais. Por exemplo, acho útil a cada ano ver se meus filhos alcançam proficiência em cada assunto.

Mas as pontuações dos testes das crianças em um determinado ano e seu nível de aproveitamento não são as únicas informações relatadas em alguns estados. Um novo índice estatístico, chamado de "percentil de crescimento do aluno" está encontrando seu caminho nos relatórios enviado para casa para os pais nos estados 11. Vinte e sete estados usam esse índice para avaliar professores também.

Embora uma medida de “crescimento” ou progresso dos alunos pareça uma boa ideia, os percentuais de crescimento dos alunos ainda precisam ser apoiados pela pesquisa. de fato vários estudos sugerem deles não forneça descrições precisas do progresso do aluno e da eficácia do professor.

O que isso significa?

O que exatamente são “percentis de crescimento estudantil”?

São índices propostos em 2008 por Damian W. Betebenner, um estatístico que sugeriu que eles fossem usados ​​como uma medida descritiva de “crescimento acadêmico” dos alunos de um ano escolar para o outro. A ideia era descrever o progresso dos alunos em comparação com seus pares.

Como os gráficos de crescimento que os pediatras usam para descrever a altura e o peso das crianças, os percentis de crescimento dos alunos variam de um valor baixo a um máximo de 99. No entanto, seu cálculo envolve muito mais erros do que medições físicas, como altura e peso. Nossa pesquisa na Universidade de Massachusetts Amherst indica erro substancial em seu cálculo.

Os percentis de crescimento dos estudantes são derivados das pontuações dos testes, que não são descrições perfeitamente acuradas da proficiência acadêmica dos alunos: as pontuações dos testes são influenciadas por muitos fatores, como perguntas feitas em um dia específico, temperamento dos alunos e seu nível de comprometimento. teste ou apenas os métodos usados ​​para marcar suas respostas.

O percentil de crescimento de cada aluno é calculado usando pelo menos dois resultados de teste diferentes, normalmente um ano ou mais. Os resultados dos testes mais recentes de um estudante são então comparados com os resultados dos testes mais recentes de alunos que obtiveram pontuações semelhantes nos anos anteriores. Isso é para ver quais desses alunos tiveram pontuações mais altas ou mais baixas este ano.

O problema, no entanto, é que cada um dos cálculos carrega algum erro de medição. Cálculos adicionais apenas compõem esse erro. Tanto é assim que os resultados acabam com o dobro do erro. Nenhuma sofisticação estatística pode apagar este erro.

A questão é, por que tantos estados estão usando uma medida tão pouco confiável?

Usá-lo para prestação de contas

O uso de percentis de crescimento dos alunos se deve em parte ao desejo de ver o quanto os alunos aprendem em um determinado ano e vincular esse progresso a sistemas de responsabilização, como a avaliação de professores.

Em 2010, a Concurso de subvenção de corrida para o topo convidou os estados a criar maneiras inovadoras de usar as pontuações dos testes para avaliar os professores, o que abriu o caminho para que essa nova medida de “crescimento” fosse rapidamente aplicada em muitos estados.

No entanto, o uso de percentis de crescimento dos alunos começou antes que a pesquisa fosse realizada sobre sua precisão. Só agora existe um corpo de pesquisas suficiente para avaliá-los, e todos os estudos apontam para a mesma conclusão - eles contêm muito erro.

Além de nossa pesquisa na Universidade de Massachusetts Amherst, pesquisas sobre a precisão dos percentis de crescimento de estudantes foram conduzidas por organizações sem fins lucrativos de educação, como WestEd, Serviço de Testes Educacionais e de outros instituições de pesquisa. Pesquisadores JR Lockwood e Katherine E. Castellano concluído recentemente que “uma base de pesquisa substancial já observa que as estimativas do percentil de crescimento dos estudantes para alunos individuais têm grandes erros”.

No entanto, muitos estados parecem desconhecer os resultados dessas pesquisas. Massachusetts chega a ponto de classificar crianças com percentis de crescimento menos que 40 como “crescimento menor” e crianças com percentis de crescimento maiores que 60 como “crescimento maior”.

Medindo o desempenho do professor

Como mencionei anteriormente, os estados da 27 estão usando os percentis de crescimento dos alunos para classificar os professores como “eficazes” ou “ineficazes”. Pesquisas sobre o uso de percentuais de crescimento para esse propósito indicam que eles poderiam subestimar o desempenho dos professores mais eficazes, e superestimar o desempenho dos professores menos eficazes - exatamente o oposto do que esses estados estão tentando fazer com seus sistemas de avaliação de professores.

Um relatório recente do WestEd avaliou o uso de percentuais de crescimento de alunos para avaliar professores e Concluído eles “não atingiram um nível de estabilidade” que seria necessário para tais decisões de alto risco.

Vamos voltar às medidas tradicionais

Acredito que os percentuais de crescimento dos alunos nos levaram um passo atrás no uso de testes educacionais para melhorar o aprendizado dos alunos.

Medidas tradicionais de desempenho de crianças em testes educacionais, como se são "proficientes" em um determinado ano e seus resultados reais de testes, dão uma boa idéia de como eles se saíram bem em matemática ou leitura em um determinado ano.

Esses graus percentuais tradicionais ainda são relatados em muitos testes educacionais, assim como eram quando nós, como pais, estávamos na escola. As posições percentuais tradicionais nos comparavam a um grupo nacional ou estadual em um determinado ano, em vez de nos compararmos com a maneira como as outras crianças do país ou do estado “cresciam” nos diferentes testes que realizaram em anos diferentes, como tentam fazer os percentuais de crescimento estudantil.

Dado o que sabemos agora sobre os percentis de crescimento dos alunos, meu conselho para os pais não é apenas ignorá-los nos relatórios de pontuação dos testes dos filhos, mas também entrar em contato com o departamento de educação estadual e perguntar por que estão relatando uma estatística tão confiável.

Desenvolver medidas de quanto os alunos aprenderam ao longo de um ano é um bom objetivo. Infelizmente, os percentis de crescimento dos alunos não medem bem isso.

Sobre o autor

Stephen Sireci, professor de política educacional, Universidade de Massachusetts Amherst

Este artigo foi originalmente publicado em A Conversação. Leia o artigo original.

Livros relacionados:

at InnerSelf Market e Amazon