Grupos normativos: como interpretar a pontuação de um teste
Uma pontuação de 27 em 40 diz pouco até você saber com quem ela está sendo comparada. Este guia explica grupos normativos e escalas de normas, e como ler a pontuação de um teste sem tirar dela mais do que ela diz.
Em resumo
- Uma pontuação bruta só ganha significado quando é comparada com um grupo normativo claramente descrito.
- Percentis, stens, estaninos e escores T expressam a mesma posição em escalas diferentes; os percentis não têm intervalos iguais.
- O grupo normativo certo corresponde ao nível, ao país, ao idioma e às condições de aplicação das pessoas que você avalia.
- Verifique no manual técnico o tamanho, a composição, a data e o método de coleta de uma norma.
- Na seleção, normas separadas por gênero ou por outro grupo protegido geralmente não são a solução; examine os vieses.
Uma pontuação bruta precisa de um grupo de comparação
Uma pontuação bruta é o número de itens respondidos corretamente em um teste de aptidão, ou a soma das respostas em uma escala de personalidade. Sozinha, ela diz pouco: 27 em 40 pode ser um resultado forte em um teste difícil e um resultado comum em um teste fácil, e uma escala de personalidade nem sequer tem um total “correto”.
As normas traduzem a pontuação bruta em uma posição dentro de um grupo de referência: pessoas que fizeram o mesmo teste em condições comparáveis. Essa posição é relativa. Ela diz como alguém se compara com esse grupo, não se a pessoa é adequada para um cargo. A adequação depende do que o cargo exige e de evidências de que o teste prediz o que importa (veja fidedignidade e validade).
Escalas de normas e como se relacionam
A maioria das escalas de normas expressa a mesma coisa: quanto uma pontuação está acima ou abaixo da média do grupo normativo, em desvios padrão (DP). Elas diferem quanto à média, à dispersão e ao nível de detalhe.
- Escores z: média 0, DP 1. A base das outras escalas, raramente mostrados em relatórios.
- Escores T: média 50, DP 10. Cerca de dois terços do grupo normativo ficam entre 40 e 60.
- Stens: de 1 a 10, média 5,5, DP 2. Comuns em relatórios de personalidade.
- Estaninos: de 1 a 9, média 5, DP 2. Comuns em testes de aptidão.
- Percentis: a porcentagem do grupo normativo que obteve pontuação mais baixa. Intuitivos, mas os intervalos não são iguais.
Cuidado com os percentis
Os percentis ampliam as diferenças no meio da distribuição e as comprimem nas extremidades. Passar do percentil 50 para o 60 exige uma pequena diferença na pontuação bruta; passar do 90 para o 99 exige uma diferença grande. Por isso, não calcule médias de percentis. Mesmo em escalas menos detalhadas, como os stens, uma diferença de um ponto entre dois candidatos muitas vezes fica dentro do erro de medida.
Como explicar uma pontuação a um gestor
Os percentis costumam ser os mais fáceis: de cada 100 pessoas deste grupo de comparação, cerca de 80 tiveram pontuação mais baixa. Diga qual é o grupo na mesma frase e mencione a margem: uma pontuação é uma estimativa, e o intervalo de confiança no relatório mostra onde a pontuação verdadeira provavelmente está. Nas escalas de personalidade, acrescente que alto ou baixo não é, por si só, bom ou ruim.
Um teste fictício de raciocínio numérico tem 40 itens, e um candidato acerta 27. Em relação a uma norma geral da população trabalhadora, isso corresponde ao percentil 80 (escore T 58, sten 7, estanino 7). Em relação a uma norma de candidatos com nível superior, o mesma pontuação bruta corresponde ao percentil 55 (escore T 51, sten 6, estanino 5). Comparado com a população ampla, o candidato está claramente acima da média; entre candidatos com nível superior, perto da média. Qual comparação é relevante depende de com quem o candidato está concorrendo. Os números são ilustrativos e supõem uma distribuição normal.
Como escolher o grupo normativo certo
Escolha o grupo com o qual você realmente quer comparar as pessoas.
- População geral ou trabalhadora: útil para triagens amplas e para desenvolvimento, mas, na seleção para cargos de nível mais alto, faz quase todo mundo parecer acima da média.
- Normas por escolaridade ou nível de cargo: pessoas de nível semelhante, como cargos técnicos, de nível superior ou de gestão. Em geral, a melhor referência para seleção.
- Normas de candidatos: coletadas em processos seletivos reais. Em inventários de personalidade, candidatos tendem a se descrever de forma mais favorável do que pessoas que não têm nada em jogo.
- Normas de funcionários ou da organização: úteis para desenvolvimento. Na seleção, transportam escolhas de contratação anteriores para novas decisões e costumam ser pequenas.
País e idioma
As normas pertencem a uma versão específica do teste. Uma tradução pode mudar o funcionamento dos itens, e os estilos de resposta variam entre países, então a norma de uma versão em determinado idioma não vale automaticamente para outra. Quando os candidatos fazem versões em idiomas diferentes, verifique se o manual traz uma norma por versão e evidências de que as versões medem a mesma coisa.
O que o grupo normativo errado provoca
Um grupo amplo demais infla as pontuações; um grupo seletivo demais faz bons candidatos parecerem medianos. Misturar normas em um mesmo processo é pior, porque candidatos comparados com grupos diferentes deixam de ser comparáveis entre si. Use um único grupo normativo por processo e registre qual foi.
Qual a qualidade da própria norma?
Uma norma é uma amostra, com as fragilidades de qualquer amostra. Antes de confiar nela, verifique o seguinte.
- Tamanho: não existe um mínimo único. Algumas centenas de pessoas por grupo normativo é um ponto de partida comum; percentis extremos estáveis exigem mais.
- Composição: o grupo se parece com as pessoas que você avalia em nível, setor, região, idade e gênero? Uma amostra grande, mas enviesada, não é melhor do que uma menor e bem composta.
- Atualidade: as populações e os hábitos de fazer testes mudam. Saiba quando os dados foram coletados e tenha cautela com normas de muitos anos atrás.
- Coleta: candidatos, funcionários, ou voluntários e estudantes? O que está em jogo, a supervisão e o dispositivo usado afetam as pontuações.
Um bom manual técnico informa tudo isso, além de estatísticas descritivas, como as pontuações brutas foram convertidas e o erro padrão de medida. Sistemas de avaliação de testes como os da COTAN e da EFPA avaliam as normas como um critério à parte; o guia sobre critérios de qualidade de testes explica como. Na Match.hr, o selo de cada teste mostra o tamanho das amostras normativas e a data do último cálculo, e cada relatório informa o grupo normativo usado (mais em normatização).
Normas e equidade
Grupos podem diferir nas pontuações médias. Uma reação tentadora é criar uma norma separada por grupo, de modo que mulheres sejam comparadas só com mulheres, ou candidatos mais velhos só com candidatos mais velhos. Para versões em idiomas diferentes, normas separadas muitas vezes são necessárias. Para características como gênero, idade ou origem étnica, na seleção, geralmente não são a solução.
- A mesma pontuação bruta levaria a uma pontuação normativa diferente conforme o grupo da pessoa, o que pode configurar tratamento desigual.
- Elas escondem uma diferença em vez de explicá-la. Uma diferença pode vir de itens enviesados, de uma diferença real naquilo que é medido ou da forma como o teste é usado, e cada caso pede uma resposta diferente.
- Características como a origem étnica são categorias especiais de dados pessoais nos termos do Regulamento Geral sobre a Proteção de Dados (GDPR) e muitas vezes nem podem ser coletadas na seleção.
O melhor caminho é examinar os vieses diretamente: funcionamento diferencial dos itens, invariância de medida entre grupos e versões de idioma, e impacto adverso nos pontos de corte que você usa. Depois, verifique se o que o teste mede é relevante para o cargo. A página sobre equidade e viés explica essas análises.
Checklist antes de ler um relatório
- Qual grupo normativo é informado, e ele corresponde ao nível, ao país e ao idioma do cargo?
- Qual o tamanho do grupo normativo, como ele foi coletado e quando?
- O candidato fez a mesma versão, no mesmo idioma e com a mesma supervisão que o grupo normativo?
- As diferenças entre os candidatos são maiores do que o intervalo de confiança?
- Todos os candidatos deste processo são comparados com a mesma norma?
- Nas escalas de personalidade: você está lendo alto e baixo como posições, e não como bom e ruim?
- O que mais você sabe? A pontuação de um teste fica ao lado de entrevistas, amostras de trabalho e referências, e quem decide é uma pessoa.
Se o relatório ou o manual não conseguir responder a essas perguntas, consulte a editora do teste antes de confiar nas pontuações.
Fontes
- American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
- International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.