Como avaliar a qualidade de um teste psicológico
Todo fornecedor de testes descreve seus instrumentos como fidedignos e válidos. Os modelos de avaliação da COTAN e da EFPA oferecem uma forma estruturada de verificar essa afirmação por conta própria, critério por critério, antes de usar um teste para embasar decisões sobre pessoas.
Em resumo
- Avalie um teste para um uso específico: o que é suficiente para desenvolvimento pode ser pouco para seleção.
- A COTAN avalia os testes em sete critérios separados, dos princípios de construção do teste à validade de critério.
- O Test Review Model da EFPA é o modelo europeu em que associações nacionais de psicologia baseiam suas avaliações de testes.
- Um número ausente em um manual já é uma constatação: ausência de evidências não é o mesmo que boas evidências.
- Avaliações oficiais só são emitidas pelo próprio órgão avaliador. Peça a fonte e a data, e confira.
Por que critérios independentes ajudam na escolha de um teste
Escolher um teste a partir de um folheto é arriscado. O material de marketing costuma citar o melhor coeficiente da amostra mais favorável e silenciar sobre o que nunca foi estudado. Um conjunto fixo de critérios transforma uma impressão em perguntas concretas: para que serve o teste, quão precisos são as pontuações, com quem os candidatos são comparados e há evidências de que as pontuações se relacionam com o que importa no trabalho?
Dois modelos são amplamente usados na Europa. A COTAN, a comissão de testes da Associação Holandesa de Psicólogos (Nederlands Instituut van Psychologen, NIP), documenta testes desde 1959 e publica avaliações desde 1969. O Test Review Model da Federação Europeia de Associações de Psicólogos (EFPA) foi construído em parte com base no sistema da COTAN e em critérios britânicos e espanhóis. Nenhum dos dois dá a um teste um selo de aprovação universal: ambos perguntam se as evidências sustentam um uso específico, com pessoas específicas, em um idioma específico.
Os sete critérios da COTAN em linguagem simples
A COTAN avalia cada teste em sete critérios. Dois avaliadores analisam o teste de forma independente, e cada critério recebe sua própria classificação; não existe uma nota geral. Na edição de 2010 do sistema de avaliação, cada classificação é insuficiente, suficiente ou boa.
- Princípios de construção do teste: o uso pretendido, os grupos-alvo e o construto estão descritos e fundamentados em teoria? O que um teste afirma medir determina de quais evidências ele precisa.
- Qualidade do material do teste: itens, instruções e correção são padronizados, e o conteúdo está livre de itens que possam ofender determinados grupos?
- Qualidade do manual: ele oferece o que você precisa para aplicar o teste e interpretar as pontuações corretamente, incluindo os limites dessa interpretação?
- Normas: os grupos normativos são grandes o suficiente, representativos das pessoas com quem você compara os candidatos e recentes? Uma tabela de normas sem data ou sem descrição do grupo não pode ser avaliada.
- Fidedignidade: quão precisos são as pontuações, segundo que tipo de estudo e qual amostra?
- Validade de construto: há evidências de que o teste mede o que afirma medir, por exemplo pela sua estrutura fatorial e pelas relações com outras medidas?
- Validade de critério: as pontuações se relacionam com resultados como desempenho no trabalho, resultados em treinamentos ou rotatividade, e quão bem esse resultado foi medido?
Uma classificação insuficiente pode significar que as evidências eram fracas ou que nunca foram apresentadas. A COTAN trata os dois casos da mesma forma, porque o ônus da prova é do autor do teste. Para você, a diferença pode importar: um teste novo com poucos dados não é o mesmo que um teste que não atingiu o nível exigido. Em ambos os casos é um sinal de alerta, e, se você usar o teste mesmo assim, deve ser capaz de explicar por quê.
As classificações da COTAN são emitidas apenas pela própria COTAN e publicadas na COTAN Documentatie on-line, que a Boom uitgevers publica em nome do NIP. Se um fornecedor mencionar uma classificação da COTAN, confira lá e verifique a qual versão do teste e do manual ela se refere.
O Test Review Model da EFPA e modelos relacionados
O Test Review Model da EFPA é um formulário de avaliação estruturado, com orientações para os avaliadores, baseado em critérios da British Psychological Society, da associação espanhola de psicologia e da COTAN. A versão 4.2.6 é de 2013; a versão 5.0, uma revisão ampla, foi publicada em agosto de 2025.
O modelo primeiro descreve o instrumento e depois avalia a fundamentação e a documentação, o material do teste, as normas, a fidedignidade, a validade, o apoio ao uso justo e a qualidade dos relatórios gerados digitalmente, terminando com uma avaliação geral. As evidências de validade são agrupadas por fonte: conteúdo do teste, estrutura interna, relações com outras variáveis e outras fontes.
O modelo foi pensado para ser adaptado às estruturas de cada país e aplicado por avaliadores especialistas; associações como a British Psychological Society basearam nele suas avaliações de testes. A EFPA afirma que as classificações dadas com o modelo não significam que ela endossa um teste, e que a publicidade não deve sugerir o contrário. Um fornecedor que diz que seu teste é aprovado pela EFPA entendeu mal o modelo.
DIN 33430 na Alemanha
A DIN 33430, norma alemã para avaliação de aptidão relacionada ao trabalho, foi revisada pela última vez em 2016. Ela não avalia testes individuais, mas abrange todo o processo: esclarecimento da demanda, análise dos requisitos do cargo, escolha dos métodos, aplicação e interpretação, documentação e as qualificações das pessoas envolvidas. Um anexo descreve o que a documentação de um teste psicométrico deve conter, o que a torna um checklist útil também fora da Alemanha.
Um checklist para ler um manual técnico
Seja qual for o modelo que você usa, as evidências estão no manual técnico. Peça-o antes de comprar e leia-o tendo em mente a sua própria decisão.
- Uso previsto: o manual menciona o seu uso, e diz para o que o teste não se destina?
- Grupos normativos: tamanho, composição, país, idioma e ano da coleta de dados. Eles se parecem com os seus candidatos? Veja como funcionam os grupos normativos.
- Fidedignidade: de que tipo, com qual amostra, e o erro padrão de medida é informado? O básico está em fidedignidade e validade explicadas.
- Validade: há evidências sobre a estrutura fatorial, sobre as relações com testes comparáveis e, para seleção, sobre a relação com resultados ligados ao trabalho? Qual era o tamanho das amostras?
- Equidade e idiomas: os itens e as escalas funcionam da mesma forma em diferentes grupos, e a versão no seu idioma foi adaptada e estudada, e não apenas traduzida?
- Versão e avaliação independente: as evidências abrangem a versão que você vai usar, e existe uma avaliação que você possa consultar por conta própria?
Raciocínio Numérico NR-2 (um teste fictício). Uso previsto: seleção e desenvolvimento para cargos de nível superior. Grupo normativo: 1.240 candidatos a cargos financeiros e administrativos na Holanda, coletados em 2021–2022, versão em holandês. Fidedignidade: ω = 0,86 (n = 1.240); teste-reteste após quatro semanas r = 0,79 (n = 112). Validade de construto: modelo de um fator confirmado; correlação com um teste numérico consagrado r = 0,68 (n = 210). Validade de critério: r = 0,24 com avaliações dos gestores após seis meses (n = 85).
Como ler isso. Uma fidedignidade de 0,86 é sólida, mas, para uma decisão importante sobre um indivíduo, fica entre os pontos de referência de 0,80 e 0,90 da COTAN, então observe o erro padrão de medida e evite pontos de corte rígidos para pequenas diferenças de pontuação. O grupo normativo é adequado para cargos financeiros na Holanda, não para cargos de vendas nem para uma versão em alemão. O estudo de critério aponta na direção certa, mas, com 85 pessoas, o intervalo de confiança é amplo. Conclusão: utilizável na seleção junto com outras informações, e quem decide é uma pessoa.
Quando você mesmo desenvolve ou publica um teste
Os mesmos critérios funcionam como um roteiro de desenvolvimento: defina o construto e o uso pretendido, teste os itens e colete dados sobre fidedignidade, estrutura e normas na população-alvo, como descrito em construção de testes. A EFPA incentiva explicitamente desenvolvedores e editoras a avaliar seus próprios testes com o modelo. Isso lhe dá uma autoavaliação estruturada, não uma avaliação oficial: uma classificação da COTAN só é emitida pela COTAN, por meio do seu próprio procedimento.
O Laboratório Psicométrico da Match.hr analisa os testes antes de incluí-los e pode trabalhar com você na validação de testes. Os critérios do Laboratório seguem a estrutura dos modelos de avaliação da COTAN e da EFPA. O Laboratório não é afiliado a nenhuma das duas organizações nem endossado por elas, e um nível de revisão como Validado não é uma classificação oficial. Se você quiser oferecer o seu instrumento a empregadores, a publicação começa por essa análise; veja Publique seu teste.
Fontes
- Evers, A., Lucassen, W., Meijer, R. & Sijtsma, K. (2010). COTAN Beoordelingssysteem voor de Kwaliteit van Tests. Nederlands Instituut van Psychologen.
- European Federation of Psychologists' Associations (2025). Model for the Review, Description and Evaluation of Psychological and Educational Tests (Test Review Model), version 5.0.
- Evers, A., Muñiz, J., Hagemeister, C., Høstmælingen, A., Lindley, P., Sjöberg, A. & Bartram, D. (2013). Assessing the quality of tests: Revision of the EFPA review model. Psicothema, 25(3), 283–291.
- DIN 33430:2016-07. Anforderungen an berufsbezogene Eignungsdiagnostik.
- COTAN Documentatie, banco de dados on-line das classificações de testes da COTAN (Boom uitgevers em nome do NIP).