Como avaliar a qualidade de um teste psicológico

Todo fornecedor de testes descreve seus instrumentos como fidedignos e válidos. Os modelos de avaliação da COTAN e da EFPA oferecem uma forma estruturada de verificar essa afirmação por conta própria, critério por critério, antes de usar um teste para embasar decisões sobre pessoas.

Em resumo

  • Avalie um teste para um uso específico: o que é suficiente para desenvolvimento pode ser pouco para seleção.
  • A COTAN avalia os testes em sete critérios separados, dos princípios de construção do teste à validade de critério.
  • O Test Review Model da EFPA é o modelo europeu em que associações nacionais de psicologia baseiam suas avaliações de testes.
  • Um número ausente em um manual já é uma constatação: ausência de evidências não é o mesmo que boas evidências.
  • Avaliações oficiais só são emitidas pelo próprio órgão avaliador. Peça a fonte e a data, e confira.

Por que critérios independentes ajudam na escolha de um teste

Escolher um teste a partir de um folheto é arriscado. O material de marketing costuma citar o melhor coeficiente da amostra mais favorável e silenciar sobre o que nunca foi estudado. Um conjunto fixo de critérios transforma uma impressão em perguntas concretas: para que serve o teste, quão precisos são as pontuações, com quem os candidatos são comparados e há evidências de que as pontuações se relacionam com o que importa no trabalho?

Dois modelos são amplamente usados na Europa. A COTAN, a comissão de testes da Associação Holandesa de Psicólogos (Nederlands Instituut van Psychologen, NIP), documenta testes desde 1959 e publica avaliações desde 1969. O Test Review Model da Federação Europeia de Associações de Psicólogos (EFPA) foi construído em parte com base no sistema da COTAN e em critérios britânicos e espanhóis. Nenhum dos dois dá a um teste um selo de aprovação universal: ambos perguntam se as evidências sustentam um uso específico, com pessoas específicas, em um idioma específico.

Os sete critérios da COTAN em linguagem simples

A COTAN avalia cada teste em sete critérios. Dois avaliadores analisam o teste de forma independente, e cada critério recebe sua própria classificação; não existe uma nota geral. Na edição de 2010 do sistema de avaliação, cada classificação é insuficiente, suficiente ou boa.

  • Princípios de construção do teste: o uso pretendido, os grupos-alvo e o construto estão descritos e fundamentados em teoria? O que um teste afirma medir determina de quais evidências ele precisa.
  • Qualidade do material do teste: itens, instruções e correção são padronizados, e o conteúdo está livre de itens que possam ofender determinados grupos?
  • Qualidade do manual: ele oferece o que você precisa para aplicar o teste e interpretar as pontuações corretamente, incluindo os limites dessa interpretação?
  • Normas: os grupos normativos são grandes o suficiente, representativos das pessoas com quem você compara os candidatos e recentes? Uma tabela de normas sem data ou sem descrição do grupo não pode ser avaliada.
  • Fidedignidade: quão precisos são as pontuações, segundo que tipo de estudo e qual amostra?
  • Validade de construto: há evidências de que o teste mede o que afirma medir, por exemplo pela sua estrutura fatorial e pelas relações com outras medidas?
  • Validade de critério: as pontuações se relacionam com resultados como desempenho no trabalho, resultados em treinamentos ou rotatividade, e quão bem esse resultado foi medido?

Uma classificação insuficiente pode significar que as evidências eram fracas ou que nunca foram apresentadas. A COTAN trata os dois casos da mesma forma, porque o ônus da prova é do autor do teste. Para você, a diferença pode importar: um teste novo com poucos dados não é o mesmo que um teste que não atingiu o nível exigido. Em ambos os casos é um sinal de alerta, e, se você usar o teste mesmo assim, deve ser capaz de explicar por quê.

As classificações da COTAN são emitidas apenas pela própria COTAN e publicadas na COTAN Documentatie on-line, que a Boom uitgevers publica em nome do NIP. Se um fornecedor mencionar uma classificação da COTAN, confira lá e verifique a qual versão do teste e do manual ela se refere.

O Test Review Model da EFPA e modelos relacionados

O Test Review Model da EFPA é um formulário de avaliação estruturado, com orientações para os avaliadores, baseado em critérios da British Psychological Society, da associação espanhola de psicologia e da COTAN. A versão 4.2.6 é de 2013; a versão 5.0, uma revisão ampla, foi publicada em agosto de 2025.

O modelo primeiro descreve o instrumento e depois avalia a fundamentação e a documentação, o material do teste, as normas, a fidedignidade, a validade, o apoio ao uso justo e a qualidade dos relatórios gerados digitalmente, terminando com uma avaliação geral. As evidências de validade são agrupadas por fonte: conteúdo do teste, estrutura interna, relações com outras variáveis e outras fontes.

O modelo foi pensado para ser adaptado às estruturas de cada país e aplicado por avaliadores especialistas; associações como a British Psychological Society basearam nele suas avaliações de testes. A EFPA afirma que as classificações dadas com o modelo não significam que ela endossa um teste, e que a publicidade não deve sugerir o contrário. Um fornecedor que diz que seu teste é aprovado pela EFPA entendeu mal o modelo.

DIN 33430 na Alemanha

A DIN 33430, norma alemã para avaliação de aptidão relacionada ao trabalho, foi revisada pela última vez em 2016. Ela não avalia testes individuais, mas abrange todo o processo: esclarecimento da demanda, análise dos requisitos do cargo, escolha dos métodos, aplicação e interpretação, documentação e as qualificações das pessoas envolvidas. Um anexo descreve o que a documentação de um teste psicométrico deve conter, o que a torna um checklist útil também fora da Alemanha.

Um checklist para ler um manual técnico

Seja qual for o modelo que você usa, as evidências estão no manual técnico. Peça-o antes de comprar e leia-o tendo em mente a sua própria decisão.

  • Uso previsto: o manual menciona o seu uso, e diz para o que o teste não se destina?
  • Grupos normativos: tamanho, composição, país, idioma e ano da coleta de dados. Eles se parecem com os seus candidatos? Veja como funcionam os grupos normativos.
  • Fidedignidade: de que tipo, com qual amostra, e o erro padrão de medida é informado? O básico está em fidedignidade e validade explicadas.
  • Validade: há evidências sobre a estrutura fatorial, sobre as relações com testes comparáveis e, para seleção, sobre a relação com resultados ligados ao trabalho? Qual era o tamanho das amostras?
  • Equidade e idiomas: os itens e as escalas funcionam da mesma forma em diferentes grupos, e a versão no seu idioma foi adaptada e estudada, e não apenas traduzida?
  • Versão e avaliação independente: as evidências abrangem a versão que você vai usar, e existe uma avaliação que você possa consultar por conta própria?
Exemplo Trecho de manual fictício

Raciocínio Numérico NR-2 (um teste fictício). Uso previsto: seleção e desenvolvimento para cargos de nível superior. Grupo normativo: 1.240 candidatos a cargos financeiros e administrativos na Holanda, coletados em 2021–2022, versão em holandês. Fidedignidade: ω = 0,86 (n = 1.240); teste-reteste após quatro semanas r = 0,79 (n = 112). Validade de construto: modelo de um fator confirmado; correlação com um teste numérico consagrado r = 0,68 (n = 210). Validade de critério: r = 0,24 com avaliações dos gestores após seis meses (n = 85).

Como ler isso. Uma fidedignidade de 0,86 é sólida, mas, para uma decisão importante sobre um indivíduo, fica entre os pontos de referência de 0,80 e 0,90 da COTAN, então observe o erro padrão de medida e evite pontos de corte rígidos para pequenas diferenças de pontuação. O grupo normativo é adequado para cargos financeiros na Holanda, não para cargos de vendas nem para uma versão em alemão. O estudo de critério aponta na direção certa, mas, com 85 pessoas, o intervalo de confiança é amplo. Conclusão: utilizável na seleção junto com outras informações, e quem decide é uma pessoa.

Quando você mesmo desenvolve ou publica um teste

Os mesmos critérios funcionam como um roteiro de desenvolvimento: defina o construto e o uso pretendido, teste os itens e colete dados sobre fidedignidade, estrutura e normas na população-alvo, como descrito em construção de testes. A EFPA incentiva explicitamente desenvolvedores e editoras a avaliar seus próprios testes com o modelo. Isso lhe dá uma autoavaliação estruturada, não uma avaliação oficial: uma classificação da COTAN só é emitida pela COTAN, por meio do seu próprio procedimento.

O Laboratório Psicométrico da Match.hr analisa os testes antes de incluí-los e pode trabalhar com você na validação de testes. Os critérios do Laboratório seguem a estrutura dos modelos de avaliação da COTAN e da EFPA. O Laboratório não é afiliado a nenhuma das duas organizações nem endossado por elas, e um nível de revisão como Validado não é uma classificação oficial. Se você quiser oferecer o seu instrumento a empregadores, a publicação começa por essa análise; veja Publique seu teste.

Fontes

Perguntas frequentes

Uma boa classificação da COTAN significa que um teste serve para o meu processo seletivo?

Não automaticamente. Uma classificação descreve as evidências para os usos e os grupos para os quais o teste foi estudado, no momento da avaliação. Verifique se o grupo normativo corresponde aos seus candidatos, se a versão de idioma que você usa fez parte das evidências e se a avaliação ainda vale para a versão atual do teste e do manual. Uma classificação apoia a sua escolha de teste; as decisões sobre candidatos continuam com as pessoas.

Onde posso verificar se um teste foi avaliado?

Para a COTAN, na COTAN Documentatie on-line, publicada pela Boom uitgevers em nome do NIP. Para avaliações baseadas no modelo da EFPA, procure a associação nacional de psicologia que realizou a avaliação, como a British Psychological Society no Reino Unido. Na Alemanha, o Diagnostik- und Testkuratorium publica avaliações em seu próprio sistema, o TBS-DTK. Peça ao fornecedor a referência exata e a data, e confira você mesmo.

Os testes da Match.hr são avaliados pela COTAN ou pela EFPA?

As análises do Laboratório não são classificações da COTAN nem avaliações baseadas no modelo da EFPA feitas por uma associação nacional. Os critérios do Laboratório seguem a estrutura dos dois modelos de avaliação, e a Match.hr não é afiliada a nenhuma das duas organizações nem endossada por elas. O que foi estudado para um teste aparece no seu selo psicométrico e, após a publicação, no seu manual técnico. Se o teste de uma editora na plataforma tiver uma avaliação independente, peça a referência e confira.

E se um teste nunca tiver sido avaliado?

Isso é comum, especialmente em testes mais novos e on-line. Percorra o checklist acima com o manual técnico e peça ao fornecedor tudo o que estiver faltando. Trate um número ausente como desconhecido, e não como satisfatório. Quando as evidências forem escassas, considere usar o teste em conversas de desenvolvimento em vez de na seleção, até que haja mais dados disponíveis.

Avalie seu primeiro candidato hoje

Conta gratuita, sem cartão de crédito, resultados em minutos.