Fidedignidade e validade: o que profissionais de RH precisam saber
Duas palavras que aparecem em todo manual de teste e em toda apresentação de fornecedor. A fidedignidade também é chamada de precisão ou confiabilidade. Este guia explica o que esses conceitos significam na prática, quais números procurar e o que perguntar antes de usar um teste para embasar decisões sobre pessoas.
Em resumo
- Fidedignidade tem a ver com consistência: a mesma pessoa obteria de novo mais ou menos o mesma pontuação?
- Validade tem a ver com significado: a pontuação sustenta a conclusão que você quer tirar, para este cargo, este grupo e este idioma?
- Toda pontuação é uma faixa, não um ponto. O erro padrão de medida indica a largura dessa faixa.
- Na seleção, os coeficientes de validade são números modestos que ainda assim importam, e métodos bem escolhidos se complementam.
- Peça as evidências por trás de cada número: amostra, população, versão de idioma e uso pretendido.
Por que essas duas palavras importam na escolha de um teste
Um teste fornece um número que embasa uma decisão sobre uma pessoa. Esse número só é útil se duas condições forem atendidas. Ele precisa ser consistente: a mesma pessoa, medida duas vezes nas mesmas condições, deve obter mais ou menos o mesmo resultado. E precisa significar algo para a decisão: uma pontuação mais alta deve vir acompanhada de mais daquilo que importa no cargo.
A primeira condição é a fidedignidade, a segunda é a validade. Um teste pode ser muito fidedigno e ainda assim medir algo irrelevante para o trabalho. O contrário não funciona: um teste com resultados inconsistentes também não consegue predizer nada de forma consistente. A fidedignidade é uma condição prévia para a validade, não um substituto dela.
Fidedignidade: quão consistente é a pontuação?
A fidedignidade é expressa como um coeficiente entre 0 e 1. Existem vários tipos, e cada um responde a uma pergunta diferente.
Fidedignidade teste-reteste
As mesmas pessoas fazem o teste duas vezes. Uma correlação alta significa que as pontuações são estáveis ao longo do tempo, o que importa para traços que se espera que sejam estáveis, como a personalidade. O intervalo faz diferença: curto demais, e as pessoas se lembram das respostas; longo demais, e mudanças reais se misturam ao resultado.
Consistência interna
Os itens de uma escala medem a mesma coisa? O índice habitual é o alfa de Cronbach; o ômega de McDonald costuma ser mais adequado quando os itens refletem o construto com intensidades diferentes. Uma regra prática muito citada é que algo em torno de 0,70 pode bastar para pesquisas no nível de grupo, enquanto decisões sobre indivíduos exigem valores claramente mais altos. Os modelos de avaliação de testes definem seus próprios limiares, conforme o que está em jogo; veja como funcionam os critérios de qualidade de testes.
Concordância entre avaliadores
Quando a pontuação é produzida por avaliadores e não por uma chave de correção, como em entrevistas e exercícios de assessment center, a pergunta é se avaliadores diferentes chegam à mesma avaliação. Isso é relatado como correlação intraclasse ou kappa de Cohen. Perguntas estruturadas, escalas de avaliação comportamental e treinamento dos avaliadores aumentam essa concordância.
O erro padrão de medida
Um coeficiente de fidedignidade descreve o teste em um grupo. Para um indivíduo, o erro padrão de medida (EPM) é mais útil: o desvio padrão da escala multiplicado pela raiz quadrada de um menos a fidedignidade. Ele mostra o quanto uma pontuação observada pode se afastar da pontuação que a pessoa obteria sem erro de medida.
Uma escala de personalidade usa escores T (média 50, desvio padrão 10) e tem fidedignidade de 0,84 no grupo normativo relevante. O EPM é 10 × √(1 − 0,84) = 4 pontos, e uma faixa de 95% vai de cerca de dois EPM abaixo a dois EPM acima da pontuação. O candidato A tem 56, portanto aproximadamente de 48 a 64; o candidato B tem 52, aproximadamente de 44 a 60. As faixas se sobrepõem quase por completo: a diferença de 4 pontos diz muito pouco e não deve decidir um ranking.
Validade: a pontuação significa o que você precisa que ela signifique?
A validade é o mais importante dos dois conceitos. Os padrões profissionais atuais não a tratam como uma propriedade fixa de um teste, mas como o grau em que as evidências sustentam uma interpretação específica das pontuações para um uso específico. Por isso, a pergunta útil não é se um teste é válido, mas: válido para quê, para quem e em qual idioma?
Validade de conteúdo
Os itens cobrem o que importa no cargo, e apenas isso? Normalmente especialistas no assunto avaliam isso, por exemplo comparando as tarefas de um teste de habilidades com a análise do cargo.
Validade de construto
O teste mede o que afirma medir? As evidências incluem a estrutura fatorial, as correlações com medidas semelhantes e diferentes e se a estrutura se mantém em cada versão de idioma. Sem isso, você não sabe de fato o que o nome de uma escala representa.
Validade de critério e validade preditiva
As pontuações se relacionam com resultados que importam, como desempenho no trabalho, resultados em treinamentos ou permanência na empresa? Um delineamento preditivo avalia as pessoas na contratação e mede o resultado depois. Um delineamento concorrente avalia funcionários atuais, o que é mais rápido, mas esse grupo já passou por uma seleção, o que tende a reduzir as correlações. O critério também importa: uma avaliação de desempenho vaga ou inconsistente limita o quanto qualquer coeficiente de validade pode ser alto.
Quanto é bom? Como ler coeficientes de validade
A validade de critério costuma ser relatada como uma correlação, e na seleção de pessoal essas correlações são modestas. Isso é normal: o desempenho depende de muita coisa que um teste não consegue captar, da equipe e do gestor à vida fora do trabalho. Uma correlação em torno de 0,30 é um resultado relevante nesta área, não um resultado fraco.
Sackett, Zhang, Berry e Lievens (2022) reexaminaram as evidências metanalíticas e chegaram a estimativas mais conservadoras do que números mais antigos e ainda muito citados, principalmente porque consideraram grandes demais as correções anteriores para a restrição de amplitude. Entre as estimativas deles:
- Entrevistas estruturadas: cerca de 0,42
- Aptidão cognitiva geral: cerca de 0,31
- Conscienciosidade: cerca de 0,19
Daí decorrem três pontos. São médias de muitos estudos e cargos, corrigidas para artefatos estatísticos, então um teste específico no seu contexto pode se sair melhor ou pior. Todas estão claramente acima de zero: aplicada de forma consistente em muitas decisões de contratação, até uma validade modesta melhora o resultado médio em comparação com um julgamento não estruturado. E métodos que medem coisas diferentes acrescentam informação. Aptidão cognitiva e conscienciosidade têm relação fraca entre si, então uma combinação tende a predizer melhor do que cada uma isoladamente. O mesmo raciocínio justifica usar testes de aptidão cognitiva junto com uma entrevista estruturada, e não no lugar dela.
Como ler um manual técnico: perguntas a fazer
Um número em um folheto significa pouco sem o seu contexto, e um bom manual técnico fornece esse contexto. Seja lendo um manual, seja conversando com um fornecedor, estas perguntas ajudam.
- Que tipo de fidedignidade é informado, e o erro padrão de medida aparece?
- Qual o tamanho da amostra, e quem fazia parte dela: país, idioma, nível de cargo? Coeficientes obtidos com poucas dezenas de pessoas são instáveis.
- A qual versão de idioma as evidências se referem? Uma tradução precisa de dados próprios antes de se supor que funciona da mesma forma.
- Qual foi o critério nos estudos de validade, como ele foi medido, e o delineamento foi preditivo ou concorrente?
- Para qual uso as evidências valem: seleção, desenvolvimento, um determinado grupo de cargos?
- Quão recentes elas são, e o que o manual diz que ainda não foi estudado?
“O teste é validado”, sem dizer para quê, com quem e com quais números, não responde à pergunta. Evidências incompletas são aceitáveis, especialmente em testes novos, desde que isso seja dito abertamente. Na Match.hr, o selo psicométrico de cada teste mostra a fidedignidade com a amostra em que se baseia, o uso pretendido e as versões de idioma analisadas.
Como isso se conecta com normas e equidade
Uma pontuação só se torna interpretável ao lado de um grupo de comparação, então a próxima pergunta é qual grupo normativo é adequado aos seus candidatos e quão recente ele é; veja grupos normativos explicados. E um teste pode predizer bem em média e, mesmo assim, funcionar de modo diferente para alguns grupos, por exemplo quando um item depende de conhecimento linguístico ou cultural que não faz parte do que ele deveria medir. A nossa página sobre equidade e viés explica como isso é examinado.
Escores consistentes lidos como faixas, evidências para o seu uso específico, um grupo normativo adequado e análises de equidade quando permitidas por lei: juntos, esses elementos fazem de um teste uma base sólida para uma decisão ponderada tomada por uma pessoa, e não um substituto dela.
Fontes
- American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
- Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.