Verifique se o seu teste mede de forma justa entre grupos

Os resultados de grupos podem diferir por muitos motivos. A pesquisa de equidade pergunta se um teste mede a mesma coisa, da mesma forma, para todos, e o que uma diferença de resultado significa para as decisões.

As verificações contínuas de equidade na plataforma estão sendo implementadas teste a teste, na medida em que há dados de grupo obtidos de forma lícita.

Três níveis, três análises

O viés pode estar em um único item, em uma escala inteira ou na forma como os resultados são usados. Cada nível tem sua própria análise.

Funcionamento diferencial do item

No nível do item: pessoas com o mesmo nível no construto têm uma probabilidade diferente de responder a um item de determinada forma, dependendo do grupo? O DIF aponta itens que merecem revisão.

Invariância de medida

No nível da escala: o modelo fatorial se mantém entre grupos ou versões de idioma, com as mesmas cargas e interceptos? Sem isso, comparar médias de grupos não faz sentido.

Impacto adverso

No nível da decisão: as taxas de aprovação diferem entre grupos com uma determinada nota de corte ou em um determinado processo? Regras práticas como a regra dos quatro quintos são um sinal para investigar, não uma prova de injustiça.

Dados de grupo apenas quando for lícito

Características como origem étnica ou saúde são categorias especiais de dados pessoais segundo o GDPR. Só analisamos características de grupo quando há uma base legal, uma finalidade clara e salvaguardas adequadas.

  • Uma finalidade definida e uma base legal para cada característica analisada
  • Consentimento explícito quando exigido, voluntário e separado da avaliação em si
  • Apenas as características de que a pergunta realmente precisa
  • Análise em um conjunto de dados pseudonimizado ou anonimizado
  • Resultados relatados apenas no nível do grupo, com tamanhos mínimos de grupo
  • Dados de grupo nunca usados em um resultado ou decisão individual

Como funciona um estudo de equidade

  1. Definir a pergunta

    Quais grupos, qual uso e qual decisão? Verificamos com você se os dados necessários podem ser coletados ou vinculados de forma lícita.

  2. Preparar os dados

    Coletar características de grupo com consentimento quando necessário, ou usar dados existentes, como versão de idioma ou país, e verificar se os grupos são grandes o suficiente.

  3. Analisar

    Testar DIF e invariância de medida e, quando o processo e a nota de corte são conhecidos, examinar o impacto adverso.

  4. Interpretar e agir

    Os itens sinalizados são revisados com especialistas de conteúdo e depois reformulados, removidos ou mantidos com uma justificativa documentada. A análise é repetida após as mudanças.

O que essas análises não conseguem mostrar

Nenhuma análise prova que um teste está livre de viés. Os testes de DIF e de invariância só olham para os grupos que foram medidos e, com grupos pequenos, têm pouco poder estatístico; portanto, não encontrar DIF não é o mesmo que ele não existir. Uma diferença real entre grupos no construto não é, por si só, viés, e um teste sem viés de medida ainda pode ter impacto adverso em um processo específico. As decisões continuam com as pessoas, que ponderam os resultados dos testes junto com outras informações.

Perguntas frequentes

Vocês podem certificar que o nosso teste está livre de viés?

Não, e desconfiaríamos de quem fizesse isso. Um estudo de equidade mostra se há evidências de diferenças de medida para os grupos e os dados examinados. Relatamos o que foi testado, com qual amostra e o que foi encontrado, incluindo os limites.

Quais grupos podem ser comparados?

Versões de idioma e países muitas vezes podem ser comparados com dados que a plataforma já possui. Idade e gênero exigem uma base legal e uma finalidade clara. Categorias especiais, como origem étnica, exigem consentimento explícito e salvaguardas rigorosas e costumam ser estudadas em uma amostra de pesquisa separada, e não em dados reais de seleção.

O que acontece se um item apresentar DIF?

Ele não é removido automaticamente. Especialistas de conteúdo analisam por que o item pode funcionar de forma diferente, por exemplo uma expressão idiomática que não se traduz bem ou um exemplo mais familiar para um dos grupos. Em seguida, o item é reformulado, removido ou mantido com uma justificativa documentada, e a análise é repetida.

Impacto adverso significa que um teste é injusto?

Não necessariamente, mas exige uma boa explicação. Verifique se o que o teste mede é relevante para a função, se a nota de corte é justificada e se combiná-lo com outras medidas reduz a diferença. Pela legislação da UE sobre igualdade de tratamento, uma prática que desfavorece um grupo protegido precisa ter uma justificativa objetiva; por isso, envolva sua assessoria jurídica quando isso se aplicar.

Avalie seu primeiro candidato hoje

Conta gratuita, sem cartão de crédito, resultados em minutos.