Stronniczość testu (test bias) oznacza brak trafności lub systematyczny błąd pomiaru w stosunku do członków określonych grup. Gdybyśmy np. dokonywali pomiaru czasu wykonania określonego zadania w grupie kobiet i mężczyzn za pomocą stopera chodzącego inaczej w grupie kobiet i mężczyzn, to na pewno możemy określić trafny ranking wewnątrz każdej z grup, ale porównania między grupami będą prowadziły do fałszywych wniosków. Zauważmy, że stronniczość testu definiowana jest tu w kategoriach różnic między grupami badanych. Jednostka może mieć mniej lub bardziej zgodne z rzeczywistością wyniki w teście, ale nie powiemy, że jest to wina testu, chyba że taka sytuacja zdarzy się u wszystkich badanych (wtedy zakładamy brak trafności testu) lub w określonej grupie badanych (wtedy zakładamy stronniczość metody). Różnice grupowe per se nie są jeszcze dowodem istnienia stronności. Dopiero wskazanie − jako ich przyczyny − testu, który dyskryminuje jedną z badanych grup pozwala przyjąć hipotezę o istnieniu stronniczości. Podkreślmy: stronniczość testu psychologicznego nie jest zatem wynikiem działania błędów losowych – te są bowiem równo rozłożone we wszystkich grupach. Stronniczość testu należy też odróżnić od stronniczej selekcji, tj. takich decyzji o charakterze selekcyjnym, które wykorzystują jako podstawę grupowe różnice w indywidualnych wynikach testowych. Stronniczość testu jest błędem systematycznym, wprowadzanym przez narzędzie pomiarowe