Aller au contenu principal

Répétabilité des tests utilisateurs

Malgré tous les efforts et en dépit de la fiabilité d’un instrument de mesure, le jugement d’un testeur pourra toujours être influencé. Mais en prenant de nombreuses précautions, il est possible d'éviter l'effet de certains biais cognitifs et méthodologiques.

Nos évaluations sont-elles fiables ?

Lorsque nous émettons un jugement, nous avons bien souvent la sensation de nous baser sur des éléments objectifs et clairement identifiables. Qu’ils s’agissent de jugements perçus comme objectifs (mesurer un objet, établir un diagnostic …) ou subjectif (évaluer un produit par exemple), nous mettons tout en œuvre pour que nos conclusions reflètent le plus fidèlement possible la réalité que nous percevons. Et ce, d’autant plus que nous sommes conscients de l’importance de notre jugement. Pour autant, la concentration et l’attention d’un évaluateur ne permettent pas de garantir à 100% la fiabilité de son jugement.

La notion de répétabilité

Lorsque l’on s’intéresse à la question de la fiabilité d’une méthode de mesure ou d’évaluation, il n’est pas rare de tomber sur le sigle R&R. Abréviation pour Reproductibilité et Répétabilité, ce sigle permet de mettre en avant 2 critères qui garantissent la fiabilité d’une méthode de mesure. Et c’est justement au deuxième R que nous allons nous intéresser ici, à savoir la Répétabilité. La répétabilité est la part de variation d’une méthode de mesure liée au système ou à la personne qui produit l’évaluation. En d’autres termes, il s'agit de la variation observée lorsque le même opérateur évalue le même produit de nombreuses fois, à l'aide des mêmes instruments de mesure, dans les mêmes conditions. La répétabilité ne doit pas être confondue avec reproductibilité, qui évalue la variation qui existe entre plusieurs évaluateurs ou plusieurs instruments de mesure. Et ce qu’il est important de noter d’emblée, c’est que la répétabilité d’un évaluateur n’est jamais parfaite. Même en utilisant une méthode de mesure considérée comme objective et fiable, des mesures répétées réalisées par une même personne présenteront des variations. Si par exemple vous mettez un objet et un mètre entre les mains d’un individu et que vous lui demandez de mesurer l’objet plusieurs fois d’affilée, vous observerez à un moment donné des variations dans les mesures. Et bien évidemment, plus on introduit de subjectivité dans une évaluation, plus la probabilité d’une erreur de jugement est élevée.

Quels éléments influencent l'évaluation d'un produit ?

• le contexte de passation du test : cela peut paraître évident, mais l’environnement de test à une influence sur l’évaluation. La luminosité, la température ou encore le bruit peuvent venir brouiller les systèmes perceptifs de l'évaluateur. Mais ce n’est pas tout, de nombreuses études de psychologie montrent également que la simple présence d’un autre individu (évaluateur ou testeur) dans la pièce provoquera des réactions susceptibles d’influencer le jugement de l’évaluateur.

• les biais socio-cognitifs : c’est un fait bien connu des chercheurs en sciences cognitives, le cerveau n’est pas toujours fiable. Plus précisément, la manière dont nous traitons les informations qui proviennent de nos systèmes perceptifs est à l’origine de nombreux biais de jugements plus connus sous le nom de biais socio-cognitifs. Pour plusieurs exemples, nous vous invitons à consulter les nombreux biais décrits dans les articles de ce blog !

• l’état affectif de l’évaluateur : au-delà du fonctionnement de notre cerveau, nos émotions ont également le pouvoir d’influencer nos jugements. Si un produit évoque des souvenirs agréables ou désagréables à l’évaluateur, alors son jugement en sera probablement affecté.

En conclusion, malgré tous les efforts et en dépit de la fiabilité d’un instrument de mesure, le jugement d’un testeur pourra toujours être influencé. Bien entendu, plus un testeur aura l’expérience du test utilisateur, plus il sera en capacité d’avoir conscience des sources d’erreur potentielles et pourra donc les ignorer. Il semble ainsi indispensable, pour garantir la fiabilité des tests utilisateurs, de professionnaliser les testeurs et de suivre leur niveau de répétabilité dans le temps.