L’article Articulating and Evaluating Validity Arguments for the TOEIC^®  Tests offre une introduction accessible à l’approche fondée sur l’argumentation, à sa mise en œuvre pour les tests TOEIC et à ses avantages perçus pour les parties prenantes.

L’article commence par un bref aperçu de l’argument de l’utilisation de l’évaluation, une approche avancée de validation fondée sur des arguments. Ensuite, il décrit le processus utilisé pour construire des arguments de validation pour les tests TOEIC.

Ce processus a intégré des preuves provenant de diverses sources, notamment la documentation des tests, les activités de suivi et la recherche. Enfin, l’article propose un aperçu des deux principales manières dont les arguments de validation du TOEIC sont utilisés : la priorité à la recherche et la communication avec les parties prenantes.

Dans l’ensemble, ce processus démontre comment la recherche TOEIC adopte une approche large, critique et rigoureuse pour soutenir l’utilisation appropriée des tests TOEIC. Ce travail vise également à améliorer la littératie en évaluation des parties prenantes en se concentrant sur les affirmations critiques que tous les développeurs de tests devraient soutenir.

Finalité

L’approche argumentée de la justification de l’usage d’un test part du principe que les concepteurs doivent convaincre les parties prenantes — c’est‑à‑dire toute personne concernée par le test — que l’usage prévu du test est justifié.

Pour cela, le concepteur du test formule des affirmations explicites concernant :

• la manière dont les scores doivent être interprétés ;

• la manière dont ils doivent être utilisés pour prendre des décisions.

Ces affirmations sont étayées ou invalidées par des éléments de preuve, qui peuvent inclure :

• la documentation issue du processus de développement du test ;

• des recherches menées de façon continue.

En examinant les affirmations du concepteur et les preuves qui les soutiennent, les parties prenantes peuvent parvenir à une évaluation globale de la pertinence et de la justification de l’usage prévu du test.

Cette approche sert à :

• orienter le développement du test ;

• guider les recherches menées en continu ;

• constituer un outil de responsabilité vis‑à‑vis des différents groupes de parties prenantes

Structure

Un Argument d’Usage de l’Évaluation (AUA) est « un cadre conceptuel destiné à orienter le développement et l’utilisation d’une évaluation linguistique donnée, y compris les interprétations et les usages que nous faisons des résultats de cette évaluation » (Bachman & Palmer, 2010, p. 99).

Ce cadre prend la forme d’un ensemble hiérarchisé de revendications formulées par le concepteur du test concernant :

• la manière dont les scores doivent être interprétés ;

• la manière dont ils doivent être utilisés pour prendre des décisions.

Il suit généralement la structure suivante :

Composants de l’AUA

Chaque composant de la figure ci‑dessus correspond à une revendication. Au niveau le plus élevé, le concepteur du test peut affirmer que les conséquences découlant des décisions fondées sur le test sont bénéfiques pour l’ensemble des parties prenantes (par exemple, que les erreurs de décision ont été minimisées).

Cette affirmation suppose une revendication concernant les décisions qui découlent des interprétations des scores — en particulier, que ces décisions sont équitable et respectueuses des valeurs des institutions concernées (éducatives, sociétales, organisationnelles, juridiques).

Pour justifier les interprétations des scores en lien avec les compétences des candidats, le concepteur du test formule des revendications portant sur :

• la pertinence des interprétations ;

• leur impartialité ;

• leur généralisabilité ;

• leur validité ;

• leur suffisance.

Enfin, toutes ces revendications reposent sur une affirmation fondamentale : les scores issus des performances des candidats sont cohérents d’une version de test à l’autre, d’une session à l’autre et d’un évaluateur à l’autre.

Ainsi, chaque revendication dans un AUA comporte :

• un résultat lié à l’usage du test (par exemple, les décisions fondées sur l’interprétation des compétences des candidats) ;

• des qualités associées à ce résultat (par exemple, des décisions équitables et sensibles aux valeurs des institutions).

Responsabilités partagées : concepteurs et décideurs

Les décideurs et les concepteurs de tests partagent la responsabilité de justifier l’usage d’une évaluation.

• Les concepteurs doivent fournir des preuves démontrant que les scores sont cohérents, et qu’ils peuvent être utilisés pour formuler des interprétations valides sur les compétences des candidats.

• Les décideurs doivent démontrer que les décisions prises sont équitable, sensibles aux valeurs des institutions concernées, et que les conséquences de ces décisions sont bénéfiques.

Cependant, les décideurs peuvent manquer de l’expertise nécessaire pour étayer correctement ces revendications (par exemple, documentation liée à la définition des seuils, estimations des erreurs de décision).

C’est pourquoi un AUA peut être renforcé par une collaboration entre décideurs et concepteurs de tests. À minima, les concepteurs doivent solliciter le retour des décideurs afin de déterminer si les revendications portant sur les décisions et leurs conséquences peuvent être justifiées.

Utilité

Dans son ensemble, la structure d’un AUA fournit une base permettant de justifier de manière exhaustive l’usage d’un test, en reliant les préoccupations concrètes liées aux décisions et à leurs conséquences aux préoccupations traditionnelles des concepteurs de tests — fiabilité et validité. En tant que liste complète de revendications, de garanties, de preuves et de contre‑arguments, il permet d’identifier les faiblesses potentielles dans l’argument global en faveur de l’usage du test et de prioriser les projets de recherche ou de développement.

Enfin, sous la forme d’un ensemble hiérarchisé de revendications (comme illustré dans la figure précédente), un AUA peut servir d’outil de communication permettant d’exposer clairement les enjeux qui déterminent les qualités essentielles de l’utilité d’un test : équité, impact, fiabilité et validité. Les préoccupations des individus et des groupes de parties prenantes varient, et l’un des défis de la recherche consiste à y répondre de manière cohérente tout en renforçant la culture de l’évaluation chez ces parties prenantes.

Ces préoccupations peuvent porter sur :

• La cohérence des scores « Comment s’assurer que tous les évaluateurs suivent correctement les grilles de notation ? »

• L’interprétation des scores « Lorsque nous calculons la validité critériée, quel est le critère retenu ? »

• Les décisions fondées sur ces interprétations « Quels sont les seuils de score utilisés dans d’autres institutions ? »

• Les conséquences de l’usage du test « En quoi les tests TOEIC ont‑ils aidé les personnes en recherche d’emploi ? »

• L’usage du test en lien avec plusieurs de ces enjeux « Comment les recruteurs peuvent‑ils savoir que les scores TOEIC répondent aux besoins du marché ? »

Nous fournissons une description de la manière dont cette approche a été mise en œuvre pour les tests TOEIC^® Bridge repensés dans l’article « Faire valoir la qualité et l’utilisation d’une nouvelle évaluation de la maîtrise linguistique : argument de validité pour les tests TOEIC Bridge repensés. »

Dans cet article, les chercheurs décrivent les preuves soutenant des affirmations spécifiques concernant la cohérence des scores, l’interprétation des résultats des tests, les décisions basées sur les résultats et les conséquences de l’utilisation des tests.

Cette synthèse encourage les parties prenantes à s’engager de manière critique avec les affirmations réelles (et les preuves) sur ce qu’un test mesure et comment il est censé être utilisé. Ce niveau d’engagement peut aider les parties prenantes à mieux comprendre si les tests sont adaptés à leurs besoins, ainsi que leur rôle dans la facilitation de leur utilisation efficace.

Bachman, L. F., & Palmer, A. (2010). Évaluation du langage en pratique. Oxford : Oxford University Press.

Schmidgall, J. (2017). Formulation et évaluation des arguments de validité pour les tests TOEIC^® (Mémorandum de recherche n°  RM-13-09). ETS.

Schmidgall, J., Cid, J., Carter Grissom, E., & Li, L. (2021). Défendre la qualité et l’utilisation d’une nouvelle évaluation de la compétence linguistique : argument de validité pour les tests ponts^® TOEIC repensés (rapport de recherche n° RR-21-20). ETS.