Évaluation du transfert des acquis de formation en milieu de travail : une nouvelle méthode
Une équipe de chercheurs québécois et suisses propose une nouvelle méthode d’évaluation de la formation intitulée cycle de Construction et de Gestion Qualité d’Évaluation du Transfert (cycle CGQET). L’objectif de cette méthode : maximiser le transfert des acquis de la formation en milieu de travail. Pour ce faire, elle met l’accent sur la qualité et la convivialité des instruments et des outils d’évaluation.
Dans cet article, nous exposons l’enjeu de l’évaluation du transfert des acquis en milieu de travail en lien avec les besoins actuels des entreprises. Ensuite, nous présentons les huit étapes de la méthode du cycle CGQET, les principaux apprentissages issus de la première mise à l’essai, ainsi que les apports pour les professionnels de la formation. Enfin, nous vous informons des projets en cours dans une perspective d’amélioration continue de la méthode.
Les organisations américaines dépensent plus de 156,2 milliards de dollars pour la formation en milieu de travail (Kennedy et al., 2009). Afin de vérifier la rentabilité de ces dépenses, les professionnels de la formation se référent fréquemment au modèle de Kirkpatrick pour évaluer les formations. Ce modèle, rappelons-le, propose quatre niveaux d’évaluation (Kirkpatrick, 1959) : la satisfaction des participants (niveau 1) ; les acquis de connaissances et compétences à l’issue de la formation (niveau 2); le transfert des acquis de la formation au milieu de travail (niveau 3); et les impacts économiques de la formation pour l’entreprise (niveau 4)1).
Bien que le modèle soit considéré comme un standard (Kennedy et al., 2014), dans la pratique, les organisations évaluent encore majoritairement aux deux premiers niveaux du modèle (Bell et al., 2017). Pourtant, les résultats d’une enquête de l’American Society of training development’s (ATDS) de 2009 ont révélé que les entreprises américaines souhaitent des évaluations plus approfondies aux niveaux supérieurs trois et quatre. Les participants attendent d’une formation efficace qu’ils en ressortent satisfaits et qu’ils aient développé des connaissances nouvelles. Cependant, les entreprises attentent d’une formation efficace que les participants puissent transférer leurs apprentissages en milieu de travail et que cela ait des impacts économiques positifs. Toutefois, de telles évaluations sont encore rarement menées, faute de temps, de compétences, d’instruments, de méthodes d’évaluation ou de support de la part des gestionnaires (Moller et Mollin, 1996 ; Puchiline, 2007; Enquête ASTD, 2009; dans Kennedy et al., 2014).
Le cycle CGQET constitue une réponse aux besoins des entreprises qui souhaitent être mieux outillées pour les étapes difficiles du modèle Kirkpatrick et qui recherchent une méthode d’évaluation conviviale, efficace et peu coûteuse.
La méthode CGQET se présente sous la forme d’un cycle en huit étapes (figure 1). La particularité de cette méthode c’est ceci : les résultats obtenus à chaque étape du cycle sont contrôlés sur la base de huit critères de qualité. À titre d’exemple, un des critères est la validité. La validité se réfère à l’utilisation d’outils qui couvrent bien les aspects importants des contenus éducatifs à transférer sur les postes de travail des participants. Un autre critère est la praticabilité : la réalisation des évaluations doit être faisable dans des délais raisonnables, à l’aide des ressources en personnel et matériel disponibles.
La première étape consiste à analyser les éléments de la formation qui devront être appliqués par les participants sur leur poste de travail. À l’issue de cette étape, on obtient un relevé précis des nouveaux comportements que l’on devrait observer suite à la formation. On obtient aussi une liste des paramètres du contexte de travail des participants qui peuvent favoriser ou freiner le transfert des acquis de la formation. En matière de qualité, l’identification précise des acquis que les participants doivent mettre en œuvre suite à leur formation permet des rétroactions plus ciblées.
Figure 1 : Les huit étapes du cycle CGQET
La deuxième étape définit le dispositif d’évaluation à mettre en place. À ce stade, on choisit les intervenants qui seront interrogés, les outils à utiliser et les moments propices pour évaluer le transfert des acquis. Les produits de cette étape sont un plan d’évaluation et une palette d’outils de collecte de données. Pour assurer la qualité du dispositif, une validation peut être effectuée avec le formateur et le commanditaire de la formation.
La troisième étape consiste à rédiger les items ou les questions qui vont être introduits dans les instruments d’évaluation. Pour un questionnaire, il s’agira de créer des items en lien avec les compétences à mobiliser sur les postes de travail et les paramètres du contexte pouvant influencer le transfert en s’assurant qu’il n’y ait pas de biais.
À la quatrième étape, les participants et tous les intervenants concernés par l’évaluation sont informés sur le dispositif qui va être mis en place : les participants, leurs collègues, leurs superviseurs, les bénéficiaires de la formation. Cela permet de les impliquer et d’augmenter les possibilités de réussite du transfert des acquis de la formation. En termes de qualité, les informations qui leur sont transmisses doivent être complètes, accessibles et compréhensibles.
La cinquième étape est celle de la collecte de données sur le terrain. La collecte suit le plan d’évaluation, selon le calendrier déterminé à la deuxième étape. À cette étape, la qualité est garantie par la vérification du bon déroulement de la collecte et de la complétude des données.
Au niveau de la sixième étape, les données sont traitées de manière à extraire les informations qui pourront être transmises aux intervenants. L’objectif est de produire une version fiable des résultats. Pour assurer la qualité de cette étape, il est utile de prendre en compte des effets de l’environnement sur les changements de comportements observés. Cela permet de livrer un diagnostic plus précis en distinguant les comportements issus de la formation de ceux induits par l’environnement de travail.
La septième étape correspond à la rétroaction donnée aux intervenants impliqués dans le processus d’évaluation. L’objectif est de transmettre des feedbacks personnalisés et adaptés à leurs besoins dans un court délai. Pour cela, il faut analyser les besoins des acteurs en matière de rétroaction puis définir des modalités d’envoi des informations (p. ex., un courriel personnalisé, une capsule vidéo, un rapport, un lien vers une page web, etc.). La qualité de la démarche est garantie par le choix de moyens de communication. Il convient de s’assurer d’une bonne compréhension des informations par la personne qui les reçoit.
La huitième et dernière étape du cycle CGQET, est la macro-régulation. Elle consiste à faire le bilan des étapes précédentes afin d’améliorer le processus en vue d’une future évaluation du transfert des acquis de la formation. Chaque étape est analysée dans l’optique d’en améliorer la qualité lors de la prochaine séquence d’évaluation. On y élabore une liste de propositions d’améliorations et de recommandations. La qualité de la démarche est assurée par la validation de ces propositions par l’ensemble des acteurs du processus d’évaluation. Les coûts en lien avec ces propositions peuvent être évalués afin de déterminer les priorités de ressources à mobiliser pour une prochaine évaluation du transfert des acquis de la formation.
Le cycle CGQET a été mis à l’épreuve pour la première fois en conditions réelles en 2015-2016. Il s’agissait d’évaluer deux sessions d’une formation sur la préparation et la rédaction de comptes rendus et de procès-verbaux2). Plusieurs constats utiles pour les patriciens ressortent de cette mise à l’essai.
Premier constat, il est important de ne pas faire d’économie sur les trois premières étapes du cycle. En effet, bien que cela demande de la rigueur et du temps, mener à bien ces étapes garantit un processus d’évaluation de qualité. La Table de spécification (TDS) utilisée à l’étape 1 s’est avérée être un très bon outil pour préparer l’évaluation parce qu’elle permet d’identifier, de manière exhaustive, le contenu de la formation à transférer.
Les évaluateurs ont réalisé la Table de spécification à partir des objectifs de la formation, du support de cours et d’une entrevue avec le formateur. Elle prend la forme d’un tableau en trois colonnes (voir tableau 1 ci-après). La première colonne reprend les contenus de la formation à partir des chapitres du cours, des éléments précis abordés et des supports utilisés (diapositives, notes de cours, etc.). La seconde colonne attribue un degré de complexité à chaque contenu, au moyen de la taxonomie de Foucher (2010). Enfin, la dernière colonne détaille les comportements qui devront être transférés par les participants sur leurs postes de travail à l’issue de la formation.
Un deuxième constat a trait à la huitième étape, la macro-régulation. Elle permet au cycle de devenir une spirale-qualité qui rend possible l’amélioration continue du processus dans la perspective de futures évaluations. Comment ? En fournissant des feedbacks constructifs aux acteurs impliqués dans l’évaluation, telle qu’une rétroaction au formateur pour améliorer son support de cours afin de maximiser le transfert des acquis.
À ce stade, il est envisageable d’évaluer les coûts en lien avec les améliorations prévues et de fixer les priorités au niveau des ressources à mobiliser pour la construction de la prochaine évaluation des comportements en milieu de travail. Ce qui rend la méthode CGQET d’autant plus efficace, moins coûteuse et pouvant s’adapter à un milieu de travail spécifique.
Le troisième constat s’inscrit dans le mouvement de l’évaluation participative. D’une part, une communication transparente, claire et précise favorise l’implication de tous les acteurs concernés. D’autre part, un double regard formateur-évaluateur sur les outils d’évaluation construits (comme la Table de spécification) en améliore la qualité. De plus, si le budget et le contexte le permettent, il convient de privilégier des évaluations multi sources de type 180° (participant, collègues et supérieur hiérarchique) ou 360° (participant, collègues, supérieur hiérarchique, collaborateurs, bénéficiaires, clients, etc.) afin de multiplier les regards sur la performance de transfert.
Enfin, un dernier constat a trait à la méthode de collecte de données. Les comportements ne peuvent pas tous s’évaluer par questionnaire. Lorsque cela est possible, il serait intéressant de privilégier l’observation des comportements sur les postes de travail pour le recueil de données complémentaires.
Le développement de la méthode ne s’arrête pas là. Elle est actuellement testée sur différents programmes de formation en milieu syndical, en milieu communautaire et en milieu hospitalier. Ces nouvelles mises à l’essai feront l’objet d’un prochain rapport qui sera mis en ligne à la fin de l’été 2017.
Tableau 1 : Exemple de Table de spécification de niveau 3
| Contenu de la formation |
Taxonomie de Foucher |
Item de comportement |
| Avant chaque réunion, recherche de l’information nécessaire pour bien se préparer |
Application |
Avant chaque réunion, je vais rechercher l’information nécessaire pour me préparer de manière autonome |
| Transmission du compte rendu ou du procès-verbal |
Imitation |
Je transmets un compte rendu ou un procès-verbal dans les délais prescrits |
| Approbation du contenu des comptes rendus |
Maitrise |
Je fais approuver le contenu de mes comptes rendus par toutes les personnes présentes à la réunion |
| Respect des besoins du service en termes de documentation |
Imitation |
J’identifie correctement les besoins du service en termes de documentation |
| Choix du niveau de langage dans les documents |
Application |
J’ajuste le niveau de langage utilisé dans ses documents en fonction du public-cible |
| Synthétisation des sujets traités |
Maitrise |
J’adapte le contenu de mes résumés en fonction des sujets traités en réunion |
| Objectivité des comptes rendus |
Maitrise |
Je rédige des comptes rendus fidèles, dépourvus d’interprétation personnelle |
| Choix du type de rédaction appropriée soit un compte rendu, un procès verbal ou un résumé |
Application |
En fonction de la réunion, je choisit la bonne méthode de rédaction (compte rendu, PV ou résumé). |
| Construction du PV, selon l’ordre du jour établi |
Imitation |
Je reproduis fidèlement l’ordre du jour dans mes PV. |
| Application code Morin lors de la rédaction d’un PV officiel. |
Application |
J’applique correctement le code Morin lors de la rédaction d’un PV officiel. |
| Avant de rédiger une communication, savoir à qui elle s’adresse et à quoi elle servira. |
Application |
Avant de rédiger une communication, je détermine à qui elle s’adresse et à quoi elle servira. |
| Avant la rencontre, identifier les enjeux de la rencontre |
Maitrise |
Je me sensibilise aux enjeux de la rencontre. |
| Collecte préalable des informations relatives à la rencontre (l’ordre du jour, les participants, etc.) |
Application |
Je collecte préalablement les informations relatives à la rencontre de manière autonome (ordre du jour, participants, etc.) |
Notes
- Pour approfondir le sujet, vous pourrez consulter les précédentes publications de l’OCE traitant de la thématique mises en référence à la fin de cet article.
- Vous trouverez le descriptif de cette formation en référence en fin d’article. Le rapport décrivant la méthode CGQET est disponible en libre accès, sur le site du CIRDEF.
Références
Bell, B.S., Tannenbaum, S.I., Ford, J.K., Noe, R.A. et Kraiger, K. (2017) ; 100 years of training and development research: What we know and where we should go. Journal of apply psychology.102(3) pp 305-323.
Foucher, R. (2010). Clarifier les concepts de compétence et de talent, dans Foucher, R. Gérer les talents et les compétences ; principes, pratiques et instruments. Montréal : Éditions nouvelles, p. 19-68.
Gilles, J.-L., Chochard, Y., Berset, T., Bieri, S., El Guermaï, J., Graveline, A., Miserez, C., Rupp-Nantel, K. (2017) ; Cycle de construction et d’évaluation qualité du transfert. Résumé de la méthode du Cycle de construction et de gestion qualité d’évaluation du transfert (cycle CGQET). Projet PEERS 2015-2016. HEP Vaud et UQAM.
Kennedy, P. E., Chyung, S. Y., Winiecki, Donald J. et Brinkerhoff, R. O. (2014); Training Professionals Usage and Understanding of Kirkpatrick’s Level 3 and Level 4 Evaluations. International Journal of Training and Development, 18(1), 1-21.
Kirkpatrick, D.J. (1959) ; Techniques for Evaluating Training Programs. Journal of the american society of trainings directors, 13(11).
En savoir plus
Autres articles de l’OCE sur le modèle de Kirkpatrick
Voir dans la colonne de droite (ci-haut) la rubrique « articles connexes ».
La méthode CGQET
La méthode CGQET a été conçue dans le cadre du programme Projets d’Étudiants et d’Enseignants-chercheurs en Réseaux Sociaux (PEERS 2016- 2016). Deux équipes d’étudiants de l’Université du Québec à Montréal et de la Haute École Pédagogique du canton de Vaud en Suisse, ont collaboré à distance sur la construction et la mise à l’essai de la méthode.
Premier rapport sur la méthode
http://www.cirdef.uqam.ca/wordpress/wp-content/uploads/2017/02/Rapport-CGQET-PEERS-UQAM-HEP-2017.pdf
Synopsis de la formation ayant fait l’objet de l’évaluation
http://formation.uqam.ca/calendrier-des-evenements.html?task=view_event&event_id=12
Présentation du programme PEERS et liste des projets en cours
Extrait
Une équipe de chercheurs québécois et suisses propose une nouvelle méthode d’évaluation de la formation intitulée cycle de Construction et de Gestion Qualité́ d’Évaluation du Transfert (cycle CGQET). L’objectif : maximiser le transfert des acquis de la formation en milieu de travail. Le cycle CGQET constitue une réponse aux besoins des entreprises qui souhaitent être mieux outillées pour les étapes difficiles du modèle Kirkpatrick et qui recherchent une méthode d’évaluation conviviale, efficace et peu coûteuse.
