Septembre 2013 | Vol. 4 | N°3

L’évaluation de la formation : un instrument simple et fiable à la portée des praticiens

par

Les responsables formation sont à la recherche d’instruments permettant d’évaluer les impacts de la formation en entreprise. Or de tels instruments développés en milieu académique sont fiables, mais souvent trop complexes pour être utilisés par les praticiens. C’est ce qui a motivé Anna Grohmann et Simone Kauffeld, deux chercheuses allemandes, à développer un instrument d’évaluation répondant aux exigences de fiabilité et de simplicité d’utilisation.

Les contraintes liées à l’évaluation d’une formation

Lorsque les praticiens parlent d’évaluation de la formation en milieu de travail, trois contraintes majeures apparaissent (Grohmann et Kauffeld, 2013 ; Dunberry et Péchard, 2007) :

  • Le manque de ressources matérielles, techniques et financières. Les praticiens ont peu de temps pour mesurer les résultats d’une formation et, le plus souvent, ils ne disposent pas de budget pour cette opération. Seul une méthode d’évaluation simple et économe peut être envisagée.
  • La faible disponibilité des participants. Le temps consacré à cette activité est nécessairement pris sur le temps de production. La récolte des données doit donc se faire rapidement.
  • La qualité limitée des résultats de l’évaluation. La qualité ou la fiabilité d’un instrument est rarement contrôlée en entreprise, car on connaît mal les méthodes permettant de réaliser ce contrôle. Il y a bien une demande pour un instrument fiable à la condition qu’il soit facile à utiliser.

Le Q4TE, une réponse à ces contraintes

Le Q4TE, le questionnaire d’évaluation de la formation développé par A. Grohmann et S. Kauffeld (tableau 1), est une réponse intéressante aux contraintes que nous venons d’exposer. La première qualité du Q4TE est sa simplicité. Au moyen de 12 énoncés seulement, il propose d’évaluer la formation sur six dimensions : (1) la satisfaction des participants, (2) l’utilité de la formation, (3) les connaissances acquises, (4) la mise en pratique des connaissances développées, les résultats de la formation sur (5) la performance au travail de la personne et (6) l’organisation. En fin de formation, chaque participant est invité à s’autoévaluer sur une échelle allant de 0% « pas du tout d’accord » à 100% « complètement d’accord ». Quelques minutes suffisent donc pour le compléter. De plus, le Q4TE ne nécessite pas d’adaptation au type de formation évaluée, ni à l’environnement de formation.

Une autre qualité du questionnaire est le soin apporté à sa construction. En effet, les chercheuses ont réalisé plusieurs tests statistiques afin de s’assurer de sa fiabilité. Ces tests sont détaillés dans l’article, ce qui en fait une bonne source d’information pour toute personne souhaitant élaborer un questionnaire d’évaluation cohérent. Voici un résumé des principales étapes de la construction du Q4TE.

Comment construire un questionnaire d’évaluation valide et fiable ?

L’article de Grohmann et Kauffeld présente les étapes à suivre pour obtenir, à partir d’une première ébauche, un questionnaire d’évaluation concis et fiable.

Établir une première ébauche

La première étape consiste à élaborer une première ébauche du questionnaire d’évaluation, sur la base des dimensions de la formation et des questions ou énoncés que l’on souhaite étudier. A ce stade, deux conseils ressortent de l’article :

  • Évaluer chaque dimension de la formation au moyen de deux énoncés. En effet, une analyse de la littérature démontre que deux énoncés suffisent pour recueillir un résultat fiable sur une dimension (Grohmann et Kauffeld, 2013, p. 141).
  • Réutiliser et adapter des questions posées dans de précédentes études académiques. Dans la plupart des cas, la qualité de construction des énoncés a donc déjà été vérifiée une première fois.

À la fin de cette étape de construction, la première version du Q4TE comporte 22 énoncés.

Simplifier le questionnaire

La seconde étape consiste à réduire la longueur du questionnaire en diminuant, dans la mesure du possible, le nombre d’énoncés.  À cette fin, les auteures proposent de tester le questionnaire une première fois sur un échantillon de participants à une formation. Puis, elles réalisent une analyse factorielle exploratoire sur les données obtenues. Cette méthode statistique a pour but de « réduire un nombre important d’informations à quelques grandes dimensions importantes » (Durant C., 2003, p.  1). L’idée est de supprimer tous les énoncés portant sur une seule et même dimension pour, idéalement, n’en garder que deux.

Une analyse factorielle exploratoire se réalise assez facilement au moyen du logiciel de traitement statistique de données. On trouve en ligne des supports pédagogiques afin de comprendre la démarche sous-jacente à la méthode (voir, p. ex., Durand C., 2003) ainsi que des tutoriels permettant de réaliser une analyse pas à pas et d’interpréter correctement les résultats (à ce sujet, voir, par exemple, le site web de l’Université de Sherbrooke dédié à SPSS).

La qualité du résultat de cette étape dépend de la qualité des données récoltées. À ce sujet, les auteures soulignent l’importance de sélectionner les personnes interrogées en tenant compte laps de temps entre la fin de leur formation et leur autoévaluation. Ce laps de temps ne doit pas être inférieur à quatre semaines, pour laisser un premier transfert des connaissances se réaliser de l’environnement de formation à l’environnement de travail. Il ne doit pas être supérieur à deux ans car, passé ce délai, les participants ont de réelles difficultés à se souvenir de leur formation.

Grohmann et S. Kauffeld réalisent ainsi une première enquête auprès de 251 personnes au moyen du Q4TE. Toujours dans un souci d’économie de ressources, les participants complètent le questionnaire en ligne. L’analyse factorielle exploratoire permet de réduire le nombre d’énoncés de 22 à 12 (Voir tableau 1).

Valider la structure du questionnaire

L’étape finale est la confirmation de la structure sous-jacente du questionnaire (Durant C., 2003, p.4). Concrètement, il s’agit de vérifier que chaque énoncé soit bien rattaché à la dimension qu’il évalue. A cette fin, les auteures proposent de réaliser deux analyses factorielles confirmatoires : une première sur le même échantillon de participants que celui utilisé précédemment, une deuxième sur un nouvel échantillon de participants. Comme précédemment, de telles analyse peuvent se faire assez facilement au moyen du logiciel SPSS / PASW et de ressources disponibles sur internet.

Ces analyses confirment la structure du Q4TE : chaque section du questionnaire correspondant bien à une dimension de la formation et chaque énoncé étant bien placé dans la section adéquate (Voir tableau 1).

Intérêt de l’instrument pour les praticiens et les chercheurs

Pour les praticiens, le Q4TE est un instrument simple et fiable qui permet d’évaluer les impacts d’une formation au-delà de la simple satisfaction immédiate des participants. Les 12 énoncés qui le composent forment un tout cohérent et donnent une image assez fidèle de la perception qu’ont les participants des différents aspects de leur formation. A ce niveau, il est sans doute meilleur et plus efficace que bon nombre de questionnaires d’évaluation utilisés en milieu de travail.

Pour les chercheurs, l’intérêt des travaux d’A. Grohmann et S. Kauffeld réside dans la démonstration de la cohérence et de la fiabilité de l’instrument Q4TE. La démarche de construction du questionnaire étant relativement facile à réaliser, elle peut être reprise pour développer d’autres questionnaires d’évaluation de la formation.

Limites

Le Q4TE, toutefois, comporte certaines limites. Entre autres, celle-ci : le questionnaire est entièrement focalisé sur la perception des participants, une approche dont on peut critiquer la pertinence pour (1) évaluer le transfert des connaissances et (2) mesurer l’impact de la formation sur les résultats organisationnels. D’autres approches sont plus efficaces à cette fin (Chochard, 2010).

Tableau

Tableau 1. Questionnaire for Training Evaluation

(Q4TE, traduction libre)

Dimension Item Pas du tout d’accord  

Tout à fait d’accord

    0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1.
Satisfaction
1.1.
Je garde un bon souvenir de la formation.
                     
  1.2.
La formation m’a beaucoup plu.
                     
2.
Utilité
2.1.
La formation m’a beaucoup apporté pour mon travail.
                     
  2.2.
La participation à ce type de formation est très utile pour mon travail.
                     
3.
Connaissances
3.1.
À présent, j’en sais beaucoup plus sur le contenu de la formation qu’auparavant.
                     
  3.2.
J’ai acquis beaucoup de nouvelles connaissances grâce à la formation.
                     
4.
Mise en pratique
4.1.
Dans mon travail quotidien, j’utilise souvent les connaissances acquises en formation.
                     
  4.2.
J’arrive bien à appliquer le contenu de la formation dans mon travail quotidien.
                     
5.
Performance au travail
5.1.
Je suis davantage satisfait de mon travail suite à la formation.
                     
  5.2.
Depuis que j’utilise le contenu de la formation, ma performance au travail s’est améliorée.
                     
6.
Résultats organisationnels
6.1.
Globalement, il me semble que l’utilisation du contenu de la formation a facilité le déroulement du travail dans mon entreprise.
                     
  6.2.
Globalement, il me semble que le climat de travail s’est amélioré dans mon entreprise grâce à la formation.
         

Références

Chochard Y. (2010) Et si on évaluait le rendement de la formation en entreprise sur la base des compétences développées par le personnel ? Présentation d’une nouvelle approche, Bulletin de l’Observatoire Compétences-Emploi, vol. 1, no 2.

Dunberry A. et Péchard C. (2007). L’évaluation de la formation dans l’entreprise : état de la question et perspectives, UQAM-CIRDEP.

Durant C. (2003), L’analyse factorielle et l’analyse de fidélité, notes de cours et exemples, Université de Montréal, 30 p.

Grohmann A. et Kauffeld, S. (2013). Evaluating training programs : development and correlates of the Questionnaire for Professional Training Evaluation. International Journal of Training and Development, vol. 17, no. 2, p. 135-155.

En savoir plus

Grohmann A. et Kauffeld, S. (2013). Evaluating training programs : development and correlates of the Questionnaire for Professional Training Evaluation. International Journal of Training and Development, vol. 17, no. 2, p. 135 – 155.

Extrait

Les responsables formation sont à la recherche d’instruments permettant d’évaluer les impacts de la formation en entreprise. Or de tels instruments développés en milieu académique sont fiables, mais souvent trop complexes pour être utilisés par les praticiens. C’est ce qui a motivé deux chercheuses allemandes à développer un instrument d’évaluation répondant aux exigences de fiabilité et de simplicité d’utilisation.

L’Observatoire compétences-emplois (OCE) est un centre de recherche et de transfert de connaissances sur le développement et la reconnaissance des compétences de la main-d’oeuvre basée à l’Université du Québec à Montréal (UQAM). L’OCE regroupe des chercheurs et des professionnels de différentes disciplines qui ont une expertise fine du domaine.

Sa mission est d’alimenter la réflexion, la prise de décision et l’action des acteurs du marché du travail et ainsi de contribuer au développement des compétences de la main-d’oeuvre au Québec.

Observatoire compétences-emplois (OCE)
1205, rue Saint-Denis
Pavillon Paul Gérin-Lajoie, local N-5920
Montréal (Québec), Canada
H2X 3R9
Voir sur la carte

Téléphone : 514 987-3000 poste 1085
Courriel : oce@uqam.ca