Nouvelle approche d’évaluation de la formation : le retour sur les attentes
En 1959, Donald L. Kirkpatrick présentait son modèle d’évaluation des résultats de la formation dans une série d’articles de la revue Training and Development (figure 1). Un demi-siècle plus tard, son fils James D. Kirkpatrick et sa belle-fille Wendy Kayser Kirkpatrick publient, dans la même revue, une méthode d’évaluation basée sur les attentes des clients de la formation, le ROE (pour Return on Expectation). Comme le modèle de Donald, la méthode proposée par James et Wendy facilite le travail des professionnels de la formation. Nous présentons ici la méthode et en discutons les apports et limites.
Figure 1 : Modèle d’évaluation des effets de la formation de D. Kirkpatrick (1959)
L’originalité de la méthode
Comparativement aux méthodes d’évaluation existantes, la méthode ROE présente deux particularités. La première est de se dérouler avant même le début de la formation (figure 2). En effet, l’essentiel de la méthode ROE est de définir des objectifs d’évaluation clairs, précis, mesurables et réalistes à partir des attentes floues et implicites des clients de la formation. La deuxième originalité est de suivre le célèbre modèle à 4 niveaux de Kirkpatrick, – comme le font les autres méthodes -, mais à l’envers. En effet, plutôt que de suivre la chaine de causes à effets en partant du niveau 1 (la satisfaction) pour arriver au niveau 4 (les résultats organisationnels), la méthode ROE part des résultats organisationnels (niveau 4) pour définir des modifications de comportements attendues (niveau 3) puis des objectifs d’apprentissage (niveau 2). Ainsi, d’une certaine manière, la nouvelle méthode est le reflet du modèle historique.
Les étapes de la méthode
Sept étapes composent la méthode ROE (figure 2).
Figure 2 : Méthode ROE de James D. et Wendy Kirkpatrick (2011)
1. Analyser le besoin organisationnel (niveau 4)
Comme l’expliquent James et Wendy Kirkpatrick, « pour démontrer la valeur d’une formation, la première étape consiste à créer une formation qui a de la valeur »1). Cela signifie que la première étape de l’évaluation est d’identifier l’impact attendu de la formation sur le fonctionnement et les résultats de l’organisation. L’évaluateur ne définit pas seul cet impact. Il le définit en collaboration avec les clients de la formation (p. ex. la direction de l’organisation, la direction de ressources humaines, la direction de l’unité) qu’il doit convaincre de s’impliquer dans le processus d’évaluation. Une tâche importante est d’expliciter le plus possible les attentes des clients afin qu’elles deviennent mesurables. Par exemple, les clients attendent souvent un effet de la formation sur la qualité des services vendus ou sur les quantités produites. L’évaluateur doit également veiller à ce que les attentes restent réalistes au regard des moyens de formation à disposition (budget, temps, ressources humaines) (Pottiez, 2011).
2. Identifier des indicateurs de court-terme (passage du niveau 4 au niveau 3)
Le résultat attendu de la formation défini à l’étape 1 ne pourra s’observer qu’à moyen terme, plusieurs mois après la fin de la formation. Dans la plupart des cas, l’évaluateur ne peut attendre si longtemps. Il a rapidement besoin d’informations pour voir si les effets produits vont dans la bonne direction. Cette étape consiste donc à définir des indicateurs de court-terme correspondant à des effets ou à des comportements rapidement visibles. Prenons l’exemple d’une formation à la gestion d’appels téléphoniques. Un indicateur de court-terme pourrait être le temps de traitement moyen d’un appel. Autrement dit, si la formation est efficace, on s’attend à ce que cette durée diminue dès la fin de la formation. Si tel est le cas, la formation influencera, à moyen terme, les coûts de l’organisation liés à la gestion des appels, la principale attente des clients. Cet impact pourra être vérifié quelques mois plus tard. Mais l’avantage de l’indicateur de court-terme est qu’il donne les moyens d’agir rapidement en cas de problème. Dans notre exemple, si la durée de traitement moyen d’un appel ne diminue pas, on peut agir immédiatement en organisant une nouvelle formation ou en mettant en place des mesures de soutien complémentaires.
3. Définir les comportements critiques (niveau 3)
L’étape suivante consiste à définir les nouveaux comportements qui devront être adoptés par les personnes formées. Dans notre exemple de formation à la gestion d’appels téléphoniques, les personnes formées devront oublier leur ancienne manière de faire et prendre l’habitude de poser au client les questions permettant de définir précisément sa demande.
4. Déterminer les leviers du changement (entre le niveau 2 et le niveau 3)
Les leviers du changement sont les processus et les systèmes qui contrôlent, renforcent, encouragent et récompensent les nouveaux comportements. Dans notre exemple de formation, on peut imaginer les leviers suivants :
- A la fin de la journée de travail, les personnes formées calculent le temps moyen des appels traités.
- Le superviseur discute des temps d’appels moyens de la veille avec ses collaborateurs.
- Des réunions sont organisées où les personnes formées partagent leurs idées pour gagner davantage de temps.
- Le superviseur félicite les personnes formées après chaque gain de temps.
Les leviers correspondent donc à toutes les mesures que l’on peut mettre en place, à côté de la formation, pour s’assurer d’un bon transfert des apprentissages de l’environnement de formation à l’environnement de travail.
5. Concevoir la formation (niveau 2)
Arrivé à cette étape, on peut commencer à concevoir la formation : établir la liste des objectifs d’apprentissage, rédiger un contenu, penser à des exercices, sélectionner une méthode d’enseignement, etc. Wendy Kirkpatrick insiste sur le fait que, sans les quatre étapes préalables, il y a peu de chance que la formation développée à ce niveau réponde a un besoin organisationnel (Kirkpatrick et Kirkpatrick, 2011).
6. Contrôler et ajuster
Cette étape est importante mais simple à réaliser. Elle consiste à contrôler que (1) les comportements critiques sont adoptés par les personnes formées, (2) que les leviers du changement sont en place et (3) qu’ils agissent pour stimuler ces comportements. Si tel est le cas, les indicateurs de court-terme indiquent une évolution positive. L’étape consiste également à réaliser les ajustements nécessaires. Dans notre exemple, l’évaluateur peut remarquer que le temps de traitement d’un appel varie durant la journée et qu’il faut en tenir compte pour ne pas pénaliser injustement certaines personnes formées.
7. Évaluer le retour sur les attentes
Finalement, quelques mois après la formation, son effet sur les résultats organisationnels peut être mesuré. L’évaluateur est en mesure de donner un feed-back aux clients de la formation. Dans notre exemple, l’analyse du ROE met en lumière une baisse de 15 % du coût moyen de traitement d’un appel, ce qu’attendaient principalement les clients. La formation peut donc être considérée comme un succès au regard des attentes et des objectifs exprimés. La méthode ROE permet aussi d’aller plus loin en répondant à la question « pourquoi ce coût a-t-il baissé ? ». En effet, elle aura permis de récolter de l’information sur les effets intermédiaires de la formation, au niveau des indicateurs de court-terme et au niveau des comportements.
Les apports de la méthode
La méthode ROE permet un changement de vision de l’activité d’évaluation de la formation à deux niveaux.
- Les cinq premières étapes de la méthode ROE mettent en évidence l’importance de la conception de la formation, pour un impact positif sur les résultats organisationnels. L’évaluation n’est plus vue comme une activité post-formation mais comme une activité qui se passe essentiellement avant la formation. Elle n’est plus pensée de manière isolée mais fait intégralement partie du processus d’ingénierie de la formation.
- L’évaluation n’est plus vraiment « un projet RH », mené par le formateur, le gestionnaire de la formation ou le gestionnaire RH. Elle devient un projet impliquant toute l’organisation, des clients de la formation (qui définissent des attentes concrètes et des indicateurs de court-terme) aux participants et superviseurs (qui réfléchissent aux comportements critiques et aux leviers du changement).
Les limites de la méthode
On peut toutefois exprimer trois limites par rapport à la méthode.
- Comme le soulignent Jack J. Phillips et Patti P. Phillips (2011), l’expression utilisée pour qualifier la méthode, – le ROE -, peut faire croire au calcul systématique d’un indicateur économique ou financier, tel que le ROI (pour Return on Investment), ce qui n’est pas forcément toujours le cas. Une attente exprimée par un client vis-à-vis d’une formation peut se limiter à la satisfaction des personnes formées, sans qu’un indicateur de résultat organisationnel en soit nécessairement calculé. En outre, leROE en tant qu’indicateur est une information « qui ne parle pas » aux dirigeants des organisations, plus habitués à raisonner en termes de ROI.
- Les articles présentant l’approche ROE ont tendance à l’opposer au processus ROI, la méthode d’évaluation développée par Jack J. Phillips en 1997. Cela explique notamment la vive réaction de ce dernier face au ROE (Phillips et Phillips, 2011). Toutefois, le processus ROI s’adapte bien à différents contextes d’évaluation, comme le témoignent les études de cas disponibles en ligne (citons notamment l’étude de Nathan de 2009 portant sur le calcul du ROI d’une formation à l’anglais comme langue seconde). A notre avis, les deux méthode sont complémentaires : la méthode ROE permet de repenser les activités pré-formation alors que le processus ROI facilite les activités d’analyse post-formation.
- Les documents décrivant la méthode ROE sont encore peu nombreux. Elle est brièvement décrite dans deux articles de la revue Training + Dévelopment ainsi que dans le chapitre d’un ouvrage paru en 2010 (Krikpatrick et Kirkpatrick, 2010 et 2011). Or des questions demeurent sur sa mise en application. Par exemple, « comment faire lorsque les clients de la formation sont nombreux ? », « comment gagner l’implication de tous les clients au processus d’évaluation ? », « existe-il des situations où la méthode s’applique mal, ou certaines étapes ne peuvent être réalisées ? ». La publication d’études de cas donnerait des pistes de réponse à ces questions.
Pour conclure
La méthode ROE change notre manière d’aborder l’évaluation de la formation. Autrefois pensée comme une mesure de fin de processus, réalisée par un évaluateur isolé, elle devient une des premières étapes de conception d’une formation à laquelle participe toute l’organisation. En ce sens, comme le modèle proposé il y a 50 ans par Donald Kirkpatrick, la méthode d’évaluation de James et Wendy Kirkpatrick nous fait changer notre manière de concevoir une formation en milieu de travail et stimule le développement de la pratique évaluative dans les organisations.
Notes
En savoir plus
Kirkpatrick J. D., Kirkpatrick W. (2011), Creating ROE, the end is the beginning, T+D, November 2011, 60-64. Disponible ici.
Kirkpatrick J. D., Kirkpatrick W. (2010), ROE Rising Stars, Why return on expectations is getting so much attention, T+D, August 2010, 34-38.
Kirkpatrick J. D., Kirkpatrick W. (2010), Training on Trial, How Workplace Learning Must Reinvent Itself to Remain Relevant, AMACOM, New-York, 239 p.
Kirkpatrick D. (1959). Techniques for Evaluating Training Programs, Journal of the American Society of Training Directors, vol. 13, no 12, 21-26.
Nathan E. P. (2009), Determining the ROI of an online English as a second language program, Performance Improvement, vol. 40 no 6, 39–48. Disponible ici.
Pottiez J. (2012), Pour évaluer les formations, stop au R.O.I, vive le R.O.E, Personnel, no 530, juin 2012, 72-74. Disponible ici.
Phillips J. J. (1997), Return On Investment in training and performance improvement programs, Gulf, Houston (Texas, Etats-Unis).
Phillips J. J., Phillips P. (2011), The Myths of Return on Expectation, Training, Nov/Dec2011, vol. 48 no 6, p. 14-16. Disponible ici.
Extrait
En 1959, Donald L. Kirkpatrick présentait son modèle d’évaluation des résultats de la formation dans une série d’articles, désormais célèbres, de la revue Training and Development. Un demi-siècle plus tard, son fils et sa belle-fille publient, dans la même revue, une méthode d’évaluation basée, non pas sur les investissements, mais sur les attentes des clients de la formation, le ROE pour Return on Expectation. Yves Chochard, professeur à l’UQAM et spécialiste de l’évaluation de la formation, présente cette méthode, ce qu’elle a de prometteur, mais aussi ses limites.
