L’évaluation en didactique de la traduction et l’intégration des outils technopédagogiques : étude qualitative et expérimentation

L’évaluation en didactique de la traduction et l’intégration des outils technopédagogiques : étude qualitative et expérimentation Thèse Philippe Gardy Doctorat en linguistique – traductologie Philosophiae doctor (Ph. D.) Québec, Canada © Philippe Gardy, 2015 Résumé La présente recherche, qui ressortit explicitement à la recherche-action, vise à étudier les pratiques d’évaluation en didactique de la traduction en vigueur actuellement au Canada, à définir – au regard de l’état de la recherche en sciences de l’éducation, notamment dans une perspective constructiviste – les facteurs clés de succès de l’évaluation en didactique de la traduction, et à étudier l’apport potentiel de l’intégration des technologies de l’information et de la communication au processus d’évaluation des travaux des apprenants. L’objectif général est de proposer une méthodologie d’évaluation qui constitue un véritable outil d’apprentissage tout en prenant en compte les conditions réelles d’exercice des professions d’enseignant et de traducteur. La première partie de ces travaux repose sur les informations recueillies auprès de 32 enseignants et de 357 étudiants en traduction quant à leurs pratiques en matière d’évaluation et leurs perceptions liées à ce processus. La seconde partie présente les enseignements tirés de l’analyse des résultats d’une expérimentation menée auprès de 88 étudiants, dans laquelle la vidéo a été utilisée pour la rétroaction de leurs travaux en lieu et place de la traditionnelle copie papier. Il ressort de la première partie que les modalités d’évaluation actuellement en vigueur n’ont pas évolué de manière significative par rapport à celles qui prévalaient au 20e siècle, qu’elles se pratiquent de façon presque monolithique, indépendamment de l’avancement des étudiants dans leur cursus, et que l’évaluation ne constitue pas un sujet d’échange et de discussion au sein de la communauté enseignante, mais plutôt un motif de stress. Par ailleurs, il apparaît que la perception positive qu’ont les étudiants de l’évaluation au début de leur formation tend à s’estomper au fil du temps pour faire place à une certaine désillusion chez les finissants. Les apprenants pointent du doigt la quantité insuffisante de rétroaction et sa fréquente illisibilité. Quant à la seconde partie de l’étude, elle a mis en évidence les apports mesurables de l’utilisation de la rétroaction vidéo tant sur le plan de la progression des apprenants que sur celui de leur satisfaction vis-à-vis du processus d’évaluation, notamment au regard des deux critiques énoncées précédemment. iii iv Abstract This research project, an explicit example of action research, has a three-fold objective: First, to study current assessment practices in translation teaching in Canada. Secondly, to define – with regard to the state of research in educational sciences, and notably in a constructivist perspective – the key factors of successful assessment in translation teaching. And lastly, to study the potential contribution of integrating information and communication technologies into the process of evaluating students’ work. The general objective is to propose an assessment methodology that may serve as a true learning tool, while at the same time taking into account the real conditions in which the teaching and translating professions are exercised. The first part of the work is based on information gathered from 32 teachers and 357 translation students concerning their assessment practices and their perceptions related to this process. The second part presents the lessons drawn from analyzing the results of an experiment conducted with 88 students in which video was used to provide feedback on their work instead of the traditional paper assessment. It emerges from the first part of the paper that the assessment methods currently in use have not significantly evolved compared to those that were prevalent in the 20th century. These methods are used in an almost monolithic way, independent of the progress of students in their course of study. In addition, assessment does not seem to constitute a subject of exchange and discussion within the teaching community; it seems rather to constitute a source of stress. Moreover, it appears that the positive perception of assessment that students have at the beginning of their studies tends to wear off over time, giving way to a kind of disillusion by the time students near the end of their studies. Students point the finger at an insufficient amount of feedback, feedback which is frequently illegible. The second part of the study highlights the measurable contribution of using screen capture feedback, with regard both to students’ progress and to their satisfaction with assessment methods, particularly as concerns the two criticisms expressed earlier. v vi Table des matières Résumé.................................................................................................................................. iii Abstract .................................................................................................................................. v Table des matières ............................................................................................................... vii Liste des tableaux................................................................................................................. xv Liste des figures .................................................................................................................. xix Liste des abréviations et sigles............................................................................................ xxi Remerciements.................................................................................................................. xxiii Avant-propos ..................................................................................................................... xxv Introduction .......................................................................................................................... 1 Chapitre I : état de la question et cadre théorique général ............................................. 5 1. Problématique ............................................................................................................. 5 1.1. Intérêt de la recherche .......................................................................................... 5 1.2. 2. Fondements théoriques ......................................................................................... 6 État de la question et cadre théorique ......................................................................... 7 2.1. Cadre général : les théories de l’enseignement et de l’apprentissage .................. 7 2.1.1. Le courant béhavioriste ................................................................................. 7 2.1.2. Le courant cognitiviste .................................................................................. 9 2.1.3. Les courants constructiviste et socioconstructiviste ................................... 11 2.1.4. Les neurosciences cognitives ...................................................................... 15 2.1.5. Les théories de l’enseignement et de l’apprentissage : conclusions ........... 17 2.2. Cadre général : les théories de l’évaluation ........................................................ 20 2.2.1. Définition de l’évaluation didactique .......................................................... 20 2.2.2. Notions clés en évaluation .......................................................................... 21 2.2.3. Les modèles de l’évaluation ........................................................................ 29 2.2.4. Typologie de l’évaluation ........................................................................... 40 2.2.5. Les étapes du processus d’évaluation ......................................................... 42 2.2.6. Évaluation formative contre certificative : une dichotomie à transcender .. 44 2.2.7. Les théories de l’évaluation : conclusions .................................................. 45 vii Chapitre II : cadre théorique de l’évaluation en traduction .......................................... 47 1. 2. L’évaluation en didactique de la traduction : un domaine encore peu exploré ........ 47 Les conceptions de l’évaluation en traduction ......................................................... 47 2.1. La conception herméneutique ............................................................................ 48 2.2. L’approche béhavioriste..................................................................................... 48 2.3. L’approche fonctionnaliste ................................................................................ 49 2.3.1. La contribution de Nord ............................................................................. 50 2.3.2. La critique de l’approche fonctionnaliste ................................................... 51 2.4. 3. 2.4.1. La contribution de House ........................................................................... 53 2.4.2. La contribution de Hatim et Mason ............................................................ 55 2.4.3. Critique de l’approche linguistique ............................................................ 56 2.5. L’approche cognitive ......................................................................................... 58 2.6. L’approche socioconstructiviste ........................................................................ 60 2.7. Conclusion ......................................................................................................... 61 Définition de l’évaluation en didactique de la traduction ........................................ 62 3.1. Évaluation et révision ........................................................................................ 63 3.2. 4. 6. viii Le Sical .............................................................................................................. 64 L’évaluation en didactique de la traduction : état de la recherche ........................... 67 4.1. La méthodologie d’évaluation ........................................................................... 67 4.2. L’importance des critères ................................................................................... 69 4.3. Le statut de l’erreur ............................................................................................ 70 4.3.1. La faute et l’erreur ...................................................................................... 70 4.3.2. La définition de l’erreur en didactique de la traduction ............................. 71 4.4. 5. Les approches linguistiques ............................................................................... 53 La question de l’objectivité ................................................................................ 74 Les propositions concrètes de méthode d’évaluation didactique ............................. 77 5.1. La proposition de Nord ...................................................................................... 77 5.2. La proposition de Gile ....................................................................................... 80 5.3. La proposition de Gouadec ................................................................................ 83 5.3.1. Évaluation empirique et évaluation raisonnée ............................................ 83 5.3.2. La méthodologie de Gouadec : un modèle inapplicable............................. 85 5.4. La proposition de Kelly ..................................................................................... 88 5.5. La proposition de Collombat ............................................................................. 90 5.6. Conclusions sur l’état de la recherche ............................................................... 91 Caractéristiques de l’évaluation en didactique de la traduction ............................... 92 6.1. La prépondérance de l’évaluation sommative ................................................... 92 7. 6.2. Une certaine autarcie des principes pédagogiques ............................................. 94 6.3. La nécessité de la recherche ............................................................................... 94 Paramètres à prendre en compte en évaluation didactique de la traduction ............. 95 7.1. Les apports potentiels de l’évaluation formative ................................................ 95 7.2. Les aspects psychologiques de l’approche axée sur le processus ...................... 97 7.3. Un nécessaire équilibre entre processus et produit............................................. 98 7.4. La nécessité d’une évaluation sommative .......................................................... 99 7.5. Hypothèses à vérifier ........................................................................................ 100 Chapitre III : étude des méthodes d’évaluation en vigueur au Canada ..................... 101 1. État des lieux en 1999 selon la recherche pratique ................................................. 101 1.1. L’étude de Martínez Melis ............................................................................... 101 1.2. 2. L’étude de Waddington .................................................................................... 103 1.2.1. Le questionnaire de Waddington .............................................................. 103 1.2.2. Les tests comparatifs des méthodes d’évaluation de Waddington ............ 107 Les pratiques actuelles en matière d’évaluation sommative au Canada ................. 111 2.1. Présentation de la recherche et du corpus......................................................... 111 2.1.1. Méthodologie de la recherche ................................................................... 111 2.1.2. Présentation du questionnaire ................................................................... 112 2.1.3. Présentation de l’échantillon et du corpus ................................................ 113 2.2. Données sociodémographiques et socioprofessionnelles ................................. 114 2.2.1. Données sociodémographiques ................................................................. 114 2.2.2. Données socioprofessionnelles ................................................................. 116 2.3. Les normes d’évaluation en vigueur dans les universités ................................ 117 2.4. Modalités d’évaluation : peu de changement dans la continuité ...................... 119 2.4.1. Une cohérence intradépartementale souvent liée à la tradition ................. 120 2.4.2. La pondération des modalités d’évaluation............................................... 121 2.5. Les méthodes d’évaluation des traductions ...................................................... 122 2.5.1. La prépondérance de l’analyse des erreurs ............................................... 122 2.5.2. Le barème de correction, un outil largement répandu ............................... 125 2.5.3. Description schématique des approches employées ................................. 126 2.6. L’examen .......................................................................................................... 128 2.6.1. La préparation des examens ...................................................................... 128 2.6.2. L’administration des examens : un virage technologique ......................... 131 2.7. La dématérialisation progressive des flux de correction des travaux ............... 136 ix 2.8. L’évaluation, une part importante de la charge de travail des enseignants ..... 138 2.9. La rétroaction en classe .................................................................................... 139 L’évaluation vécue par les enseignants ........................................................ 140 2.10. 2.10.1. L’évaluation, une activité solitaire ........................................................ 140 2.10.2. Le stress lié à l’évaluation..................................................................... 141 2.10.3. Typologie des conceptions de l’évaluation ........................................... 142 Conclusions de l’étude ................................................................................. 144 2.11. Chapitre IV : l’évaluation vue par les étudiants en traduction ................................... 147 1. 2. L’évaluation, un paramètre incontournable de la vie étudiante ............................. 147 Présentation de l’étude et du corpus ....................................................................... 148 2.1. Méthodologie de l’étude .................................................................................. 148 2.2. Le questionnaire ............................................................................................... 148 2.3. Présentation de l’échantillon et du corpus ....................................................... 149 2.4. Retraitement du corpus et précautions méthodologiques ................................ 150 2.4.1. Retraitement du corpus ............................................................................. 150 2.4.2. Précautions méthodologiques ................................................................... 152 2.5. 3. Données démographiques ................................................................................ 153 L’évaluation : la perception des étudiants .............................................................. 154 3.1. Une vision positive du concept d’évaluation ................................................... 154 3.2. Une vision principalement sommative de l’évaluation .................................... 156 3.3. Évolution de la perception pendant le cursus .................................................. 160 3.4. Conclusion : prégnance de l’évaluation sommative et rôle central de la rétroaction................................................................................................................... 163 4. 5. 6. x Les étudiants et leurs travaux ................................................................................. 164 4.1. Le papier, mode privilégié de remise des travaux aux étudiants ..................... 164 4.2. Modalités de remise des travaux aux étudiants................................................ 166 4.3. La note, paramètre incontournable .................................................................. 169 La rétroaction vue par les étudiants........................................................................ 171 5.1. Clarté et quantité des commentaires, talons d’Achille de la rétroaction .......... 171 5.2. Une rétroaction en classe souvent limitée à des commentaires oraux ............. 174 5.3. Évaluation et subjectivité ................................................................................. 175 5.4. Comportement postérieur à la rétroaction........................................................ 177 5.5. Conclusion : la rétroaction, une attente plus qu’un outil ................................. 179 Stress et évaluation ................................................................................................. 179 6.1. Stress et apprentissage de la traduction : une absence de spécificité ............... 180 7. 6.2. La note, principale source de stress .................................................................. 181 6.3. L’individualisation de la rétroaction, un outil antistress .................................. 184 Évaluation et employabilité .................................................................................... 186 Chapitre V : détermination des facteurs clés de succès en évaluation didactique de la traduction ......................................................................................................................... 189 1. Principaux enseignements issus du cadre théorique ............................................... 189 2. Principaux enseignements issus de l’étude menée auprès des enseignants ............ 190 3. Principaux enseignements issus de l’étude menée auprès des étudiants ................ 191 4. Résultats du sondage mené auprès d’entreprises du secteur privé ......................... 192 5. Facteurs clés de succès en évaluation didactique de la traduction ......................... 194 5.1. La rétroaction.................................................................................................... 194 5.2. L’adaptation de l’approche d’évaluation au contexte d’enseignement ............ 194 5.3. La faisabilité de la mise en œuvre de l’approche d’évaluation ........................ 194 5.4. L’évaluation, un sujet de communication ........................................................ 195 5.5. La formation des enseignants ........................................................................... 195 Chapitre VI : évaluation didactique et technopédagogie ............................................. 197 1. 2. 3. 4. Définition de la technopédagogie ........................................................................... 197 1.1. Une notion encore peu définie .......................................................................... 198 1.2. La définition du Grand dictionnaire terminologique ....................................... 199 1.3. Les représentations concrètes de la technopédagogie ...................................... 201 Le potentiel cognitif des technologies .................................................................... 201 2.1. Les modèles d’apprentissage ............................................................................ 201 2.2. Les liens entre apprentissages et technologies ................................................. 202 2.3. La théorie du double codage............................................................................. 202 Technopédagogie : état de la recherche .................................................................. 204 3.1. Les difficultés spécifiques au domaine de recherche ....................................... 204 3.2. L’évolution de la population étudiante ............................................................. 205 3.3. La résistance au changement ............................................................................ 207 Évaluation et technopédagogie ............................................................................... 209 4.1. État de la recherche .......................................................................................... 209 4.2. Rappel des caractéristiques de l’évaluation formative ..................................... 210 4.3. La classification d’Audet .................................................................................. 211 4.3.1. Les questionnaires et simulations à fin d’évaluation ................................ 211 4.3.2. Les activités d’évaluation en ligne ............................................................ 212 xi 4.3.3. Les outils de soutien à l’évaluation .......................................................... 212 4.3.4. Les outils de détection du plagiat et de la tricherie .................................. 217 4.4. 5. 4.4.1. La genèse de l’utilisation de la rétroaction vidéo à des fins d’évaluation 218 4.4.2. Les apports de la rétroaction vidéo ........................................................... 219 Traduction et technopédagogie .............................................................................. 220 5.1. Technologie et enseignement de la traduction ................................................. 221 5.1.1. La place des technologies dans la traduction professionnelle .................. 221 5.1.2. La place des technologies dans l’enseignement de la traduction ............. 231 5.1.3. Technologies et enseignement de la traduction : l’état de la recherche ... 235 5.2. 6. 6.1.1. Objectif de la recherche ............................................................................ 242 6.1.2. Contexte de la recherche........................................................................... 243 6.1.3. Méthodologie de la recherche................................................................... 252 Analyse des données quantitatives du corpus .................................................. 257 6.2.1. Analyse des données quantitatives du devoir ........................................... 258 6.2.2. Analyse des données quantitatives de l’examen....................................... 265 6.2.3. Analyse des écarts entre devoir et examen ............................................... 273 6.3. Analyse des données qualitatives du corpus .................................................... 275 6.3.1. Analyse de la perception de l’évaluation .................................................. 275 6.3.2. Analyse de la perception des apports de la rétroaction vidéo................... 279 6.3.3. Autres aspects de la rétroaction vidéo ...................................................... 285 6.3.4. Évolution de la perception de l’évaluation ............................................... 286 Conclusion .............................................................................................................. 288 7.1. Utilisation de la rétroaction vidéo : des apports mesurables ............................ 288 7.2. Contraintes liées à la rétroaction vidéo ............................................................ 289 7.2.1. Contraintes techniques de la rétroaction vidéo ......................................... 289 7.2.2. Autres contraintes matérielles de la rétroaction vidéo.............................. 290 7.2.3. Contraintes humaines de la rétroaction vidéo........................................... 291 7.2.4. Adaptation de la rétroaction vidéo aux conditions d’enseignement ......... 291 7.3. xii Technologie et évaluation en enseignement de la traduction .......................... 240 Étude de l’apport potentiel de la rétroaction vidéo ................................................ 242 6.1. Présentation de la recherche et du corpus ........................................................ 242 6.2. 7. La rétroaction didactique multimédia .............................................................. 218 Perspectives de recherche ................................................................................ 292 Chapitre VII : proposition d’une méthode d’évaluation didactique .......................... 293 1. La nécessité de prendre en compte la situation actuelle ......................................... 293 2. Les facteurs clés de succès en évaluation didactique de la traduction .................... 294 3. 2.1. L’adaptation des modalités d’évaluation .......................................................... 294 2.2. La mise en œuvre d’une approche constructiviste réfléchie ............................ 295 2.3. L’importance de l’auto-évaluation ................................................................... 296 2.4. L’importance de la rétroaction ......................................................................... 296 2.5. La prise en compte des conditions réelles d’exercice de la profession ............ 296 2.6. La mise en œuvre d’outils technopédagogiques en évaluation ........................ 297 Proposition de méthode d’évaluation : cadre d’un cours de première année ......... 298 3.1. L’analyse réflexive ........................................................................................... 299 3.2. 3.2.1. Première étape du travail long................................................................... 301 3.2.2. Deuxième étape du travail long................................................................. 302 3.2.3. Troisième étape du travail long ................................................................. 302 3.3. 4. Le travail long................................................................................................... 301 Les examens ..................................................................................................... 303 3.3.1. L’examen de mi-parcours ......................................................................... 303 3.3.2. L'examen final ........................................................................................... 304 Proposition de méthode d’évaluation : cadre d’un cours de traduction spécialisée305 4.1. Le premier devoir : une analyse comparée ....................................................... 306 4.2. Les autres travaux à la maison.......................................................................... 306 4.2.1. Un exercice de métacognition : retour sur le premier examen.................. 306 4.2.2. Le troisième devoir : une préparation à l’examen final ............................ 307 4.3. Les examens ..................................................................................................... 308 4.3.1. L’examen de mi-parcours ......................................................................... 308 4.3.2. L’examen final .......................................................................................... 308 4.4. L’activité en équipe .......................................................................................... 310 Conclusion ........................................................................................................................ 313 Bibliographie ..................................................................................................................... 317 Annexe 1 : questionnaire Martinez-Melis ......................................................................... 337 Annexe 2 : questionnaire enseignants ................................................................................ 338 Annexe 3 : typologie des erreurs de l’Université Laval .................................................... 347 Annexe 4 : questionnaire étudiants .................................................................................... 350 xiii Annexe 5 : Texte du devoir – étude rétroaction vidéo ....................................................... 358 Annexe 6 : Texte de l’examen final – étude rétroaction vidéo .......................................... 359 Annexe 7 – Extrait d’un questionnaire d’examen théorique .............................................. 360 Annexe 8 – Formulaire d’évaluation du travail en équipe ................................................. 362 xiv Liste des tableaux Tableau 1 – Origine des répondants avant retraitement ..................................................... 114 Tableau 2 – Répartition des répondants par sexe ............................................................... 115 Tableau 3 – Répartition des répondants par tranche d’ancienneté dans la profession ....... 115 Tableau 4 – Répartition des répondants par statut .............................................................. 115 Tableau 5 – Répartition des répondants par statut et par ancienneté .................................. 116 Tableau 6 – Taux d’activité sur le marché du travail, par statut ......................................... 116 Tableau 7 – Répartition par matière enseignée ................................................................... 117 Tableau 8 – Connaissance de l’existence d’une politique universitaire en matière d’évaluation ........................................................................................................................ 117 Tableau 9 – Connaissance de l’existence de préconisations départementales en matière d’évaluation ........................................................................................................................ 118 Tableau 10 – Taux d’utilisation des modalités d’évaluation (en présentiel) ...................... 119 Tableau 11 – Nombre moyen d’actes d’évaluation par session (en présentiel) .................. 120 Tableau 12 – Pondération des modalités d’évaluation dans la note finale (en présentiel) . 121 Tableau 13 – Variations de la pondération des examens et travaux à la maison ................ 122 Tableau 14 – Répartition des méthodes d’évaluation ......................................................... 123 Tableau 15 – Répartition des méthodes d’évaluation par domaine d’activité .................... 123 Tableau 16 – Répartition des méthodes d’évaluation par université .................................. 124 Tableau 17 – Taux d’utilisation des barèmes de correction ............................................... 125 Tableau 18 – Taux d’utilisation des barèmes de correction selon le statut ........................ 126 Tableau 19 – Exemple de grille utilisée dans une approche combinée .............................. 127 Tableau 20 – Typologie des activités d’examen (enseignement en présentiel) .................. 129 Tableau 21 – Typologie des activités d’examen selon le domaine de traduction ............... 129 Tableau 22 – Classement des critères de sélection des textes d’examen............................ 130 Tableau 23 – Importance du critère de réalisme d’un texte ................................................ 130 Tableau 24 – Durée moyenne d’un examen ....................................................................... 131 Tableau 25 – Productivité attendue de la part des étudiants lors d’un examen .................. 131 Tableau 26 – Productivité attendue de la part des étudiants, selon le statut ....................... 132 Tableau 27 – Modalités matérielles de déroulement des examens ..................................... 132 Tableau 28 – Modalités matérielles de déroulement des examens, selon le statut ............. 133 Tableau 29 – Ressources autorisées pour les examens en laboratoire ................................ 134 Tableau 30 – Ressources autorisées pour les examens sur table ........................................ 135 Tableau 31 – Modes de remise des travaux des étudiants en présentiel ............................. 136 Tableau 32 – Méthode de correction des travaux remis électroniquement (en présentiel) 137 Tableau 33 – Temps de correction moyen passé par copie ................................................ 138 Tableau 34 – Temps de correction moyen passé par copie en correction électronique ...... 139 Tableau 35 – Temps consacré à la rétroaction d’un travail (en présentiel) ........................ 140 Tableau 36 – L’évaluation sommative comme sujet de discussion entre les enseignants .. 141 Tableau 37 – Réponses à la question : « comment vivez-vous l’évaluation? ».................. 142 Tableau 38 – Origine des répondants au questionnaire avant retraitement du corpus ....... 149 Tableau 39 – Répartition par année des étudiants inscrits dans les universités offrant des programmes d’une durée de quatre ans .............................................................................. 151 Tableau 40 – Répartition par année des étudiants inscrits dans les universités offrant des programmes d’une durée de trois ans ................................................................................. 151 xv Tableau 41 – Origine des répondants au questionnaire après retraitement du corpus ....... 152 Tableau 42 – Répartition par année d’étude....................................................................... 153 Tableau 43 – Répartition des répondants par sexe ............................................................. 153 Tableau 44 – Degré d’accord des étudiants vis-à-vis de quatre assertions ........................ 154 Tableau 45 – Perception de la fonction comparative de l’évaluation selon le sexe ........... 156 Tableau 46 – Mots-clés associés par les étudiants au concept d’évaluation ...................... 156 Tableau 47 – Mots-clés associés au concept d’évaluation par les étudiants de l’Université Laval ................................................................................................................................... 157 Tableau 48 – Mots-clés associés au concept d’évaluation par les étudiants des autres universités........................................................................................................................... 158 Tableau 49 – Importance relative de la subjectivité en fonction du sexe .......................... 158 Tableau 50 – Importance relative de la subjectivité en fonction du sexe chez les étudiants de l’Université Laval .......................................................................................................... 159 Tableau 51 – Connaissance de la distinction sommatif/formatif chez les étudiants de l’Université Laval ............................................................................................................... 159 Tableau 52 – Connaissance de la distinction sommatif/formatif chez les étudiants des autres universités........................................................................................................................... 160 Tableau 53 – Perception de la fonction repère de l’évaluation selon l’année d’étude ....... 160 Tableau 54 – Évolution selon l’année d’études de l’association du mot-clé « apprentissage » au concept d’évaluation ......................................................................... 161 Tableau 55 – Perception de l’évaluation comme outil d’apprentissage, selon l’année ...... 161 Tableau 56 – Évolution de l’association du mot « objectivité » au concept d’évaluation . 162 Tableau 57 – Évolution de l’association du mot « objectivité » au concept d’évaluation chez les étudiants de l’Université Laval ............................................................................. 162 Tableau 58 – Évolution de la perception de l’évaluation comme un outil d’apprentissage chez les étudiants de l’Université Laval ............................................................................. 163 Tableau 59 – Typologie des modes de remise des travaux aux étudiants (en présentiel) .. 164 Tableau 60 – Répartition par université de la remise des travaux sur papier..................... 165 Tableau 61 – Répartition de la remise des travaux par voie électronique.......................... 165 Tableau 62 – Modes de remise des travaux aux étudiants en présentiel ............................ 166 Tableau 63 – Principale activité des étudiants lors de la remise de copie en classe .......... 167 Tableau 64 – Modes de remise des travaux aux étudiants à distance ................................ 168 Tableau 65 – Centres d’intérêt des étudiants lors de la remise de travaux ........................ 169 Tableau 66 – Chronologie de l’auto-analyse de la nature des erreurs par année d’étude .. 170 Tableau 67– Chronologie de la lecture des commentaires par année d’étude ................... 170 Tableau 68 – Perception des annotations figurant sur les copies (étudiants à distance) .... 171 Tableau 69 – Perception des annotations figurant sur les copies (étudiants en présentiel) 172 Tableau 70 – Perception des étudiants quant à l’utilité des commentaires et annotations . 174 Tableau 71 – Moyens complémentaires de rétroaction mis en œuvre par les enseignants (enseignement en présentiel) .............................................................................................. 174 Tableau 72 – Moyens complémentaires de rétroaction mis en œuvre par les enseignants (enseignement en présentiel sauf Université Laval) .......................................................... 175 Tableau 73 – Moyens complémentaires de rétroaction mis en œuvre par les enseignants (enseignement à distance) .................................................................................................. 175 Tableau 74 – Caractérisation de l’évaluation chez les étudiants à distance ....................... 176 Tableau 75 – Caractérisation de l’évaluation chez les étudiants en présentiel .................. 176 xvi Tableau 76 – Comportement des étudiants en présentiel postérieurement à la réception de leur copie............................................................................................................................. 177 Tableau 77 – Comportement des étudiants en présentiel lorsque les copies ne sont pas remises en classe ................................................................................................................. 178 Tableau 78 – Stress ressenti par les étudiants en traduction ............................................... 180 Tableau 79 – Stress ressenti par les étudiants en traduction selon l’année d’étude ............ 180 Tableau 80 – Stress ressenti par les étudiants en traduction selon le sexe ......................... 181 Tableau 81 – Origines du stress ressenti par les étudiants .................................................. 182 Tableau 82 – Sentiment d’incompétence exprimé par les étudiants, par année d’étude .... 183 Tableau 83 – Sentiment d’être jugé exprimé par les étudiants, par année d’étude............. 183 Tableau 84 – Comportement des étudiants en cas d’incompréhension des commentaires figurant sur leur copie ......................................................................................................... 184 Tableau 85 – Comportement des étudiants en cas d’incompréhension des commentaires figurant sur leur copie, selon le sexe................................................................................... 185 Tableau 86 – Comportement des étudiants en cas d’incompréhension des commentaires figurant sur leur copie, selon l’année d’étude ..................................................................... 185 Tableau 87 – Comportement des étudiantes en cas d’incompréhension des commentaires figurant sur leur copie, selon l’année d’étude ..................................................................... 186 Tableau 88 – Répartition par année des étudiants ayant passé un test d’embauche ........... 187 Tableau 89 – Opinion des étudiants quant à l’adéquation des examens en tant qu’outils préparatoires aux tests d’embauche .................................................................................... 188 Tableau 90 – Comparaison démographique des répondants dans les études de Lagoudaki et de Fulford et Granell-Zafra ................................................................................................. 226 Tableau 91 – Facteur de refus d’adoption d’une mémoire de traduction ........................... 229 Tableau 92 – Enseignement des outils informatiques des langagiers ................................. 235 Tableau 93 – Détail de l’échantillonnage (source : Portail des cours) ............................... 254 Tableau 94 – Statistiques des notes brutes du devoir ......................................................... 259 Tableau 95 – Statistiques des notes retraitées du devoir .................................................... 259 Tableau 96 – Évolution liée au retraitement des notes ....................................................... 260 Tableau 97 – Nombre moyen d’erreurs par copie (devoir) ................................................ 261 Tableau 98 – Statistiques d’occurrence des erreurs par section (devoir) ........................... 265 Tableau 99 – Statistiques des notes brutes de l’examen ..................................................... 266 Tableau 100 – Statistiques des notes retraitées de l’examen .............................................. 267 Tableau 101 – Évolution liée au retraitement des notes ..................................................... 267 Tableau 102 – Typologie des erreurs par copie (examen) .................................................. 269 Tableau 103 – Évolution de la typologie des erreurs examen/devoir ................................. 270 Tableau 104 – Statistiques d’occurrence des erreurs par section (examen) ....................... 272 Tableau 105 – Comparaison statistique résumée (devoir) .................................................. 273 Tableau 106 – Comparaison statistique résumée (examen)................................................ 274 Tableau 107 – Résultats du questionnaire pré-test ............................................................. 276 Tableau 108 – Résultats Q1 du questionnaire post-test ...................................................... 277 Tableau 109 – Évolution réponses à la question 1.............................................................. 278 Tableau 110 – Perception des apports de la rétroaction vidéo ........................................... 279 Tableau 111 – Perception des aspects techniques de la rétroaction vidéo .......................... 282 Tableau 112 – Comportement des étudiants à la réception des fichiers ............................. 283 Tableau 113 – Utilisation ultérieure de la vidéo ................................................................. 284 xvii Tableau 114 – Récapitulatif des évaluations sommatives dans un cours de méthodologie de la traduction ........................................................................................................................ 299 Tableau 115 – Récapitulatif des évaluations sommatives dans un cours de traduction spécialisée........................................................................................................................... 305 xviii Liste des figures Figure 1 – Carte conceptuelle des principaux courants théoriques de l’enseignement et de l’apprentissage ...................................................................................................................... 18 Figure 2 – La taxonomie de Bloom ...................................................................................... 23 Figure 3 – Application de la typologie de Bloom à la visualisation des interventions réalisées pendant une année scolaire. ................................................................................... 41 Figure 4 – Les compétences du traducteur selon Hatim et Mason ....................................... 56 Figure 5 – Grille du Sical ...................................................................................................... 65 Figure 6 – Tableau d’évaluation Sical III ............................................................................. 66 Figure 7 – Résumé des « corrections dans la marge » de Vinay .......................................... 68 Figure 8 – Récapitulatif des paramètres à base lexicale de Gouadec ................................... 87 Figure 9 – Le questionnaire de Waddington, traduit par Martínez Melis........................... 104 Figure 10 – Pénalisation proportionnelle des erreurs de sens de Waddington ................... 108 Figure 11 – Grille d’évaluation holistique des traductions de Waddington ....................... 109 Figure 12 – Coefficient de fiabilité des méthodes de Waddington ..................................... 110 Figure 13 – Coefficients Êta carré des méthodes A et D de Waddington .......................... 110 Figure 14 – Flux de correction des travaux des étudiants en présentiel ............................. 137 Figure 15 – Statistiques de consultation d’un site de cours ................................................ 147 Figure 16 – Présentation d’un atelier de formation aux OTP ............................................. 199 Figure 17 – Le modèle du double codage de Paivio ........................................................... 203 Figure 18 – L’évaluation formative sous forme de réseau conceptuel ............................... 211 Figure 19 – Utilisation de la fonction Commentaire de Word ........................................... 214 Figure 20 – Capture d’écran du logiciel d’annotation Markin ........................................... 214 Figure 21 – Capture d’écran du logiciel Turnitin ............................................................... 215 Figure 22 – Fréquence d’utilisation des mémoires de traduction ....................................... 222 Figure 23 – Facteurs d’adoption d’une mémoire de traduction .......................................... 223 Figure 24 – Facteur de refus d’adoption d’une mémoire de traduction.............................. 224 Figure 25 – Typologie professionnelle des répondants ...................................................... 226 Figure 26 – Compétences informatiques déclarées par les répondants .............................. 227 Figure 27 – Taux de pénétration des mémoires de traduction ............................................ 228 Figure 28 – Contexte d’achat d’une mémoire de traduction .............................................. 229 Figure 29 – Fréquence d’utilisation d’une mémoire de traduction ..................................... 230 Figure 30 – Souhaits des étudiants quant à l’utilisation des OTP ...................................... 233 Figure 31 – Méthode d’annotation informatisée du texte source de Robinson, Lopez Rodriguez et Tercedor ........................................................................................................ 241 Figure 32 – Exemple de commentaires portés sur un journal d’apprentissage .................. 247 Figure 33 – Exemple de copie corrigée numériquement .................................................... 249 Figure 34 – Extrait d’une copie de la première étape du devoir ......................................... 249 Figure 35 – Capture d’écran d’une recherche menée dans Adobe Acrobat ....................... 256 Figure 36 – Extraits de recherches menées à l’aide d’Adobe Acrobat ............................... 268 Figure 37 – Exemple de barème utilisé pour la première étape du travail long ................. 302 Figure 38 – Exemple de question à choix multiples lors d’un examen théorique administré en laboratoire ...................................................................................................................... 309 Figure 39 – Exemple de correction automatique d’une question à réponse courte ............ 310 xix xx Liste des abréviations et sigles ATAMESL Association des traducteurs autonomes et micro-entreprises en services linguistiques CTTIC Conseil des traducteurs, terminologues et interprètes du Canada CREPUQ Conférence des recteurs et des principaux des universités du Québec GDT Grand dictionnaire terminologique de l’OQLF LA langue d’arrivée LMS learning management system OCDE Organisation de Coopération et de Développement Économique OQLF Office québécois de la langue française OTP outils technopédagogiques OTTIAQ Ordre des traducteurs, terminologues et interprètes agréés du Québec REFAD Réseau d’enseignement francophone à distance du Canada RV rétroaction vidéo ST source texte TA texte d’arrivée TAP think aloud protocol TBI tableau blanc interactif TD texte de départ TIC technologies de l’information et de la communication TL target language UdMct Université de Moncton UdMtl Université de Montréal UdO Université d’Ottawa UdS Université de Sherbrooke UL Université Laval UQO Université du Québec en Outaouais UQTR Université du Québec à Trois-Rivières USB Université de Saint-Boniface ZPD zone proximale de développement xxi xxii Remerciements Si je n’avais la possibilité de ne remercier qu’une seule personne, ce serait sans hésitation Isabelle Collombat, ma directrice de thèse, qui, en dépit de toutes les épreuves qu’elle a traversées, m’a apporté son soutien indéfectible tout au long du parcours de combattant que représente la rédaction d’une thèse de doctorat. Chic à Cyr, Isabelle! Cependant, je bénéficie heureusement d’assez de place pour remercier également les membres de mon jury pour l’intérêt qu’ils ont manifesté envers mon projet, Claude Savard pour tous ses conseils judicieux lors de la prélecture, ainsi qu’Alvaro Echeverri pour son enthousiasme communicatif. Mes pensées vont aussi à mes 32 collègues et aux 357 étudiants qui ont pris le temps de répondre à mes questions et ont ainsi grandement alimenté ma réflexion. J’ai également une pensée toute particulière pour Sylvie et MarieClaude, dont la collaboration active a rendu possible la réalisation d’une part importante de ce projet, et pour James, qui m’a aidé à apporter la touche finale à cette thèse, à un moment où l’établissement de mes connexions neuronales commençait à se faire de façon aléatoire. Merci également à Éric pour son amitié et son soutien indéfectibles, à mes enfants pour avoir accepté le sacrifice de nombreux week-ends pendant lesquels ils ont dû se contenter de jeux vidéo et de séries télé. Enfin, merci à Corinne pour son précieux soutien tout au long de ces derniers mois, sans lequel l’écriture de ces lignes aurait été bien retardée. Je ne saurais conclure sans évoquer la présence quasi permanente sur mon bureau, et aussi réconfortante qu’envahissante, d’un extraordinaire représentant de la race féline. Il aura été le silencieux compagnon de mes joies et de mes doutes, des moments d’exaltation ou de découragement, jusqu’à ce jour de janvier 2015 où il a été le témoin attentif de l’impression de ces pages. xxiii xxiv Avant-propos Après quinze années passées sur le marché du travail, nous avons repris le chemin de l’université en 2007. Nous gardons de ce retour aux études un sentiment mitigé pour ce qui est des évaluations reçues en tant qu’étudiant. En effet, lorsqu’on est habitué à bénéficier dans le cadre professionnel d’une rétroaction argumentée de son travail ou de ses performances, il peut être déroutant de recevoir, dans le cadre de cours de baccalauréat1, des notes dont les fondements ne sont pas toujours clairs ni expliqués. Une année plus tard, c’est en tant qu’enseignant en traduction que nous avons abordé la question de l’évaluation, et nous avons depuis maintes fois partagé le sentiment exprimé par Martínez Melis : Les moments de l’évaluation m’ont toujours paru des moments assez difficiles dans la mesure où ils me conduisaient généralement à un sentiment d’insatisfaction. Cet état dans lequel on se dit qu’il doit y avoir autre chose, on ne sait pas quoi, mais on sent bien qu’il y a d’autres possibilités. C’est ainsi que ce malaise professionnel aboutit à une prise de conscience : l’évaluation que je pratique dans mon enseignement de la traduction n’est pas satisfaisant [sic]. (Martínez Melis, 2001 : 2) Cette insatisfaction, vécue du côté tant étudiant qu’enseignant, a constitué une des raisons fondamentales du choix de ce sujet de recherche. C’est d’ailleurs en cherchant des bases théoriques susceptibles d’aider à la mise au point de procédures d’évaluation que nous avons constaté que les travaux menés sur l’évaluation en didactique de la traduction n’étaient pas nombreux. Cette situation avait déjà été remarquée par Martínez Melis : « l’évaluation en didactique de la traduction brille par le manque d’intérêt général » (2001 : 2). Plus d’une décennie après, la situation ne semble pas avoir évolué de façon notable. Un autre aspect frappant pour qui revient aux études réside dans le fait de devoir écrire à la main lors des évaluations en classe. En effet, l’usage de l’ordinateur a rendu à peu près caduque l’écriture manuelle dans le monde du travail, à quelques exceptions près. D’ailleurs, il ne viendrait sans doute plus à l’idée d’un enseignant universitaire de demander à ses étudiants de rédiger à la main leurs travaux faits à la maison. De même, voir les étudiants traîner des valises pleines de dictionnaires et autres ouvrages de référence 1 Au Québec, le diplôme du baccalauréat sanctionne les études de premier cycle universitaire. Il est donc l’équivalent de la licence en Europe. xxv au moment des examens peut offrir une image légèrement incongrue à l’heure du tout numérique, particulièrement dans un contexte de formation à un métier dans la pratique duquel les outils informatiques (logiciels d’aide à la traduction, dictionnaires et banques de données en ligne, correcticiels, etc.) ont très souvent remplacé les ressources imprimées. C’est donc naturellement que s’est posée la question de l’utilisation de technologies – qu’il semble difficile de qualifier de « nouvelles » alors que la plupart de nos étudiants ont grandi entourés d’appareils numériques – dans le processus d’évaluation en didactique de la traduction. xxvi Introduction « Évaluer consiste à recueillir un ensemble d’informations reconnues comme suffisamment pertinentes, valides et fiables, et à examiner le degré d’adéquation entre cet ensemble d’informations et un ensemble de critères jugés suffisamment adéquats aux objectifs fixés au départ ou ajustés en cours de route, en vue de fonder une prise de décision » (De Ketele, 1993 : 68). Les notions sous-jacentes à cette définition de l’évaluation seront abordées au chapitre I, mais deux éléments en ressortent d’emblée : la complexité de l’acte évaluatif, qui figure d’ailleurs au niveau le plus élevé de la taxonomie de Bloom, ainsi que son caractère opérationnel, puisque son objectif est de permettre une prise de décision. L’évaluation didactique constitue depuis longtemps un domaine de recherche pour les pédagogues, mais reste encore un sujet encore relativement peu abordé par les traductologues, en dépit des bouleversements profonds qu’a connus le métier de traducteur depuis le début du 21e siècle. Par ailleurs, si les modifications des contextes et des pratiques d’évaluation sont fréquentes en milieu scolaire, il apparaît, comme nous le verrons au chapitre III, que les modalités d’évaluation en pédagogie de la traduction sont à peu près identiques à celles qui prévalaient il y a quelques décennies. Dans cette thèse, nous présentons un état des lieux des pratiques d’évaluation didactique actuellement en vigueur dans l’enseignement de la traduction au Canada et de la perception qu’en ont les différents acteurs, et proposons une approche qui tienne compte aussi bien des apports issus de la traductologie que de ceux des sciences de l’éducation et des neurosciences. Précisons d’emblée que le critère de réalisme, c’est-à-dire de l’applicabilité de nos propositions aux contextes d’enseignement réels, à une époque où les contraintes budgétaires se font de plus en plus présentes au sein des universités, constitue l’un des fils rouges de cette recherche. Objectifs et structure de la thèse L’objectif général de cette thèse de doctorat, qui se situe dans le domaine de la traductologie appliquée, est de proposer une méthodologie d’évaluation des travaux des étudiants en traduction qui constituerait un véritable outil d’apprentissage, et de définir des 1 procédures, critères et tâches qui y seraient associés. Pour ce faire, nous posons les hypothèses de recherche suivantes : 1) les pratiques et modalités d’évaluation en didactique de la traduction n’ont guère évolué au cours des dernières décennies; 2) ces modalités d’évaluation sont principalement fondées sur une approche produit, indépendamment de l’avancement dans le cursus de formation, et elles reposent presque exclusivement sur des traductions, en temps limité (examens) ou non; 3) les outils technopédagogiques, et notamment la rétroaction vidéo, sont susceptibles d’améliorer l’efficacité de l’acte d’évaluation, et donc de renforcer la qualité des apprentissages. Notre objectif général recouvre sept objectifs spécifiques, auxquels un chapitre sera à chaque fois consacré :  Le premier objectif spécifique vise à étudier l’évaluation en tant qu’objet de recherche en sciences de l’éducation, plus spécifiquement au niveau universitaire. En effet, même si les premiers travaux sur l’évaluation datent du milieu du 20e siècle, De Landsheere (1986 : 14) constate que la pédagogie en général, dont l’évaluation est un des principaux éléments constitutifs, n’éveille pas une passion démesurée chez les universitaires : La pédagogie reste, en général, peu estimée dans le monde universitaire. L’explication de ce phénomène est double. D’une part, science humaine par excellence, la pédagogie n’a accédé que dans un passé récent à un niveau de sophistication scientifique en partie comparable à celui des disciplines anciennes. D’autre part, l’université n’a accueilli pendant très longtemps qu’une partie, hypersélectionnée, de la population des jeunes adultes qui venaient par ailleurs, y réaliser des études beaucoup moins complexes que celles d’aujourd’hui. La tâche des professeurs consistait donc essentiellement dans l’exposé ex cathedra des principes et des connaissances, et les étudiants possédaient assez d’aptitudes pour compenser seuls les faiblesses pédagogiques de cet enseignement. Or, comme le rappelle Martínez Melis, la demande en diplômés universitaires s’est considérablement accrue pour des raisons économiques et sociales, car « les secteurs de l’industrie, du commerce, des administrations et des services ont de plus en plus besoin de personnel qui possède une qualification supérieure » (Martínez Melis, 2001 : 3). Il 2 nous semble donc indispensable de recenser les tendances les plus récentes dans ce  domaine. Le deuxième objectif spécifique vise à étudier l’évaluation dans l’enseignement de la traduction. En effet, Waddington notait en 2000 qu’il n’existait que peu de travaux publiés sur l’évaluation en didactique de la traduction. Il convient donc de recenser les avancées en la matière réalisées au cours des quinze dernières années.  Le troisième objectif spécifique vise à étudier auprès des enseignants les pratiques en matière d’évaluation en didactique de la traduction en vigueur actuellement au Canada. À notre connaissance, aucune étude sur le sujet n’a été menée depuis celle de Waddington en 1999. Plus de quinze ans plus tard, et alors que cette période a vu les outils informatiques bouleverser radicalement le métier de traducteur, il nous apparaît nécessaire d’analyser l’évolution des pratiques.  Le quatrième objectif spécifique vise à appréhender la perception qu’ont les étudiants en traduction des pratiques et des modalités d’évaluation. Il s’agit là de la première étude du genre menée auprès d’un échantillon représentatif de la population étudiante, ce qui justifie sa présentation séparée de celle réalisée auprès des enseignants, même si des liens seront logiquement établis entre les deux.  Le cinquième objectif spécifique vise à définir les facteurs clés de succès de l’évaluation didactique en traduction sur la base des informations recensées précédemment, complétées par celles issues de données recueillies auprès d’entreprises œuvrant dans le domaine de la traduction au Canada.  Le sixième objectif spécifique vise à évaluer l’apport potentiel de l’utilisation des technologies de l’information et de la communication (TIC), et plus spécifiquement de la rétroaction vidéo2, dans une méthode d’évaluation didactique. La rétroaction vidéo consiste à fournir à l’apprenant une capsule vidéo de commentaires portant sur sa production dans le but de l’informer de la qualité de son apprentissage et de lui indiquer des moyens de développer ses compétences de façon autonome. Cette définition sera approfondie au chapitre VI. 2 3  Le septième et dernier objectif spécifique vise à définir les contours d’une méthode d’évaluation qui associe, voire réconcilie, les aspects formatif et sommatif du processus d’évaluation. Présentation et justification de la méthodologie et de la démarche Nos travaux, dans la lignée de ceux de Waddington (2000) en traductologie et de Stannard (2008) en didactique des langues, s’inscrivent dans une démarche de recherche-action, qui, selon Liu (1992 : 294), « naît de la rencontre entre une volonté de changement et une intention de recherche », Il s’agit plus précisément d’une recherche-action expérimentale, dans laquelle, pour Resweber (1995 : 43), « la situation est construite et l’efficacité de l’intervention est soumise à la mesure et la comparaison ». Certes, comme le rappelle Christen-Gueissaz (2006 : 30), « la recherche qualitative et la recherche-action produisent des résultats nuancés, relatifs et ne sont guère propices aux généralisations simplificatrices », ce qui apparaît logique dans un contexte de sciences humaines dont l’objet (l’être humain) est par essence complexe et irréductible. Cependant, l’utilité sociale d’une recherche constitue notamment aux yeux de Christen-Gueissaz (2006) un critère important qui concourt à garantir sa validité et la crédibilité de ses résultats. Pour Cardinal et Morin (1992 : nd), « La recherche-action permet de construire des théories et hypothèses qui émergent du terrain, sont par la suite testées sur le terrain et entraînent des changements désirables à la situation problématique identifiée. » Ainsi, cette modalité de recherche, que ces auteurs considèrent comme étant parfaitement adaptée au contexte des sciences humaines, requiert l’implication personnelle du chercheur : « une recherche par les acteurs, pour les acteurs, de solutions à leurs problèmes inspirées par une réflexion nourrie. La recherche-action intégrale a pour finalité le changement dans la pensée, dans l’action et dans l’efficacité de l’action » (ibid.). Par ailleurs, notre étude de l’apport potentiel des outils technopédagogiques au processus d’évaluation comportant la mise en œuvre d’un outil – la rétroaction vidéo – encore jamais utilisé en enseignement de la traduction et dont la maîtrise résulte de nombreux tâtonnements et expérimentations, cette implication personnelle du chercheur relève ici autant d’un choix que d’une nécessité. 4 Chapitre I : état de la question et cadre théorique général 1. Problématique 1.1. Intérêt de la recherche À l’aube du 21e siècle, l’évaluation des apprentissages en traduction était un domaine qui n’avait été encore que peu abordé par la recherche. Cette situation explique sans doute en partie que Brunette ait constaté au sein de la communauté enseignante « une espèce d’empirisme en matière de correction des traductions faites par les apprentis traducteurs » (Brunette, 1998 : 135) et que Delisle ait dénoncé la subjectivité qui prévalait parfois chez les évaluateurs. L’évaluation des traductions est aussi engluée dans la subjectivité. Porter une appréciation sur la qualité d’une traduction, ce n’est pas révéler son état d’âme en face du texte traduit. Une traduction n’est pas un paysage, d’où la nécessité de s’écarter des jugements émotifs et rhétoriques, des critiques de goût, des billets d’humeur, des distributions subjectives de notes fondées sur rien du tout. (Delisle, 2001 : 210) Les travers du mode actuel d’évaluation (simplisme, conformisme, inefficacité) sont également mis en exergue par plusieurs études, notamment celle de Gouadec, qui met en avant son caractère « anti-pédagogique » (Gouadec, 1989 : 36). Pourtant, la volonté de la traductologie de continuer à s’affirmer en tant que science nécessite un approfondissement des recherches dans ce domaine. Les progrès réalisés bénéficieraient bien sûr en premier lieu aux apprenants, tant lors de leur apprentissage qu’au moment de leur arrivée sur le marché du travail, mais aussi aux enseignants – pour qui l’évaluation aboutit souvent à ce sentiment d’insatisfaction évoqué par Martínez Melis – et aux employeurs, qui bénéficieraient de traducteurs mieux préparés et plus autonomes. Par ailleurs, à ce jour, nous n’avons trouvé trace d’aucune étude ou recherche portant sur l’intégration de l’outil informatique dans le processus d’évaluation en traduction. Or, non seulement l’ordinateur est devenu un outil incontournable pour tout traducteur ou apprenti traducteur, mais l’essor des outils informatiques d’aide à la traduction est lui aussi fulgurant : alors qu’environ 25 % des traducteurs au Québec les utilisaient en 2002 (Gauthier, 2002 : 14), ce sont désormais presque les deux tiers d’entre eux qui y ont 5 recours. Selon une étude récente (ATAMESL, 2014 : 14), 63 %3 des traducteurs autonomes du Québec utilisent une mémoire de traduction4. Les performances de ces outils ont également beaucoup progressé et ont entraîné un profond bouleversement des méthodes de travail des traducteurs. Dès lors, il semble logique de s’interroger sur le recours à l’informatique dans le cadre de l’évaluation en didactique de la traduction : peut-on, dans ce domaine, continuer à évaluer de la même façon qu’il y a 30 ans, voire 80? En effet, d’après notre expérience, il apparaît que la méthode de correction qu’a connue Vinay (1996 : 145-147) en tant qu’étudiant au début des années 1930 n’a, dans certains cas, pas évolué de façon sensible. 1.2. Fondements théoriques Même si l’évaluation didactique constitue un sujet d’étude encore relativement récent, ce domaine a donné lieu à une multitude de travaux et d’axes de recherche. Notre objectif n’est donc pas de faire une présentation exhaustive du concept d’évaluation, à la fois parce qu’il s’agit d’un sujet d’étude bien trop vaste pour pouvoir être résumé en quelques pages, mais aussi parce que d’autres ont déjà tenté une telle entreprise, notamment Martínez Melis (2001 : 11-54), qui plus est en lien avec l’enseignement de la traduction. Cependant, il nous semble indispensable, avant d’aborder le sujet de l’évaluation en traduction, de fournir un cadre théorique général présentant les concepts nécessaires et suffisants au développement de notre réflexion et de nos travaux. Il convient par ailleurs de préciser que la notion d’évaluation en traduction peut concerner, selon Martínez Melis (2001 : 55), trois domaines différents : l’évaluation des traductions des textes littéraires ou sacrés, l’évaluation dans le cadre professionnel et l’évaluation en didactique de la traduction. C’est uniquement ce dernier domaine qui sera abordé dans la présente étude. Quant à l’aspect de l’apport potentiel des outils informatiques dans le processus d’évaluation, cet aspect sera traité séparément du thème principal. En effet, si nous voyons dans ces outils un puissant soutien potentiel de l’action de l’enseignant, nous considérons Selon un sondage de l’Ordre des traducteurs, terminologues et interprètes agréés du Québec (OTTIAQ), cette proportion était de 60 % en 2012. Source : http://ottiaq.org/extranet/pdf/resultats_sondage2012_fr.pdf, page consultée le 3 octobre 2014. À notre connaissance, tous les cabinets de traduction ayant pignon sur rue utilisent un outil de ce genre. 4 Une mémoire de traduction est un outil d’aide à la traduction « qui recherche des correspondances entre les phrases d’un texte à traduire et un répertoire de phrases bilingues » (L’Homme, 2008 : 174). 3 6 cependant que notre réflexion doit d’abord porter intrinsèquement sur l’évaluation, ce qui permettra ensuite d’isoler les effets de ces outils. 2. État de la question et cadre théorique Selon Tardif (1993 : 27-28), « la problématique de l’évaluation est […] difficile à circonscrire sans faire explicitement référence à la conception de l’apprentissage qui est à la base des modalités et des instruments retenus aux fins d’évaluation ». Il convient donc, préalablement à tout travail sur l’évaluation, de procéder à une présentation succincte des principales théories de l’enseignement et de l’apprentissage qui sous-tendent les pratiques pédagogiques privilégiées de nos jours. 2.1. Cadre général : les théories de l’enseignement et de l’apprentissage Selon Kozanitis (2005 : 1), il existe quatre grands courants théoriques de l’enseignement et de l’apprentissage, que nous présenterons de façon très résumée : le béhaviorisme, le cognitivisme, le constructivisme et le socioconstructivisme. Nous évoquerons également l’apport des neurosciences cognitives à la compréhension des processus d’apprentissage. 2.1.1. Le courant béhavioriste Selon Desbiens (2004 : 289), le béhaviorisme, fondé au début du 20e siècle par Watson, a dominé pendant 50 ans la psychologie scientifique en Amérique du Nord. Ce courant de pensée a fortement marqué la conception de l’être humain et la manière d’enseigner, notamment à partir des travaux de Skinner sur « le conditionnement opérant » (Skinner, 1969 : 76) par lequel « un agent quelconque (chercheur, enseignant, entraîneur, parent, autres) peut organiser des contingences de renforcement de manière à accroître la probabilité d’apparition de réponses opérantes devant un ou plusieurs stimuli » (Desbiens, 2004 : 296). Skinner a commencé à appliquer ses travaux à la pédagogie dès 1953, après avoir constaté une certaine incapacité de l’école à enseigner facilement et rapidement des connaissances fondamentales comme le calcul et l’orthographe. Le modèle béhavioriste de l’enseignement et de l’apprentissage est donc principalement issu d’une critique de la pédagogie traditionnelle, jugée autoritaire, répressive et incapable d’apporter un 7 enseignement individualisé. C’est dans le but de permettre cette individualisation, grâce à laquelle chaque apprenant bénéficie de « tâches d’apprentissage sur mesure respectant ses capacités tout en lui assurant des rétroactions et des renforcements immédiats » (Desbiens, 2004 : 299), que Skinner a défini les concepts d’enseignement programmé et de machine à enseigner. Le premier cité vise à présenter à chaque apprenant une matière de façon très progressive, à susciter une réponse pour chaque élément de contenu et à faire suivre chaque réponse d’une rétroaction. Quant à la machine à enseigner, qui « n’est en somme rien d’autre qu’un dispositif [mécanisé] destiné à organiser les contingences de renforcement » (Skinner, 1969 : 79), elle résulte de l’objectif d’automatiser certaines tâches d’apprentissage et d’évaluation pour donner à l’enseignant le temps nécessaire à l’observation attentive des comportements d’apprentissage des élèves et à la mise en œuvre des renforcements appropriés. Dans le modèle béhavioriste, l’apprentissage se définit par des comportements observables. Les trois principales caractéristiques de cette approche sont, selon Desbiens (2004 : 302) : la participation active de l’apprenant grâce à une interaction constante avec les contenus d’apprentissage, une rétroaction rapide et systématique qui lui permet de prendre conscience de ses réussites et de ses erreurs, et la segmentation des contenus en petites unités organisées hiérarchiquement de façon à ce que l’apprentissage soit progressif. Il y a apprentissage lorsque l’apprenant donne une réponse correcte à un stimulus donné. Les béhavioristes ne s’intéressent donc pas au processus et considèrent l’esprit comme une « boîte noire » (Basque, 1999 : 8). Selon Kozanitis (2005 : 3), « le béhaviorisme considère l’apprentissage comme une modification durable du comportement résultant d’un entraînement particulier ». L’apprenant est souvent défini comme un organisme passif qui ne fait que réagir à des stimuli environnementaux, et la mémoire est vue « comme un réceptacle vierge dans lequel viennent s’accumuler les connaissances » (2005 : 9). Selon Desbiens, le déclin du béhaviorisme comme psychologie dominante s’est concrétisé à la fin des années 1960 à la suite de la remise en cause, par des chercheurs issus de différentes disciplines, notamment celles qui allaient devenir les sciences cognitives, du concept de conditionnement opérant comme théorie explicative de l’apprentissage. Cependant, selon Basque (1999 : 8), le béhaviorisme a dominé la recherche en éducation jusqu’au début des années 1980. 8 2.1.2. Le courant cognitiviste Selon Fortin et Rousseau (2010 : 8), différentes disciplines ont contribué à l’émergence du cognitivisme à partir des années 1950. Les travaux de Miller (1956) ont ainsi mis en évidence les limites physiologiques de la mémoire humaine, ce qui est apparu peu compatible avec la conception béhavioriste de la mémoire décrite précédemment. Dans le domaine de la linguistique, Chomsky (1957) a démontré qu’il n’était pas possible d’expliquer, comme avait tenté de le faire le béhaviorisme, « l’acquisition d’une habileté aussi complexe que le langage simplement par le fait que l’humain associe des réponses, c’est-à-dire les étiquettes que constituent les mots, à des objets ou stimulations quelconques » (Fortin et Rousseau, 2010 : 8). À la différence du béhaviorisme, le cognitivisme s’intéresse essentiellement à ce qui se passe dans la tête des apprenants lorsqu’ils résolvent des problèmes ou effectuent des tâches. Selon Kozanitis (2005 : 8), cette rupture s’est prolongée dans deux courants de la psychologie cognitive, le premier axé sur le traitement de l’information, et le second sur les stratégies mentales. 2.1.2.1. L’approche du traitement de l’information Dans cette approche, l’esprit humain est assimilé à un système de traitement de l’information et fonctionne donc comme un ordinateur, grâce à des structures de stockage (mémoire) à court et à long terme et à des opérations d’analyse logique. Dans le modèle d’Atkinson et Shiffrin (1968) présenté par Fortin et Rousseau (2010 : 10-11), trois types de mémoire sont identifiés : - le registre sensoriel, une « structure qui garde pendant un très court laps de temps l’information sensorielle (sons, informations visuelles, odeurs, etc.) qui nous atteint, la plupart du temps sans même que nous en soyons conscients » (2010 : 29); - la mémoire à court terme (désignée aussi par la suite sous le terme de mémoire de travail), qui désigne un ensemble de processus permettant de maintenir active l’information nécessaire à l’exécution des activités cognitives courantes et par où transitent les informations avant d’être transférées dans la mémoire à long terme. Cette mémoire à court terme comporte deux limites importantes, d’une part la durée de disponibilité de l’information – de cinq à vingt secondes selon Bissonnette et Richard (2005 : 316) –, et d’autre part la capacité de stockage (environ sept unités 9 d’information selon les travaux de Miller). Selon Bissonnette et Richard (ibid.), « on peut établir une analogie avec la fonction "sauvegarder ", en informatique, qui permet de transférer les données apparaissant sur l’écran d’un ordinateur de la mémoire vive (la mémoire de travail) à la mémoire morte (la mémoire à long terme), située sur le disque dur ». - la mémoire à long terme, où sont entreposés les faits, les connaissances et les habiletés que nous avons accumulés au fil des années. Cette approche a permis de comprendre comment l’être humain interprète, encode et emmagasine l’information provenant de son environnement. Ausubel (1960 : 271) souligne quant à lui le rôle central joué par les processus de structuration dans l’apprentissage et réfute l’idée qu’un enseignement basé uniquement sur la simple communication d’informations par l’enseignant conduise nécessairement à des apprentissages de faible niveau. Pour lui, cette forme d’enseignement peut être efficace si l’on prend le soin, grâce à un mécanisme d’ancrage, d’intégrer les connaissances nouvelles à celles déjà maîtrisées par l’apprenant. Quant au modèle proposé par Gagné (1976 : 86-108), dérivé de celui d’Atkinson et Shiffrin, il offre un aperçu de la façon dont l’esprit humain traite l’information en situation d’apprentissage et permet de comprendre les processus d’apprentissage et de mémorisation. 2.1.2.2. L’approche des stratégies mentales Cette approche est fondée sur l’importance de l’appropriation de stratégies cognitives et métacognitives jugées nécessaires à une démarche structurée d’apprentissage. Ses tenants considèrent que l’apprenant joue un rôle actif dans le processus d’apprentissage en mettant en œuvre des stratégies cognitives. Quant aux stratégies métacognitives, elles permettent à l’apprenant qui est confronté à une tâche d’apprentissage d’exercer un contrôle actif de la mise en œuvre des opérations nécessaires à sa réalisation. La métacognition consiste à porter un jugement sur un travail cognitif et à en tirer des enseignements pour permettre à l’apprenant d’apporter des améliorations à sa méthode de travail. Ces stratégies mentales peuvent faire l’objet d’un enseignement systématique susceptible d’augmenter la performance des étudiants. Selon Weinstein et Mayer (1986 : 325), les 10 apprenants pourraient de cette façon améliorer leur gestion du temps et des ressources (matérielles, affectives), leur capacité de mémorisation et de compréhension, ainsi que leur gestion de l’activité cognitive. Ils recommandent que l’enseignement de ces stratégies soit réalisé en contexte d’apprentissage. Tardif (1997 : 70) abonde dans leur sens et propose un modèle d’apprentissage basé sur l’importance de l’appropriation graduelle et effective des stratégies cognitives et métacognitives, qui a pour objectif de susciter l’engagement de l’apprenant et de lui montrer comment traiter les informations d’une façon adéquate. L’enseignant joue alors un rôle de médiateur en orientant l’activité cognitive des apprenants, et un accent particulier est mis sur l’autorégulation de la démarche d’apprentissage. 2.1.2.3. Cognitivisme et évaluation Pour les cognitivistes, les dimensions diagnostique et formative de l’évaluation sont importantes, et l’évaluation devrait donc se faire de façon concurrente à l’apprentissage (Tardif, 1997 : 79). Elle doit permettre d’évaluer différents états cognitifs allant du novice à l’expert, et porter sur la capacité de l’apprenant à résoudre des problèmes dans des situations complexes. Par ailleurs, selon Basque, « l’apprenant devrait pouvoir gérer luimême certains aspects de l’évaluation des apprentissages, tels que le choix de contenu, le choix des types d’activités d’évaluation, la possibilité d’améliorer un travail après rétroaction, etc. » (1999 : 12). 2.1.3. Les courants constructiviste et socioconstructiviste Les courants constructivistes et socioconstructivistes, qui ont acquis une très grande popularité en éducation, sont fréquemment évoqués en tant que fondement de diverses approches pédagogiques, y compris en enseignement de la traduction (Kiraly, 1995, 2000, 2001; Kelly, 2005; Collombat, 2009). Selon Legendre (2004b : 334), bien que ces deux courants aient eu un effet important sur la pédagogie, ils ne dictent aucun modèle d’enseignement en particulier, mais « invitent à porter un autre regard sur le rôle de l’enseignement dans la démarche d’acquisition de nouveaux savoirs par l’élève ». Les noms de Piaget et Vygotsky sont respectivement associés à chacune de ces conceptions. 11 2.1.3.1. Le courant constructiviste Les travaux de Piaget portent principalement sur la construction des connaissances au cours du développement biologique de l’être humain et ses théories transposent les modèles du développement biologique à la construction de la connaissance. Pour Tardif (1993 : 29-30), le paradigme constructiviste repose sur cinq grands principes : – L’apprentissage se définit comme un processus actif de construction des connaissances. Les informations ne s’associent pas entre elles automatiquement et l’apprenant doit agir directement sur les éléments qui lui sont présentés. – L’apprentissage consiste en l’établissement de liens entre de nouvelles informations et des connaissances antérieures. Pour pouvoir traiter efficacement de nouveaux éléments, l’apprenant doit disposer préalablement de connaissances qui lui permettront d’établir ces liens. – L’apprentissage requiert une organisation constante des connaissances, qui augmente la probabilité que l’apprenant intègre efficacement de nouvelles informations et qu’il puisse mobiliser rapidement ses connaissances. – L’apprentissage concerne aussi bien les stratégies cognitives et métacognitives que les connaissances théoriques. Les stratégies cognitives permettent à l’apprenant d’utiliser à bon escient les connaissances acquises, tandis que les stratégies métacognitives lui permettent de gérer les stratégies mises en œuvre. – L’apprentissage concerne aussi bien les connaissances déclaratives (connaissance de faits, règles, lois et principes) que les connaissances conditionnelles (le motif et la temporalité des actions) et procédurales (leurs modalités). 2.1.3.2. Le courant socioconstructiviste Les travaux de Vygotsky sur l’apprentissage social ont été publiés en URSS dans les années 1920, mais en raison des évènements géopolitiques qui ont agité une grande partie du 20e siècle, son apport à la psychologie occidentale moderne n’a été reconnu qu’à partir de la fin des années 1970, longtemps après sa mort. Comme son nom l’indique, le socioconstructivisme met l’accent sur les dimensions sociales et culturelles qui exercent une influence dans la construction des nouveaux savoirs. En éducation, le socioconstructivisme constitue un modèle d’enseignement et d’apprentissage dans lequel, 12 selon Kozanitis (2005 : 12), trois éléments didactiques sont indissociables pour permettre le progrès : 1. la dimension constructiviste qui fait référence au sujet qui apprend : l’étudiant. 2. la dimension socio qui fait référence aux partenaires en présence : les autres étudiants et l’enseignant. 3. la dimension interactive qui fait référence au milieu : les situations et l’objet d’apprentissage organisé à l’intérieur de ces situations. L’objet de l’apprentissage proposé est le contenu d’enseignement. Vygotsky s’est opposé à la vision individualiste de l’apprentissage présente dans le constructivisme et a défendu la thèse selon laquelle l’élaboration des connaissances passe nécessairement par une phase d’interaction sociale et qu’il ne peut y avoir de développement cognitif sans apprentissage. Pour mettre en place des pratiques susceptibles d’activer la progression de l’apprenant, il importe de pouvoir évaluer son état de développement. Or, d’après Vygotsky, les modalités classiques d’évaluation ne font que déterminer ce qui est déjà acquis chez l’apprenant et non ce qui est au stade de la maturation. C’est pourquoi il a introduit le concept clé de « zone proximale de développement » (ZPD) qui, selon Legendre (2004a : 361), désigne la distance entre le niveau de développement de l’apprenant tel qu’il est déterminé par les problèmes qu’il est capable de résoudre seul et un niveau de développement potentiel correspondant aux problèmes qu’il parvient à résoudre avec l’aide de l’enseignant ou en collaboration avec des pairs plus compétents. L’approche de Vygotsky exige qu’enseignants et apprenants sortent de leur rôle traditionnel et collaborent entre eux (enseignants/apprenants et apprenants/apprenants). Kozanitis (2005 : 13) est d’avis qu’il en résulte que l’aménagement physique de la salle de classe est appelé à être modifié, puisque les étudiants doivent être regroupés en petites équipes pour favoriser la collaboration et l’apprentissage par les pairs. De même, le matériel didactique doit être adapté à ces nouvelles conditions d’enseignement et d’apprentissage. 2.1.3.3. Constructivisme et socioconstructivisme Selon Legendre (2004a : 367), « constructivisme et socioconstructivisme ne sont […] pas fondamentalement différents : ils s’intéressent l’un et l’autre aux processus grâce auxquels nous élaborons des représentations du monde », ce qui rejoint le concept des modèles mentaux qui sera présenté plus loin. Même si le socioconstructivisme met l’accent sur les 13 dimensions sociales et culturelles, celles-ci ne sont pas absentes du constructivisme. Ainsi, d’après Legendre, il ne faut pas établir d’opposition radicale entre ces deux courants en réduisant le premier à une construction essentiellement sociale des connaissances et le second à une construction purement individuelle des savoirs. Pour Piaget comme pour Vygotsky, il existe d’étroites relations d’interdépendance entre l’apprentissage et le développement de l’apprenant, et tous deux accordent un rôle important à la mise en place d’un environnement éducatif propre à stimuler le développement cognitif et social de l’apprenant. Par ailleurs, d’après Le Moigne (2012 : 40), le terme générique de constructivisme peut recouvrir différentes approches selon la perspective dans laquelle on l’aborde (épistémologique, psychologique, social, historique, pédagogique ou didactique) : le socioconstructivisme de Vygotsky, le constructivisme dialectique de Piaget ou le constructivisme radical de von Glasersfeld (1995) par exemple. C’est pourquoi, selon Legendre, « lorsqu’on se réclame du constructivisme ou du socioconstructivisme, on peut difficilement se passer de préciser les perspectives théoriques et les idées sur lesquelles on prend appui pour fonder une intervention éducative » (2004a : 369). 2.1.3.4. Constructivisme et évaluation Les cinq principes énoncés par Tardif et présentés précédemment (voir page 12) exercent logiquement une influence majeure sur les modalités d’évaluation dans le paradigme constructiviste : puisque les apprentissages doivent être réalisés à partir de tâches « complètes, complexes et signifiantes » (Tardif, 1993 : 43), les pratiques d’évaluation doivent elles aussi reposer sur de telles tâches. Dans cette perspective, ce sont la compréhension de l’apprenant et les stratégies cognitives qu’il met en œuvre qui doivent être évaluées, et non ses seules connaissances déclaratives. Les situations d’évaluation permettent donc de déterminer l’usage qu’un apprenant peut faire de ses connaissances déclaratives, conditionnelles et procédurales pour résoudre un problème. L’évaluation doit ainsi revêtir un caractère authentique pour permettre qu’un jugement soit porté sur une compétence contextualisée. Selon Meyer (1992 : 40), la notion d’authenticité est un 14 concept multidimensionnel5 et variable selon chaque situation d’évaluation, mais qui a toujours pour caractéristique son intégration dans un contexte réel et réaliste. Parmi les principales recommandations formulées par les constructivistes en matière d’évaluation qui ont été recensées par Basque (1999 : 16) figurent les suivantes : – évaluer le processus de construction des connaissances plutôt que le produit de l’apprentissage, – privilégier une évaluation continue au lieu d’une évaluation uniquement finale, – faire porter les évaluations sur les habiletés de haut niveau intellectuel, – utiliser une diversité de mesure, – favoriser des évaluations en contexte réel, – favoriser l’évaluation par les pairs et l’auto-évaluation, – favoriser les techniques d’évaluation suivantes : portfolios, discussions de groupes, journaux de bord, cartes conceptuelles, résumés, etc. Par ailleurs, l’évaluation dans une perspective constructiviste est également caractérisée par le statut de l’erreur. Pour Legendre, « le constructivisme a redonné à l’erreur un statut "noble" puisque, loin de refléter sans plus l’ignorance, elle apparaît au contraire comme l’expression même de l’intelligence, autrement dit des processus de raisonnement et des connaissances antérieures dont use l’apprenant pour donner du sens à une situation » (2004 : 346). L’erreur apparaît donc comme un outil au service de l’apprentissage. Il importe d’en déterminer la nature et les causes et de comprendre les mécanismes dont elle procède. L’objectif n’est pas tant d’éliminer les erreurs, conçues comme une expression des représentations préalables des apprenants, mais d’en comprendre le mécanisme et de les exploiter afin d’améliorer la compréhension des étudiants. 2.1.4. Les neurosciences cognitives Selon Byrnes et Fox (1998 : 297), l’étude du fonctionnement du cerveau humain a longtemps été caractérisée par un cloisonnement par spécialité, mais ces barrières sont progressivement tombées et « many now assume that the division between researchers who 5 Meyer cite par exemple les éléments suivants : « stimuli, task complexity, locus of control, motivation, spontaneity, resources, conditions, criteria, standards, consequences » (Meyer, 1992 : 40). 15 study cognition and researchers who study brain processes is no longer helpful » (ibid.). Depuis le milieu du 20e siècle, les neurosciences se sont considérablement développées grâce aux progrès techniques qui ont permis des mesures de plus en plus précises de l’activité de notre cerveau. Selon Gaussel et Reverdy (2013 : 2), « les neurosciences sont un domaine parmi d’autres d’étude de la cognition [… et] les neurosciences cognitives peuvent donc être définies comme l’ensemble des disciplines qui ont pour objet d’établir la nature des relations entre la cognition et le cerveau ». Elles s’intéressent notamment à la façon dont l’information est perçue, traitée et intégrée, et au fonctionnement de la mémoire. D’après Campbell et Pagé (2012 : 116-117), des chercheurs en éducation ont commencé à intégrer les outils et enseignements des neurosciences dans leurs propres recherches, mais « dans le monde des sciences de l’éducation, un scepticisme, sinon un déni, a dominé jusqu’à maintenant concernant l’utilité et la valeur des neurosciences pour mieux comprendre la cognition et l’apprentissage ». Pour ces auteurs, dans la mesure où les comportements cognitifs et l’apprentissage deviennent directement observables, notamment grâce aux découvertes en neurosciences, il est indispensable que la recherche en sciences de l’éducation intègre ces avancées. Des études ont par exemple montré que les processus d’apprentissage s’accompagnent le plus souvent d’un déplacement de l’activité au sein du cerveau en fonction du degré de maîtrise du sujet : plus on devient compétent dans un exercice, plus les informations sont orientées vers une zone de traitement automatique et moins la zone de mémoire de travail est sollicitée. Ainsi, pour Cordier et Gaonac’h (2010 : 64-65), « plus le matériel est traité en profondeur, plus ce traitement comporte d’associations, de relations de signification entre les items à apprendre et les connaissances stockées antérieurement à la tâche, et meilleur sera le recouvrement ultérieur de l’item ». D’après ces auteurs, l’utilisation d’un codage verbal renforcé par un codage visuel permet de restituer plus facilement une information. Ce dispositif correspond à la théorie du double codage de Paivio (1971), qui constitue un des fondements théoriques de notre étude présentée au chapitre VI. Selon Nizet (1999 : 7), la résolution de problème constitue un objectif d’apprentissage privilégié dans de nombreux domaines de formation, ce qui est précisément le cas de l’enseignement de la traduction (Kiraly, 2000; Collombat, 2009). En situation de résolution de problème, l’apprenant « se construit une représentation mentale du problème et il simule 16 mentalement l’effet de ses actions sur l’environnement […]. On appelle "modèle mental" ce type de représentation » (Nizet, 1999 : 8). Les sciences cognitives visent à comprendre et à décrire ces modèles mentaux en tant que représentations individuelles du monde, activées dans les situations de résolution de problème, de planification d’action et de prise de décision. L’identification des modèles mentaux des apprenants constitue donc une voie à explorer dans le domaine de l’évaluation cognitive, et les apports potentiels des neurosciences en la matière apparaissent prometteurs, puisque celles-ci permettent de préciser les modèles issus des théories de l’apprentissage. Cependant, Tardif et Doudin (2011 : 95) considèrent qu’« un large fossé continue de les [les domaines de l’éducation et des neurosciences cognitives] séparer, d’une part en raison du manque de connaissances en neurosciences cognitives de la part d’enseignants et de professionnels de l’éducation » (ibid.), qui peut les mener à des conclusions hâtives et à des interventions inefficaces, et d’autre part à cause de l’éloignement des chercheurs en neurosciences cognitives des réalités d’une salle de classe et donc de la compréhension des problèmes auxquels les enseignants sont confrontés ainsi que de leurs attentes en termes d’efficacité. 2.1.5. Les théories de l’enseignement et de l’apprentissage : conclusions Trois des principaux courants théoriques de l’enseignement et de l’apprentissage, le béhaviorisme, le cognitivisme et le constructivisme, sont résumés dans la figure 1 sous forme de carte conceptuelle. 17 Figure 1 – Carte conceptuelle des principaux courants théoriques de l’enseignement et de l’apprentissage (source : http://cmapspublic3.ihmc.us) 18 Le rejet qu’ont suscité les thèses béhavioristes, très prégnantes au début du 20e siècle, chez de nombreux pédagogues constitue un élément qui a favorisé le développement des autres approches présentées précédemment. Cependant, Crahay (1999 : 169) considère que ce rejet en bloc est de nature idéologique. Desbiens (2004 : 307) est également d’avis que, dans le domaine de l’apprentissage des connaissances, les méthodes d’enseignement inspirées du béhaviorisme ont clairement démontré leur efficacité et qu’il ne faudrait pas « jeter le bébé avec l’eau du bain ». Par ailleurs, pour Legendre (2004 : 269), « il convient de rappeler que le constructivisme et le socioconstructivisme ne constituent pas des modèles d’enseignement et ne sauraient dicter des pratiques particulières ». Il lui apparaît nécessaire de recontextualiser les idées empruntées à ces perspectives en fonction des contraintes, des caractéristiques et des visées spécifiques à un domaine d’enseignement. Elle est également d’avis qu’« il s’avère souvent approprié d’emprunter à plus d’un modèle théorique, de se baser sur plusieurs cadres de référence susceptibles d’apporter des éclairages complémentaires sur divers aspects de la réalité complexe de l’enseignement et de l’apprentissage » (2004 : 371). Nous souscrivons à l’approche de Legendre, et ce pour plusieurs raisons. Tout d’abord, nous avons pu constater, tant dans notre pratique que lors de l’étude des diverses théories de l’apprentissage, l’existence « des dogmes pédagogiques » dénoncés par Legendre (2004 : 371) et qui limitent la réflexion de leurs tenants en les enfermant dans des grilles de lecture réductrices. L’esprit de chapelle nous semble incompatible avec les objectifs que nous nous sommes fixés. Ensuite, les conditions d’enseignement de la traduction qui prévalent au Canada affichent une tendance à l’augmentation de la taille des groupes d’apprenants, situation à laquelle les enseignants doivent s’adapter tant bien que mal. L’existence de grands groupes (de 90 à 100 étudiants) dans certains cours est aujourd’hui une réalité vécue dans plusieurs universités. Lorsque la matière s’y prête et que les contraintes en termes de moyens sont réelles, il nous semble contre-productif de rejeter par principe l’utilisation de méthodes transmissionnistes. La transmission de connaissances est en effet toujours utile lorsqu’elle s’intègre à une structure plus vaste qui consiste à construire des savoirs. Enfin, les apports des neurosciences cognitives à la compréhension des processus d’apprentissage et à l’amélioration des approches didactiques offrent des perspectives 19 pleines de promesses et fourniront une base théorique, dans notre étude présentée au chapitre VI, à l’utilisation d’outils multimédia à des fins d’évaluation. 2.2. Cadre général : les théories de l’évaluation L’évaluation est aujourd’hui plus que jamais présente dans le champ social. Selon Figari et Mottier Lopez (2006 : 11), « elle prépare, accompagne et clôt la plupart des activités des organisations publiques comme privées, scolaires comme professionnelles […]. Mais l’évaluation est plus que jamais à repenser […]. Elle paraît insuffisamment intégrée aux pratiques d’enseignement-apprentissage et de formation ». Hadji (2012 : 14) considère que notre société semble saisie d’une véritable frénésie évaluative à laquelle rien ne paraît devoir échapper, et on assiste même à un « déchaînement évaluatif […]. On évalue aujourd’hui les élèves et étudiants, les enseignants, les universités […], les politiques publiques, la pauvreté, la qualité des programmes de télévision, la sécurité et la qualité des services offerts par les compagnies aériennes. […]. On prétend même pouvoir évaluer le bonheur ». Pour comprendre ces jugements et avant d’entreprendre une réflexion sur l’évaluation didactique, il convient tout d’abord de la définir précisément et d’en exposer les différents modèles théoriques, après avoir rappelé certaines notions clés de la pédagogie et de l’évaluation. 2.2.1. Définition de l’évaluation didactique L’évaluation en éducation existe depuis longtemps en tant que pratique et objet de discours, mais sa définition a varié au fil du temps, des courants de pensée et des objectifs de leurs auteurs. Ainsi, selon Scallon (2004 : 1), « À une époque, le terme avait une connotation péjorative et désignait un mal qu’on s’efforçait d’éviter bien qu’il fût parfois nécessaire ». Dans son Dictionnaire actuel de l’éducation, Legendre (2005 : 630) ne fournit pas moins de 17 définitions, au nombre desquelles : Démarche permettant de porter un jugement à partir de normes ou de critères établis, sur la valeur d’une situation, d’un processus ou d’un élément donné, en vue de décisions pédagogiques ou administratives. […] Opérations de confrontation, de mise en rapport, entre des attentes et une réalité. […] 20 Formulation, dans un but bien déterminé, de jugements sur la valeur de certaines idées, travaux, situations, méthodes, matériels, etc. […] Activités de comparaison où la production est comparée à un modèle de référence inscrit dans les structures cognitives de l’évaluateur. […] Cueillette et traitement d’informations qualitatives et/ou quantitatives ayant pour but d’apprécier le niveau d’apprentissage atteint par le sujet par rapport à des objectifs en vue de juger d’un cheminement antérieur et de prendre les meilleures décisions quant à un cheminement ultérieur. Hadji (1997 : 68) pose qu’« évaluer, c’est mettre en relation des éléments issus d’un observable (ou référé) et un référent pour produire de l’information éclairante sur l’observable, afin de prendre des décisions ». Le référé correspond à ce qui a été observé, et le référent à « ce en fonction de quoi on évalue ». Le référent peut donc être constitué du ou des objectifs visés, des compétences attendues et des critères sur lesquels s’appuie l’acte d’évaluation. Pour De Ketele (1993 : 68), « évaluer consiste à recueillir un ensemble d’informations reconnues comme suffisamment pertinentes, valides et fiables, et à examiner le degré d’adéquation entre cet ensemble d’informations et un ensemble de critères jugés suffisamment adéquats aux objectifs fixés au départ ou ajustés en cours de route, en vue de fonder une prise de décision ». Selon Tardif (1993 : 28), les définitions de l’évaluation exclusivement axées sur l’atteinte d’objectifs au détriment du cheminement cognitif de l’apprenant ne sont pas satisfaisantes. Il préfère la définir comme « le processus par laquelle des informations sont obtenues au sujet des connaissances et des capacités d’un apprenant […], qui vise à fournir une rétroaction significative à la personne évaluée et à fournir des données utiles à la communauté dans laquelle elle vit ». Dans la perspective de Tardif, c’est bien parce que l’évaluation tient compte des connaissances antérieures de l’apprenant et de celles qu’il a acquises au cours de la démarche d’apprentissage qu’il est possible de décrire « ses métamorphoses cognitives et métacognitives » (1993 : 28). 2.2.2. Notions clés en évaluation L’évaluation, à travers les différents modèles exposés ci-après, véhicule certaines notions qu’il convient d’expliciter afin d’alimenter notre réflexion sur l’évaluation en didactique de la traduction. Ces notions sont présentées par ordre alphabétique. 21 Auto-évaluation Par auto-évaluation, on entend une évaluation par l’apprenant de son propre travail. Pour Oddone (2006 : 2), « l’auto-évaluation constitue un moyen d’assurer une rationalisation continue des apprentissages ». Selon Cardinet (1988 : 187), cette pratique est même essentielle : Au lieu d’intérioriser plus ou moins inconsciemment l’appréciation globale que l’enseignant porte sur ses capacités, l’élève devient capable d’un jugement critique et différencié sur lui-même, et par contrecoup, sur son maître également. L’apprentissage de l’auto-évaluation est aussi plus qu’une technique accessoire d’évaluation. C’est le moyen essentiel dont on dispose pour faire passer la connaissance de l’élève d’un simple savoir-faire non réfléchi, permettant d’intervenir consciemment sur ce savoirfaire lui-même. Bloom (taxonomie de) Bloom, docimologue américain, est le principal théoricien de la pédagogie de la maîtrise. Il a mis au point en 1956 la première classification hiérarchisée des objectifs pédagogiques. Cette taxonomie du domaine cognitif, utilisée par nombre d’enseignants pour affiner leurs objectifs d’enseignement, compte six niveaux, chacun caractérisant des opérations de plus en plus complexes : 1. Connaissance : mémorisation et restitution d’une information dans les mêmes termes (p. ex. : réciter une table de multiplication) 2. Compréhension : restitution du sens des informations dans ses propres termes (p. ex. : reformuler une phrase) 3. Application : utilisation de règles pour résoudre un problème (p. ex. : calculer une densité à partir de chiffres de population et de superficie) 4. Analyse : identification des parties constituantes d’un tout pour en distinguer les caractéristiques (p. ex. : retrouver les villes citées dans un texte, puis les classer par continent) 5. Synthèse : réunion ou combinaison de parties pour former un tout, rédaction d’une œuvre personnelle (p. ex. : rédiger une synthèse de textes) 6. Évaluation : formation de jugements qualitatifs argumentés (p. ex. : porter un jugement sur la validité d’une théorie ou évaluer les travaux d’apprenants). 22 La classification de Bloom est traditionnellement présentée sous forme de pyramide (figure 2). Raynal et Rieunier (2012 : 113) précisent que « les deux premiers niveaux sont dits inférieurs car ils traitent d’opérations intellectuelles presque automatisées. Les quatre derniers niveaux sont dits supérieurs, parce qu’ils abordent des actes intellectuels complexes mettant en jeu toutes les opérations précédentes. » Pour ce qui est du niveau le plus élevé, celui de l’évaluation, ce terme est à considérer au sens large (« l’action d’évaluer, de déterminer la valeur ou l’importance d’une chose6 »), comme l’illustrent les exemples de la figure 2. Figure 2 – La taxonomie de Bloom (Demoulin, 2012 : 30) Compétence Legendre (2005 : 248) définit la compétence comme « l’aptitude à mettre en œuvre un ensemble organisé de savoirs, de savoir-faire et d’attitudes permettant d’accomplir un certain nombre de tâches ». D’après Raynal et Rieunier (2012 : 140), le concept de compétence trouve son origine scientifique chez les cognitivistes. 6 Source : Le Petit Robert 2015 en ligne 23 Critère Raynal et Rieunier (2012 : 162) définissent un critère comme un « élément auquel on se réfère pour porter une appréciation, un jugement ». Cette définition est proche du sens général fourni par Le Petit Robert 2015 en ligne : « caractère, signe qui permet de distinguer une chose, une notion, de porter sur un objet un jugement d’appréciation ». Bonniol et Vial (2009 : 256) y voient une « interface entre une réalité nécessairement contingente et toute en nuances et le jugement binaire nécessité par l’évaluation ». Ils apparaissent donc comme un rouage essentiel de toute évaluation et sont les « outils privilégiés » de celle-ci, selon les termes de Bonniol et Genthon (1989 : 107). Campanale (2001 : 3) définit également le critère comme « un faisceau d’indicateurs » et présente ceux-ci comme « la version ou conversion concrète d’un critère, un indice pris dans l’observable qui permet de dire si l’objet répond au critère ». Cette convergence de paramètres peut être illustrée par cet exemple fourni par Scallon (2000 : 221) : le critère de qualité de la calligraphie d’un travail pourra être jugé selon différents indicateurs, à savoir « l’inclinaison des lettres, les espaces entre les mots, la rectitude du texte écrit, la formation des majuscules, la différenciation des majuscules et des minuscules, etc. ». Campanale indique qu’un indicateur peut se rapporter à plusieurs critères (par exemple, dans un résumé de texte, la longueur constituera un indicateur du critère respect des consignes et de celui de concision) et il faut généralement croiser plusieurs indicateurs pour pouvoir se prononcer sur un critère. En paraphrasant Bonniol et Vial (2009 : 256), nous pouvons conclure que si le critère est l’interface entre la complexité du réel et la simplicité du jugement, l’indicateur fait quant à lui le lien entre la dimension abstraite du critère et la réalité concrète de l’objet évalué. Critères de réussite et critères de réalisation Bonniol et Genthon (1989 : 107) distinguent deux types de critères : les critères d’évaluation (qui sont désormais plus couramment appelés critères de réussite) et les critères de réalisation. Campanale (2001 : 23) définit les critères de réussite comme « des caractéristiques du produit attendu retenues pour l’estimer et l’apprécier en fonction d’un référent préétabli ». Ces critères, qui caractérisent donc un produit fini, sont ceux que l’on utilise lors d’une évaluation sommative. Selon Nunziati (1990 : 56), « [ces critères] 24 s’intéressent aux résultats des opérations et fixent le seuil d’acceptabilité » au regard des objectifs fixés. Les critères de réalisation vont en revanche « caractériser la phase de réalisation et pas seulement la réalisation » (Bonniol et Genthon, 1989 : 107). Ils servent aux apprenants à se guider dans le processus de réalisation des activités et à réguler leur action, et aux enseignants à repérer où se situent les erreurs des apprenants et à produire une rétroaction en cours d’apprentissage. Pour Martínez Melis (2001 : 134), ils permettent aussi « à l’enseignant de faire régulièrement des bilans pour ajuster son enseignement ». Bonniol et Genthon (1989 : 108-111) ont recensé quatre caractéristiques majeures des critères de réalisation. Il s’agit : - de la fonction d’évaluation qu’ils servent, soit l’aspect formatif; - de leur puissance, qui s’exprime en fonction du degré d’abstraction et de la complexité du critère. Plus un critère est abstrait et complexe, plus il est puissant, c’est-à-dire qu’il permet des ancrages multiples lorsqu’il est confronté aux différents référentiels des apprenants. En revanche, il doit être concrétisé pour être opérationnel7; - des objets qu’ils concernent, soit des processus, et non des états ou des produits; - des sujets qui les utilisent : selon les auteurs, un évaluateur externe « est le plus souvent polarisé sur les critères de réussite qui concernent le produit réalisé », alors que l’apprenant, qui est au cœur de l’action, est le plus intéressé par la maîtrise des critères de réalisation. Ces quatre dimensions doivent être combinées pour garantir aux critères leur statut de réalisation. En résumé, en didactique, il existe des critères par nature liés à l’évaluation sommative (les critères de réussite), et d’autres à l’évaluation formative (les critères de réalisation). Cependant, Bonniol et Genthon (1989 : 111)sont d’avis que la frontière entre les deux catégories n’est pas immuable, et un critère de réussite devient un critère de réalisation lorsqu’il répond à une combinaison des quatre paramètres exposés ci-dessus. 7 Par exemple, la sécurité est un critère puissant, abstrait et complexe, dont l’hygiène fait partie, mais sans la représenter complètement. La propreté, critère facilement mesurable en laboratoire, est une incarnation concrète de l’hygiène. On gagne en opérationnalité ce que l’on perd en significations potentielles. 25 Feed-back (ou rétroaction) Le feed-back (littéralement, « information en retour ») est un concept issu de la cybernétique; il constitue le véritable pivot de tout système régulé et occupe un rôle central dans la pédagogie de la maîtrise. Scallon (2000 : 42) y voit « l’un des éléments fondamentaux du processus de régulation ». Raynal et Rieunier (2012 : 227), pour qui il constitue « un élément indispensable au processus d’apprentissage ainsi qu’au processus de rétroaction », distinguent trois types de feed-back dans la communication pédagogique : 1. « Le feed-back de régulation externe », qui va du formé au formateur, qui permet à ce dernier de vérifier si ce qu’il a tenté d’enseigner a été bien compris, et de mettre en œuvre si nécessaire le feed-back d’information. 2. Le feed-back d’information, qui va du formateur au formé, et qui sert à informer ce dernier de la qualité de son apprentissage. Il peut prendre différentes formes : sociale (« excellent travail »), symbolique (« B+ »), critériée (« 90 % ») ou normative (« vous êtes 12e sur 30 »). 3. Le feed-back interne à l’apprenant, à la fois le moins connu et le plus essentiel, car il est celui que les deux autres contribuent à construire. Il constitue l’élément le plus important de la progression de l’apprenant, puisqu’il permet à l’apprenant de comparer les résultats qu’il obtient et l’objectif visé de manière à corriger son action. Le terme de rétroaction est couramment utilisé comme équivalent du concept de feed-back, tout en sachant que cette traduction est parfois contestée, par exemple par Le Moigne : Les tentatives de francisation de ce mot ne semblent pas encore satisfaisantes : rétroaction en particulier est impropre car le feed-back ne constitue pas en lui-même une action, il désigne une relation informationnelle rétro-mettante. (Le Moigne, cité par Martínez Melis, 2000 : 29) Objectif Raynal et Rieunier (2012 : 351) affirment qu’« après plus d’un demi-siècle d’utilisation des objectifs pédagogiques […] le concept est loin d’être clair pour la majorité des acteurs du système éducatif ». Pour leur part, ils le définissent comme un « énoncé d’intention décrivant le résultat concret attendu à la suite d’une action » et insistent sur l’importance du contexte et de la dynamique de l’action. Ces objectifs visent à améliorer l’efficacité de 26 l’action en permettant d’en corriger rapidement les dérives éventuelles. Les objectifs dépendent toujours d’une intention plus générale appelée finalité et se déclinent en objectifs généraux et spécifiques, comme l’illustre cet exemple utilisé par les auteurs (2012 : 351) : Finalité : prouver que les États-Unis sont le pays le plus puissant du monde Objectif général : envoyer un homme sur la Lune Objectifs spécifiques : - construire une fusée - construire un module lunaire - former les cosmonautes, etc. Objectifs de maîtrise et objectifs de transfert Les objectifs de maîtrise recouvrent des apprentissages fermés (par exemple, apprendre un poème ou une table de multiplication). Il s’agit d’apprendre des faits, des concepts ou des principes et de les appliquer dans le cadre même dans lequel ils ont été appris. D’après Raynal et Rieunier (2012 : 354), ils correspondent exclusivement aux deux premiers8 niveaux (connaissance et compréhension) de la taxonomie de Bloom. Ces objectifs correspondent donc à des apprentissages simples (faits, définitions, etc.) qui peuvent être facilement atteints et évalués. Quant aux objectifs de transfert, ils recouvrent des apprentissages plus ouverts que les objectifs de maîtrise et visent la mise en œuvre, dans des situations complexes, de connaissances acquises au niveau maîtrise. Les objectifs de transfert correspondent aux quatre niveaux supérieurs de la taxonomie. Pour valider l’atteinte des objectifs de transfert, l’enseignant élargit le cadre d’application des connaissances à de nouvelles situations inconnues de l’apprenant afin de vérifier si la compétence visée peut s’exercer sans rappel du contexte initial d’apprentissage. Pédagogie de la maîtrise Carrol (1963), l’initiateur de la pédagogie de la maîtrise, avance que plus de 90 % des élèves peuvent apprendre ce que l’école se propose de leur enseigner, à condition de leur 8 Au vu des éléments avancés par les auteurs, il nous semble cependant que le troisième niveau (application) de la taxonomie est également concerné. 27 laisser le temps nécessaire à leur apprentissage. Les idées de Carrol ont été reprises par Bloom, qui a mené des expérimentations dans lesquelles il a multiplié les évaluations formatives et les remédiations (voir infra). Les principes de la pédagogie de la maîtrise ont été résumés par De Ketele (1993 : 64): Préciser clairement les résultats attendus à la fin d’un cours ou d’une séquence d’apprentissage; préparer les étudiants pour qu’ils puissent entrer avec fruit dans la séquence d’apprentissage; enrichir l’apprentissage de rétroactions fréquentes et de démarches correctives; ne pas passer à l’apprentissage ultérieur si l’apprentissage actuel n’est pas suffisamment maîtrisé. L’accent est donc mis sur l’organisation de l’environnement pédagogique et sur l’évaluation formative, les principes clés étant la rétroaction et la remédiation. Allal (1988 : 125) considère qu’un aspect fondamental de la pédagogie de la maîtrise réside dans le « rôle systématique accordé aux procédés de feed-back et de régulation, ce qui explique sans doute les effets positifs [de cette pédagogie] ». Régulation D’après Raynal et Rieunier (2012 : 424), la régulation est « un processus qui permet à un système de se maintenir en état d’équilibre ». La régulation externe est le fait de l’enseignant, qui adapte le programme pédagogique aux réalités des apprentissages. La régulation interne, c’est-à-dire l’auto-régulation, est le fait de l’apprenant, qui adapte ses propres façons d’agir. L’évaluation formative constitue un « système de boucles de régulation » (Bonniol, 1986 : 125) des apprentissages. Vial (1997 : 1) distingue la régulation cybernétique (c’est la remédiation prévue qui est appliquée) et la régulation dans le modèle systémiste, qui s’ouvre sur de l’imprévisible. En cas de régulation complexe, qui combine les deux modèles précédents, Vial considère que cette boucle peut se transformer en spirale. Remédiation Selon Raynal et Rieunier (2012 : 426), la remédiation est « un dispositif qui consiste à fournir à l’apprenant de nouvelles activités d’apprentissage pour lui permettre de combler les lacunes diagnostiquées lors d’une évaluation formative ». Les activités de remédiation correspondent au processus de régulation rétroactive. Ce concept trouve son origine dans la pédagogie de maîtrise, où les objectifs de formation sont clairement définis et 28 opérationnalisés. Dans ce modèle, les situations de remédiation sont des moments clés de la formation, car ils sont l’occasion de replacer tous les apprenants au même niveau avant d’aborder de nouveaux apprentissages. Tâches Legendre (2005 : 1317) définit la tâche comme une « activité observable et mesurable qui, à l’intérieur d’une séquence temporelle, constitue une démarche logique nécessaire pour la réalisation d’un travail ou l’atteinte d’un but ». 2.2.3. Les modèles de l’évaluation Bonniol et Vial (2009) classent les modèles de l’évaluation selon trois paradigmes : l’évaluation comme mesure, axée sur les produits, l’évaluation-gestion, focalisée sur les procédures, et l’évaluation comme problématique du sens. Les deux premiers paradigmes rassemblent les modèles traditionnels, présentés ci-dessous, tandis que le troisième constitue un « système d’idées encore peu développé […] : les théories des systèmes complexes, de l’auto organisation et de la Pensée complexe » (Bonniol et Vial, 2009 : 347). 2.2.3.1. L’évaluation comme mesure L’évaluation comme mesure est le paradigme qui s’impose le plus souvent à l’esprit lorsqu’il est question d’évaluation. Pour Bonniol et Vial (2009 : 48), « c’est sans doute le sens le plus ancien, le plus solidement ancré dans les mentalités, dans l’idéologie. » Elle recouvre le modèle de l’explication causale, le modèle docimologique et celui de la métrie. 2.2.3.1.1. Le modèle de l’explication causale Dans ce modèle, le travail de l’évaluateur consiste à rechercher la cause des effets constatés. L’évaluation didactique est donc vue ici comme l’étude des effets d’une formation sur un apprenant. Les outils d’évaluation basés sur ce modèle sont des appareils de mesure et les statistiques tiennent lieu de méthodologie. Selon Morin (1971 : 24), ce sont pour des actions de formation du personnel d’encadrement en entreprise que ces outils sont 29 apparus dans les années cinquante, avant de s’étendre progressivement à la sphère éducative. Cardinet (1979 : 18) a quant à lui évoqué l’évaluation quantificatrice, ainsi appelée car « elle recueille en priorité des données chiffrées […]. L’accent est mis sur les résultats, qui doivent pouvoir se mesurer. » Bonniol et Vial (2009 : 53) indiquent que les détracteurs de ce modèle lui ont reproché sa conception mécaniste et son idéologie positiviste, c’est-à-dire l’affirmation que cette démarche était la seule voie légitime, mais surtout la tendance de ses tenants à faire de la seule causalité l’explication suffisante d’un phénomène d’apprentissage. 2.2.3.1.2. Le modèle docimologique La docimologie, qui désigne l’étude systématique des examens, repose sur « un principe non apparent de causalité » (Bonniol et Vial, 2009 : 57), puisque le correcteur de copies d’examens serait « agi » par un ensemble de facteurs. Si le discours de la docimologie était à l’origine surtout critique, car il remettait en question les modes de notation en mettant en évidence le manque de fidélité et de validité des examens, il est par la suite devenu constructif en proposant des méthodes et des techniques de mesure, dans un souci d’objectivité tant des épreuves que des outils d’évaluation. On distingue deux courants dans le modèle docimologique : la docinomie et la doxologie. a. La docinomie, forme prescriptive et expérimentale de la docimologie, vise à déterminer des règles d’évaluation qui respectent les critères de fidélité (en aboutissant au même résultat, quel que soit le nombre de corrections ou de correcteurs), de validité (en n’évaluant que ce qui a été enseigné) et de sensibilité (en utilisant des échelles de mesure harmonisées). Il existe en effet des « différences d’appréciation, qui tiennent au choix des compétences à évaluer, à l’estimation du seuil de suffisance, aux attentes induites par des informations extérieures sur les élèves, aux effets de contraste dus à l’ordre de succession des copies, etc. » (Bonniol et Vial, 2009 : 59-60). Ce sont précisément l’impossibilité d’établir des situations d’évaluation parfaites et de supprimer complètement les biais liés à la nature humaine de l’évaluateur qui ont valu à la docinomie l’accusation « d’obsession de la vérité docimologique » (Bonniol et Vial, 2009 : 61). 30 b. La doxologie s’intéresse à la psychologie de l’évaluation et à l’étude du fonctionnement et des comportements des évaluateurs et des évalués. L’accent est donc mis sur les dimensions sociales, fonctionnelles et organisationnelles de l’évaluation. La réflexion se déplace de la modélisation du fonctionnement de l’évaluateur vers l’étude de la nature et des fonctions des critères d’évaluation, qui constituent pour Bonniol (1981 : 180) l’élément central de ce courant : […] les élèves sont en mesure, lorsque les exercices possèdent des critères d’évaluation explicites, de répondre de façon plus adéquate aux comportements attendus, et […] la connaissance de ces critères leur permet aussi de mieux comprendre et par conséquent de mieux utiliser les évaluations qui sont effectuées. Bonniol estime que l’appropriation des critères par les apprenants devrait se traduire en fin d’apprentissage par une distribution des résultats selon une courbe en J. Cette irruption du normatif nous semble contradictoire et cette volonté d’appliquer des méthodes psychométriques fondées sur le classement des élèves les uns par rapport aux autres a été critiquée notamment par Cardinet (1987 : 136), pour qui « la logique d’un examen est différente : il s’agit de voir si un niveau de compétence, défini dans l’absolu, est atteint ou non. » 2.2.3.1.3. Le modèle de la métrie L’objectif de la métrie est de trouver des méthodes de fabrication des tests qui permettent de fournir des résultats fiables et généralisables. Deux mouvements de recherche se sont succédé : la psychométrie, l’étude des tests mesurant « l’intelligence et le rendement » (Bonniol et Vial, 2009 : 85) dont les travaux de Binet sont les précurseurs, et l’édumétrie, « l’étude des tests mesurant l’acquisition des programmes » (ibid.), qui s’intéresse davantage à l’utilisation des résultats des tests et à la difficulté de réaliser des mesures objectives. De Ketele (1986 : 248) affirme que « deux soucis majeurs animent [le] modèle [de la psychométrie] : améliorer la fidélité des mesures des performances […] et tenter de construire des épreuves valides en recourant à des techniques comme l’analyse factorielle », une méthode mathématique qui a pour objet l’étude des facteurs d’un domaine donné. Cardinet (1986) est d’avis que de nombreuses théories et techniques fondées sur la 31 psychométrie ont été développées au 20e siècle dans les domaines des aptitudes et de la mesure des acquisitions scolaires, et il considère que les outils psychométriques constituent de puissants moyens de détermination de ce que mesure réellement un ensemble d’épreuves. Le postulat que la valeur peut être systématiquement quantifiée a cependant fait l’objet de critiques, Ardoino (1993), cité par Bonniol et Vial (2009 : 90), parlant même d’une « idéologie du contrôle ». 2.2.3.2. L’évaluation comme gestion Alors qu’il existe dans l’évaluation comme mesure une volonté d’indépendance sans compromis de l’objectivité scientifique de la mesure par rapport aux pratiques réelles d’évaluation, l’objectif général de l’évaluation comme gestion est d’améliorer l’efficacité des processus dans un contexte de massification de l’éducation. Dans cette optique, « l’évaluation se doit d’apporter une "plus-value" dans la pratique sur laquelle elle se greffe » (Bonniol et Vial, 2009 : 106). La « vérité » de l’évaluation est donc relativisée au profit de l’efficacité et de l’amélioration du système. L’évaluation aborde ainsi des problématiques différentes et peut, comme le rappelle Martínez Melis (2001 : 22-23), avoir plusieurs fonctions : « sommative (évaluer pour le passage dans la classe supérieure ou l’obtention d’un diplôme), formative (évaluer les progrès pendant l’apprentissage) ou prédictive (évaluer en vue de prévoir) ». Ces problématiques peuvent être traitées sous l’angle du fonctionnement de l’apprenant ou de l’institution. L’évaluation comme gestion recouvre quatre grands modèles : la maîtrise par les objectifs, le modèle structuraliste, le modèle cybernétique et le modèle systémiste, chaque modèle présentant différents courants. 2.2.3.2.1. Le modèle de la maîtrise par les objectifs Bonniol et Vial (2009 : 110) expliquent que le modèle de la maîtrise par les objectifs, dont Tyler (1942) est à l’origine, repose sur une métaphore guerrière dans laquelle les maîtres mots sont cible, opérationnalisation et efficacité. Il s’agit d’une entreprise de rationalisation de l’acte éducatif dans le cadre d’une visée gestionnaire. De Ketele rappelle que pour Tyler, Évaluer consiste essentiellement à déterminer dans quelle mesure les objectifs du curriculum sont atteints. Ceci implique 1) l’énoncé des buts et des objectifs du curriculum, 2) la classification taxonomique des objectifs, 3) la définition d’objectifs comportementaux, 4) la construction d’outils d’évaluation valides et fiables. Ce 32 modèle est à l’origine du succès des taxonomies et de la pédagogie de maîtrise proposée par Bloom. (De Ketele, 1986 : 249) Ce modèle a donné lieu à trois courants : l’évaluation dans la pédagogie par objectifs, l’évaluation pour la réussite et l’évaluation par le contrat d’objectifs. a. Dans la pédagogie par objectifs, la recherche se focalise sur le libellé et la catégorisation des objectifs selon une taxonomie simple : on distingue les objectifs généraux, les objectifs intermédiaires et les objectifs spécifiques. La priorité est donnée au comportement observable, et ce qui n’est pas observable n’est pas évalué. Porcher (1977 : 111) indique que les notions d’évaluation et d’objectif sont d’ailleurs intrinsèquement liées : « aucun processus d’évaluation n’a de sens indépendamment des objectifs d’apprentissage visés; réciproquement, un objectif n’existe véritablement que s’il inclut, dans sa description même, ses modes d’évaluation ». Selon Bonniol et Vial (2009 : 117), la pratique de la pédagogie par les objectifs répond à une logique binaire et manichéenne : objectif atteint ou non, réponse juste ou fausse. b. Le courant de l’évaluation pour la réussite, prioritairement adressé à l’enseignant, s’est développé à partir du constat d’un échec scolaire grandissant chez les élèves. Dans un contexte de dramatisation sociale lié à la crise économique des années 1970, rénover le système éducatif et éviter l’échec grâce à l’évaluation formative sont devenus des credo. C’est dans ce cadre que s’est développée la pédagogie de maîtrise proposée par Bloom avec l’objectif d’évaluer pour mieux former. L’évaluation est placée au service de l’apprenant, qu’elle doit aider dans sa réflexion et son travail personnel tout en l’encourageant par la reconnaissance de ses acquis. c. Dans l’évaluation par le contrat d’objectifs, l’évalué est pour la première fois partie prenante de l’évaluation. On parle de « contrat » parce qu’il y a coopération et engagement mutuel entre formateurs et formés, et c’est la définition des objectifs d’apprentissage qui facilite la mise en place du contrat. Il apparaît indispensable, pour que la pédagogie de contrat ne reste pas qu’un simple concept, de décrire 33 précisément l’enjeu du contrat et les résultats à atteindre et qu’il existe un engagement écrit auquel se référer en cas de désaccord. Le fait que les objectifs de l’évaluateur et les modalités d’évaluation soient explicités et que l’apprenant les accepte équivaut à la signature d’un contrat9; il accepte d’être évalué et il s’engage à respecter les résultats de l’évaluation. L’enseignant, en retour, s’engage à n’évaluer que les sujets abordés lors des activités d’enseignement. Le modèle de la maîtrise par les objectifs a recours à l’évaluation continue. Cependant, Genthon (1993), cité par Bonniol et Vial (2009 : 131), considère que « même si l’évaluation est appelée continue, elle consiste en une succession de bilans [sommatifs] qui s’opèrent dans un temps découpé […]. L’évaluation se trouve ainsi détemporalisée, n’accompagne plus l’apprentissage. » 2.2.3.2.2. Le modèle structuraliste La structure constitue un ensemble « d’éléments tels qu’une modification quelconque de l’un d’eux entraîne une modification de tous les autres » (Lévi-Strauss, 1974 : 306). Le travail structuraliste consiste donc à mettre au jour ces ensembles d’éléments, car ils ne sont pas apparents. Identifier la fonction des structures évaluées permet de redéfinir la notion d’objectif. « L’idée est, somme toute, de voir la structure pour mieux fonctionner et, en ce sens, on est bien dans la gestion » (Bonniol et Vial, 2009 : 149). Martínez Melis (2001 : 25) établit un parallèle entre le schéma narratif tel qu’il apparaît dans l’analyse structurale des récits et l’idée de structure utilisée en évaluation. Le schéma narratif est une déduction du lecteur, qui fait un va-et-vient entre la structure et le texte produit selon cette structure. L’analyse structurale se fait de façon descendante, de l’élément le plus grand vers le plus petit, de la macrostructure vers la microstructure. Le modèle structuraliste en évaluation peut se classer en trois courants : la reproduction sociale, l’aide à la décision et la mise à jour des dispositifs d’évaluation. 9 L’article 162 du Règlements des études de l’Université Laval illustre précisément cette approche : « Dès la première activité du cours, l’enseignant fournit aux étudiants le plan de cours. Celui-ci devient alors un engagement réciproque entre l’enseignant et les étudiants. » 34 a. La reproduction sociale est un modèle de Bourdieu dans lequel l’école a pour fonction de reproduire certaines structures qui elles-mêmes reproduisent les inégalités sociales. Pour que soient favorisés les plus favorisés et défavorisés les plus défavorisés, il faut et il suffit que l’école ignore dans le contenu de l’enseignement transmis, dans les méthodes et les techniques de transmission et dans les critères de jugement, les inégalités culturelles entre les enfants des différentes classes sociales : autrement dit, en traitant tous les enseignés, si inégaux soient-ils en fait, comme égaux en droits et en devoirs, le système scolaire est conduit à donner en fait sa sanction aux inégalités initiales devant la culture. (Bourdieu 1966 : 336) Perrenoud (1979 : 39) avance que les élèves d’origines sociales différentes sont inégaux devant l’évaluation, car ils « disposent inégalement des stratégies requises pour esquiver une question, précipiter ou différer une interrogation orale ». Pour cet auteur, les pratiques évaluatives contribuent à la fonction de reproduction par la fabrication de l’excellence scolaire, et le travail de l’évaluateur, comme celui du sociologue, consiste à dévoiler les règles de ces structures de l’évaluation afin de limiter le risque d’inégalités. b. Le courant qui considère l’évaluation comme une aide à la décision s’inspire du modèle de Stufflebeam (1985), qui est centré sur la décision en situation et non sur les objectifs. Son objet est de dévoiler les structures éducatives. Pour Bonniol et Vial (2009 : 161), « l’évaluation est assimilée à la prise d’indices, à une analyse pour effectuer des choix ». L’objectif de l’évaluation n’est alors pas de prouver, mais d’améliorer grâce à des décisions adéquates, et l’évaluateur aide les décideurs de l’éducation à intervenir sur les structures pour les faire évoluer selon trois modalités issues du monde de l’entreprise : l’expertise, l’audit et la consultance. Dans les deux premiers cas, l’intervenant est extérieur et impose un référentiel. Dans le troisième, il joue le rôle de médiateur en faisant travailler les acteurs internes sur leur propre référentiel. Selon De Ketele (1993 : 68), Un des grands mérites du modèle de Stufflebeam est d’être un modèle global. Mais c’est aussi sa principale limite. Le modèle est essentiellement pensé en termes d’évaluation globale des formations et non en termes d’évaluation des agents en formation, comme le font les enseignants en classe [...]. Cependant, bien des composantes du modèle peuvent inspirer judicieusement l’évaluation qui se déroule dans le monde microscopique de la classe. 35 Selon ses détracteurs, cette conception répond à une logique industrielle et réduit l’évaluation à une fonction de contrôle social qui vise surtout à améliorer le système, et qui devient davantage une aide au décideur qu’une aide à la décision. c. Le courant de la mise à jour des dispositifs d’évaluation s’attache à l’étude de la structure des dispositifs pédagogiques, dont ceux de l’évaluation. Weisser (2010 : 292) définit un dispositif pédagogique « comme un ensemble de moyens mis en œuvre dans un but explicite, du moins dans l’esprit de son concepteur. C’est par lui que l’enseignant essaie de prévoir et de baliser le parcours de formation qu’il propose à ses apprenants ». Toute séquence pédagogique contient donc un ou plusieurs dispositifs. Vial (1991) cité par Bonniol et Vial (2009 : 206) avance que la notion de dispositif n’est pas une idée neuve : « Comme pour l’évaluation formative, le mot est venu après la chose ». La meilleure façon de favoriser la mise à jour des dispositifs d’évaluation est de mettre en circulation des dispositifs opérationnels en précisant des règles fonctionnelles compréhensibles, pour que les autres enseignants puissent les aménager et se les approprier. Pour Bonniol et Vial (2009 : 211), le modèle structuraliste en évaluation subit les mêmes critiques que le mouvement structuraliste en général : la structure est vue comme une mécanique fonctionnelle et il n’y a pas d’interrogation quant à son sens, qui est confondu avec sa fonction. L’individu s’efface au profit du système et de son efficacité. 2.2.3.2.3. Le modèle cybernétique La cybernétique est la science des phénomènes qui mettent en jeu des mécanismes de traitement de l’information. Elle est reliée au structuralisme, car elle constitue un mode d’étude de toute structure complexe organisée. Le terme cybernétique a été forgé à partir du grec kubernêsis, qui signifie, au sens propre, action de manœuvrer un vaisseau, et, au sens figuré, action de diriger, de gouverner. Desrosiers et coll. cités par Bonniol et Vial (2009 : 219) considèrent que « la cybernétique règne sur l’évaluation dite formative, dans le cadre de la pédagogie de la réussite sous-tendue par trois principes fondamentaux » : 36 - Avant de s’engager dans une activité d’apprentissage, l’apprenant doit savoir ce qui est attendu de lui. Il faut donc que les objectifs et les critères lui aient été clairement communiqués. - L’apprenant et l’enseignant doivent pouvoir évaluer l’atteinte des objectifs. Il faut donc recueillir de l’information sur la performance de l’élève et lui fournir une rétroaction. - L’apprenant doit dans la mesure du possible se voir offrir la possibilité d’atteindre les objectifs visés. L’enseignant doit donc prévoir, en cas d’échec, un scénario de régulation de l’apprentissage. On distingue deux courants dans le modèle cybernétique : les rétroactions systématiques et l’évaluation pour la remédiation. a. Les rétroactions systématiques : la rétroaction, concept de base de la cybernétique, est définie comme l’effet en retour d’une action ou d’un message sur la source de cette action ou de ce message, qui entraîne une réaction ou un réajustement. L’objet évalué est pensé comme un fonctionnement en boucle, dans lequel il faut atteindre un but prédéfini en réagissant aux aléas. L’activité de formation consiste à suivre un programme en s’arrêtant, soit pour observer ce qui a été réalisé, soit lorsqu’il y a une erreur ou quelque chose (une notion, un contenu) de non acquis. Lorsqu’un dysfonctionnement est détecté, une boucle de régulation est mise en place, c’est-à-dire qu’on revient sur la partie qui n’a pas été acquise. Il s’agit donc d’un système de formation fermé, auto-réglé, dans lequel la réussite est définie par l’acquisition des contenus prévus. Ainsi, la boucle de régulation « transforme en déviance toute apparition de l’imprévu » (Bonniol et Vial, 2009 : 227). Cette fermeture est dénoncée par Ardoino (1977 : 85), pour qui « ce qui s’écarte du projet primitif est traduit en terme d’erreur, de dysfonctionnement, de raté, alors qu’en fait, ce peut être l’apport de quelque chose de neuf ». b. Le courant de l’évaluation pour la remédiation s’intéresse aux dispositifs d’évaluation formative et introduit la notion de contrôle formatif, qui permet au 37 formateur de corriger les erreurs constatées. Tout contrôle formatif doit être suivi dans ce modèle d’une séance de remédiation, concept issu de la pédagogie de maîtrise. C’est avec le modèle cybernétique qu’est née la réflexion sur le statut de l’erreur, mais Bonniol et Vial (2009 : 231) signalent que dans le bouclage cybernétique, « la tendance à assimiler écart et erreur est facile, voire légitime ». Ils considèrent que « l’évaluationremédiation » mobilise les fantasmes de la rectitude sur le mode de la thérapie où l’erreur est signe de défaillance […et que] l’erreur est réduite à une analyse des symptômes pour une meilleure orientation vers le but à atteindre (2009 : 234-235). Cette situation place l’évaluateur en situation de pouvoir, puisqu’il « est le seul capable de prévoir, recueillir, interpréter, adapter […]. La rétroaction systématique, élevée au rang de valeur absolue, ne travaille que les procédures de fabrication et transforme tous ses buts en produits » (2009 : 233). 2.2.3.2.4. Le modèle systémiste Les systèmes qui s’inscrivent dans le modèle systémiste, qui prône une vision holistique, sont plus ouverts sur l’environnement que dans le modèle cybernétique. L’intérêt se porte sur les relations entre les acteurs de l’évaluation. Cette interrelation constitue une notion fondamentale du systémisme. Ce n’est donc plus la nature des éléments qui compte, mais les influences qu’exercent entre eux les acteurs de l’évaluation. Pour améliorer le fonctionnement du système, il faut améliorer les interrelations par le jeu des régulations et non pas changer la nature des éléments. Contrairement au modèle cybernétique, l’évaluation n’est plus centrée sur l’évaluateur. L’évalué lui-même peut améliorer ses procédures et parvenir à la réussite, le rôle du formateur étant de mettre en œuvre les conditions de cette réussite pour que l’autorégulation de l’apprenant puisse être efficace. L’auto-évaluation est donc privilégiée puisqu’elle permet aux apprenants « de manipuler les critères d’évaluation qui ne sont plus la propriété du maître [et] d’analyser des productions à l’aide de critères » (Genthon, 1984 : 42). 38 Le modèle systémiste compte trois courants : l’évaluation des tâches, l’évaluation formatrice et l’évaluation comme système de régulations. a. Dans le courant de l’évaluation des tâches, « le travail de l’évaluation consiste à construire des éléments référentiels pour les acteurs engagés dans la situation de production, afin qu’ils puissent s’entendre sur l’activité à conduire » (Bonniol et Vial, 2009 : 249). Les critères, qui incarnent ces éléments référentiels, constituent des outils privilégiés de l’évaluation des tâches. Ce sont soit des critères de réalisation, qui permettent d’expliciter la démarche de l’élève, soit des critères de réussite, qui permettent à l’élève de savoir s’il a bien réalisé son produit. Pour Vial (1987 : 16), la fonction des critères d’évaluation, au travers de l’auto-évaluation, est de favoriser l’appropriation des outils et des savoirs afférents. Cependant, certains voient dans l’évaluation des tâches un risque d’émiettement et de rationalisation excessive des apprentissages. Ainsi, Ropé (1990 : 99) relève que « les critères linguistiques d’évaluation ne sont pas sans soulever de problèmes car issus de la description scientifique de la langue ou du texte, ils sont en général très pointus et difficilement adaptables à l’objet-texte complet produit par l’élève ». b. Le principe de l’évaluation formatrice est de se centrer sur la tâche et de mettre l’évaluation au service d’abord d’une amélioration des produits, celle-ci étant observable et appréciable au regard de critères susceptibles d’être clairement définis. L’évaluation n’est plus séparée de la formation, car « l’évaluation formatrice est une démarche didactique » (Nunziati, 1990 : 49). L’évaluateur adopte le point de vue de l’apprenant, qui est associé au travail d’élaboration des critères. La régulation devient synonyme d’amélioration et visible dans l’autocorrection des erreurs, dont la disparition est révélatrice de l’appropriation des critères par l’apprenant. Dans ce système, les acteurs dialoguent et échangent des stratégies pour aider l’apprenant à investir un savoir dans la tâche d’apprentissage. Cependant, pour Hadji cité par Bonniol et Vial (2009 : 291), « la recherche de l’efficacité pédagogique fait pratiquement disparaître l’évaluation au sens propre, qui n’intervient plus que comme évaluation du produit fini […] La démarche de l’élève restant hors de portée, on se contente d’évaluer les résultats ». 39 c. Bonniol et Vial (2009 : 299) décrivent les régulations comme les éléments dynamiques qui ancrent l’évaluation dans la pratique. Plus qu’une dimension de l’évaluation, elles en sont le moteur. L’accent est mis sur les liens entre le produit, la procédure (ce qu’il faut faire) et le processus (la façon de faire). L’évaluateur adopte alors un rôle proche de celui d’un consultant qui vient aider l’apprenant à construire son propre référentiel. L’apprenant n’est plus considéré comme un objet à transformer et l’évaluateur est là pour l’aider à se réguler en alternant autoévaluation (sur le produit) et auto-questionnement (sur le sens). Les objectifs d’apprentissage sont définis en concertation, ce que Chevallard nomme « la négociation didactique » (1986 : 36). 2.2.4. Typologie de l’évaluation Le découpage séquentiel inhérent à la pédagogie de maîtrise a amené Bloom à distinguer trois types d’évaluation, dont la typologie a été résumée par Hadji (1997 : 16-17) :  l’évaluation pronostique ou prédictive, également souvent appelée diagnostique. Elle est utilisée en début d’apprentissage, avant l’action de formation, pour  permettre un ajustement entre les apprenants et les contenus d’apprentissage. l’évaluation formative, qui se situe au cœur des apprentissages. Elle vise à estimer les progrès des apprenants et à réguler le processus éducatif en intervenant auprès  des apprenants pour rectifier les modalités de l’action de formation en cours. l’évaluation sommative, qui permet de vérifier les acquis. Elle se situe après l’action de formation et est à visée certificative, qu’il y ait délivrance d’un diplôme ou non. Selon Scallon (2000 : 18), le terme sommative, emprunté à l’anglais, pose des problèmes d’ordre conceptuel liés à la connotation du terme, et il préconise l’utilisation du syntagme évaluation certificative, dont l’origine est attribuée à Weiss (1977), et dont l’usage se développe en Europe10. La séparation chronologique qui ressort de cette typologie n’est cependant pas totale, comme le montre la figure 3 tirée de Scallon (2000 : 17). 10 Une recherche faite sur Google le 20 mars 2012 corrobore cette affirmation : évaluation sommative apparaît respectivement 82 400 et 51 300 fois sur les sites .fr et .ca, contre 23 500 et 1 250 pour évaluation certificative. Ce dernier terme est donc comparativement beaucoup plus employé en France qu’au Canada. 40 Figure 3 – Application de la typologie de Bloom et coll. (1971) à la visualisation des interventions réalisées pendant une année scolaire. En effet, Scallon (2000 : 17) estime que la pratique d’une évaluation sommative exclusivement terminale a laissé progressivement la place à une pratique continue, où sont totalisés les résultats d’étape obtenus au cours d’une période de formation (la session universitaire, dans notre contexte). De même, selon Hadji, il semble logique que l’évaluation conserve (ou doive conserver) en continu un aspect diagnostique qui permette d’ajuster au fil de l’eau l’enseignement à l’apprentissage et aux différents profils d’apprenants. L’évaluation sommative, dont la pratique remonte aux Jésuites – elle correspond aussi au courant béhavioriste –, reste encore majoritairement dominante. La note chiffrée en est l’incarnation. Le concept d’évaluation formative est quant à lui beaucoup plus récent. Cette appellation a été utilisée pour la première fois par Scriven (1967) et transposée dans le domaine de l’apprentissage par Bloom, Madaus et Hastings (1971), qui ont défini trois fonctions11 principales de l’évaluation : 1. prévenir les difficultés d’apprentissage 2. réguler les apprentissages 3. attester ou permettre la reconnaissance sociale des acquis. 11 Comme le montre cette définition et comme le souligne Barthélémy-Descamps (1990 : 5), ces fonctions font appel tant à l’aspect formatif qu’à l’aspect sommatif de l’évaluation, qui sont complémentaires dans l’esprit des auteurs. 41 Scallon (2000 : 21) propose de l’évaluation formative la définition suivante : Processus d’évaluation continue ayant pour objectif d’assurer la progression des individus engagés dans une démarche d’apprentissage ou de formation, selon deux voies possibles : soit par des modifications de la situation ou du contexte pédagogique, soit en offrant à chaque individu l’aide dont il a besoin pour progresser. La notion de régulation, qui pour Scallon relève spécifiquement de l’évaluation formative, est au cœur de ce processus. Cette régulation peut être faite par l’enseignant ou par l’apprenant, en fonction du degré d’autonomie de ce dernier et du modèle d’évaluation suivi. Scallon associe à cette démarche l’approche par objectifs pédagogiques, qui permettent de bien cerner le contexte d’enseignement et d’évaluer la progression de l’apprenant. Que l’évaluation soit formative ou sommative, l’interprétation des résultats peut être normative ou critériée : cette interprétation est dite normative lorsque les résultats d’un apprenant sont mesurés en comparaison de ceux des autres apprenants du groupe auquel il appartient ou d’une population plus vaste, et elle est critériée lorsqu’elle repose sur la comparaison entre le degré d’atteinte anticipé et le degré d’atteinte réel d’un objectif par un apprenant, indépendamment des résultats de ses pairs. D’après Scallon (1998 : 43), dans un contexte d’évaluation formative, l’approche normative n’est pas adaptée à la régulation des apprentissages, car « la compétence de l’élève ou les symptômes de ses difficultés sont tout simplement masqués par le calibre du groupe de référence ». C’est donc l’interprétation critériée qui est utilisée dans la pratique de l’évaluation formative. Cependant, il existe des effets motivationnels reconnus à se comparer à l’autre. 2.2.5. Les étapes du processus d’évaluation Le processus d’évaluation comprend les étapes suivantes : - La formulation des objectifs : Tyler, cité par De Ketele (1986 : 249) considère qu’évaluer « consiste essentiellement à déterminer dans quelle mesure les objectifs du curriculum sont atteints », en énonçant les buts de ce dernier, en les classant et en construisant les outils d’évaluation afférents. - La définition des tâches : il s’agit d’une autre étape cruciale, à laquelle Martínez Melis (2001 : 223) a consacré sa thèse de doctorat dans le domaine spécifique de la traduction. Elle établit une distinction entre les tâches d’apprentissage (les activités 42 réalisées par l’apprenant) et les tâches de contrôle, qui permettent la vérification de l’acquisition des connaissances et des procédures. Cependant, ce qui en fait les différencie, c’est l’usage qu’on en fait, car il n’y a pas de différence entre les tâches d’apprentissage et les tâches d’évaluation. Non seulement il n’y en a pas, mais il ne doit pas y en avoir, car les tâches d’évaluation doivent correspondre aux genres de tâches qui ont été utilisées pour l’apprentissage pour qu’il y ait un lien, une continuité avec l’apprentissage. (Martínez Melis, 2001 : 223) Cette position nous semble devoir être nuancée, car les tâches d’évaluation sont accompagnées d’un stress que l’on ne peut pas toujours retrouver dans les tâches d’enseignement. - La définition des critères : Les critères vont servir à évaluer les tâches, tant dans leur déroulement (critères de réalisation) que sur le produit obtenu (critères de réussite). Selon Veslin et Veslin (1992 : 72), « la liste des procédures à mettre en œuvre pour réaliser une tâche, assortie des conditions de leur réussite, et la liste des critères d’évaluation de cette tâche sont une seule et même chose ». Pour définir les critères, Veslin et Veslin proposent plusieurs méthodes, combinables entre elles, dont celles-ci : - partir des erreurs des apprenants : il faut alors les catégoriser et transformer chaque type d’erreur en critère. Celui-ci apparaît donc comme « l’envers en positif du type d’erreur » (1992 : 78). Il est également possible de déduire le critère à partir d’une réussite de l’apprenant; - partir de l’énoncé de la tâche : il faut alors repérer les procédures exigées par la tâche, qui correspondent aux critères;  utiliser des macro-critères, c’est-à-dire des critères récurrents d’une tâche à l’autre. La définition des indicateurs : comme nous l’avons vu précédemment, l’indicateur représente une manifestation observable et donc mesurable du critère. L’évaluateur attribue le statut d’indicateur à la présence ou à l’absence d’un critère donné. Ainsi, la première méthode d’élaboration des critères proposée ci-dessus par Veslin et Veslin – partir des erreurs des apprenants pour définir les critères – va d’abord fournir des indicateurs (généralement négatifs : « absence de source pour une 43 donnée statistique », par exemple), qui seront retranscrits en positif et généralisés pour répondre à la caractéristique d’abstraction du critère (dans notre exemple : « indiquer les sources d’information »). Mas (1989 : 17) indique que les indicateurs peuvent également être définis par les apprenants au cours d’une « construction progressive et interactive ». 2.2.6. Évaluation formative contre certificative : une dichotomie à transcender Si le recoupement temporel des différents types d’évaluation évoqué précédemment apparaît comme un fait reconnu, et si la complémentarité entre les composantes diagnostique et formative de l’évaluation est aussi évoquée par Scallon (1988 : 75), celui-ci considère en revanche que « les fonctions [formative et certificative] de l’évaluation doivent être tenues à distance l’une de l’autre » (2000 : 264) sous peine d’un possible risque de « contamination » (1988 : 77) déjà évoqué par Noizet et Caverni (1978 : 17). Cette contamination se définirait comme la subordination du formatif au certificatif, ce qui détournerait l’évaluation formative de sa fonction initiale. Dans le domaine de la traduction, Lee-Jahnke (2001 : 259) recommande elle aussi de faire « nettement la distinction » entre les aspects formatif et certificatif de l’évaluation. Cependant, à partir du moment où une démarche d’apprentissage et d’enseignement est axée sur les principes de l’évaluation formative, au nom de quels principes faudrait-il strictement cloisonner le processus d’évaluation en deux volets exclusifs l’un de l’autre? Quand ils sont explicités, les risques de dérive dénoncés par les auteurs cités concernent toujours l’asservissement du formatif au certificatif, et l’anathème lancé n’est jamais étayé de façon claire. Par exemple, Scallon (1988 : 81) affirme que « le jugement ou l’état de satisfaction ou d’insatisfaction qui caractérisent l’acte d’évaluation formative ne peuvent […] logiquement être consignés dans un rapport écrit » et que « l’évaluation formative au service d’un bilan [relève d’] un contresens ». Cependant, il n’envisage à aucun moment sous un autre angle la relation entre les deux types d’évaluation. Barthélémy-Descamps (1990 : 5) rappelle que « la diffusion de ces deux concepts s’est très vite accompagnée d’une opposition en termes de valeurs entre ces deux formes d’évaluation […]. On a donc dit que l’évaluation certificative était la mauvaise évaluation. L’évaluation formative, au 44 contraire, avait toutes les faveurs ». Nous partageons donc son idée de « dichotomie manichéenne », ainsi que celle du rapport 2008 du CERI (2008 : 3), où il est dit que « rien dans l’évaluation sommative ne s’oppose intrinsèquement à l’emploi de méthodes formatives. Le fait est que les résultats sommatifs peuvent servir des fins formatives ». Hadji (1997 : 17) est également d’avis que « toute évaluation, même au cœur de l’action, a une dimension sommative. On fait bien toujours le bilan des acquis des élèves ». Martínez Melis (2001 : 216) ajoute que si nous souhaitons résolument aller de l’avant en évaluation, il nous faut dépasser la dichotomie formative/sommative car à y bien regarder, tout acte, toute activité pédagogique, non seulement peuvent être formateurs pour l’apprenant et pour l’enseignant, mais sont aussi soumis à l’évaluation de mesure, de jugement, qu’elle soit explicite ou implicite. En l’absence d’arguments convaincants des détracteurs de cette pratique, nous sommes donc d’avis que mettre à profit les travaux donnant lieu à une évaluation sommative pour apporter une rétroaction à visée formative constitue une voie qui ne peut que profiter aux apprenants. Nous gardons à l’esprit l’observation de Hadji (1997 : 17) selon laquelle « c’est l’intention dominante de l’évaluateur qui rend l’évaluation formative ». 2.2.7. Les théories de l’évaluation : conclusions Landelle (1987 : 59) rappelle qu’« il y a toujours eu une forte propension, chez les chercheurs en sciences de l’éducation, à utiliser les outils statistiques pour tenter d’atteindre le niveau de formalisation des "sciences exactes" ». Les modèles de l’explication causale, de la docimologie et de la métrie, qui s’inscrivent dans le paradigme de l’évaluation comme mesure, visent ainsi à fournir à l’évaluateur des outils fiables qui lui permettront de mesurer le plus précisément possible les performances des apprenants. Tantôt gardien d’un fantasme de l’objectivité, tantôt prisonnier de modalités d’évaluation et de critères qui le poussent à réprimer son intuition au profit d’une technicité toujours plus poussée, l’évaluateur campe dans une position de vérificateur, de contrôleur externe du processus d’évaluation. Bonniol et Vial (2009 : 95) voient s’établir une « confusion entre évaluer et mesurer. L’évaluation [comme mesure] ne serait qu’une méthodologie de la mesure ». Cependant, si un excès de technicité et une approche trop mécaniste ont éloigné la recherche théorique de la réalité de 45 la salle de classe, les apports techniques de l’évaluation comme mesure restent indéniables et il ne s’agit pas de la frapper d’ostracisme. Pour Bonniol et Vial (2009 : 340), le paradigme de l’évaluation comme gestion, d’abord lui aussi caractérisé par le contrôle externe et « empreint de l’idéologie de l’objectivité », a évolué vers un partage du pouvoir et du contrôle entre évaluateur et évalué. L’enseignant doit apprendre à l’apprenant à contrôler lui-même ses apprentissages grâce à l’autoévaluation, même si ce souhait de partage peut paraître antinomique au regard de l’exigence d’efficacité du modèle gestionnaire, auquel sont nécessairement liées des pratiques contraignantes et dont Bonniol et Vial (2009 : 341) affirment qu’« on voit mal comment on pourrait s’en passer […]. Assumer la gestion sans devenir gestionnaire ? Est-ce raisonnable ? Cela semble être le défi que devra relever le modèle suivant ». L’existence de ces contraintes de fonctionnement, dont les effets se font de plus en plus présents dans les universités québécoises12, doit être prise en compte dans toute réflexion sur l’évaluation didactique, ce qui exclut d’emblée d’envisager tout dogme évaluatif, en référence aux « dogmes pédagogiques » dénoncés par Legendre (2004 : 371). Ainsi, comme c’était le cas pour les théories de l’enseignement et de l’apprentissage (voir page 19), nous prônons également une approche pragmatique pour l’élaboration et la mise en œuvre de toute méthode d’évaluation didactique en enseignement de la traduction. Le gouvernement du Québec a annoncé en octobre 2014 une réduction de 10 % de l’enveloppe budgétaire allouée aux universités. 12 46 Chapitre II : cadre théorique de l’évaluation en traduction 1. L’évaluation en didactique de la traduction : un domaine encore peu exploré Le sujet de l’évaluation de la qualité des traductions dans un contexte professionnel a été abordé par plusieurs auteurs (Delisle, 1980 et 2001; Gouadec, 1981; House, 2001; Larose, 1989 et 1998) à partir des années 1980. Le domaine de l’évaluation des traductions de textes littéraires a également été abondamment commenté (House, 1977 et 1979; Mossop, 1989; Fan, 1989; Hatim et Mason, 1990; Newmark, 1991; Munday, 2012). En revanche, rares sont les chercheurs qui se sont intéressés aux procédures d’évaluation des travaux des étudiants en traduction de textes pragmatiques. Ainsi, même si les travaux de House (1977) partent d’un point de vue pédagogique, le corpus sur lequel elle se fonde est exclusivement littéraire. Selon Bowker, « the area of translation evaluation has been somewhat underresearched » (2000 : 183). Martínez Melis (2001 : 101-102) et Collombat (2009 : 38) relèvent également qu’il n’existe encore que relativement peu de travaux consacrés à l’évaluation en didactique de la traduction, et chaque école de traduction, voire chaque enseignant, adopte son propre système d’évaluation. Waddington (2000) a établi qu’il n’existait que de très rares travaux (trois pour être précis) qui comportaient une étude, et seulement empirique, de l’évaluation en traduction. Plusieurs traductologues se sont cependant penchés sur cette composante cruciale de la formation des futurs traducteurs, que ce soit pour rapporter des observations ou exposer leur propre méthode. Les thèmes abordés concernent principalement la méthodologie d’évaluation, l’importance des critères, le statut de l’erreur et la question de l’objectivité. Après avoir affiné les contours des définitions de l’évaluation en traduction, nous passerons en revue ces quatre thèmes et présenterons les méthodes d’évaluation proposées par Nord, Gile, Gouadec, Kelly et Collombat, qui comptent parmi les plus complètes au sein de la traductologie. 2. Les conceptions de l’évaluation en traduction Les principales approches théoriques proposées en traductologie ne sont pas toujours fondées sur une distinction par genre (littéraire, professionnel ou didactique), mais reflètent 47 plutôt des conceptions spécifiques de la traduction. Comme le rappelle Collombat, « la situation d’évaluation est […] étroitement liée à l’approche théorique choisie par l’enseignant » (2009 : 41). Toute évaluation en traduction, qu’elle ait ou non une visée didactique, renvoie donc à une conception de ce qu’est la traduction. Nous présenterons donc ici de façon synthétique différentes conceptions de l’évaluation en traduction, à l’exception de celles qui sont explicitement consacrées aux textes poétiques, littéraires ou sacrés, comme les approches descriptive (Toury, 1980 et 1995) ou déconstructionniste (Venuti, 1995), ou au contexte professionnel (Larose, 1998). Guidère (2010 : 100) distingue deux grandes approches historiques de l’évaluation de la qualité d’une traduction : l’approche sourcière, « fondée sur le critère de fidélité à l’auteur et de respect du texte », et l’approche cibliste, qui « part du principe qu’une bonne traduction est une traduction acceptable par le public cible ». De nouvelles approches traductologiques, que Guidère considère comme plus nuancées et moins subjectives, sont apparues au cours de la seconde moitié du 20e siècle. 2.1. La conception herméneutique D’après House (2001), la conception herméneutique de l’évaluation, basée sur l’intuition et la subjectivité, est aussi ancienne que l’acte de traduire lui-même. Ses tenants considèrent la traduction comme un acte individuel de création qui dépend exclusivement de la sensibilité du traducteur et de l’interprétation qu’il fait du texte source. Ses détracteurs, dont House (2001 : 244), lui reprochent son absence d’arguments et son caractère nécessairement relatif, puisque cette approche se traduit par des jugements généraux tels que « the translation does justice to the original » ou « the tone of the original is lost in the translation ». Cette approche est également dénoncée par Delisle (2001 : 210). 2.2. L’approche béhavioriste L’approche béhavioriste, qui trouve sa source dans les branches américaines du structuralisme et du béhaviorisme, a été popularisée en traduction par Nida (1964), qui voyait dans la réaction du lecteur le principal critère d’évaluation de la qualité d’une 48 traduction, l’objectif étant que le texte cible produise le même effet que le texte source. Ce principe d’équivalence dynamique assure qu’une traduction réponde aux critères de transmission de l’information et d’intelligibilité. Cependant, la question de la mesurabilité de la réaction du lecteur se pose d’emblée, et donc celle de la validité de cette approche dans une optique d’évaluation d’une traduction : « If these phenomena cannot be measured, it is useless to postulate them as criteria for translation evaluation. » (House, 2001 : 244). 2.3. L’approche fonctionnaliste Comme l’approche béhavioriste, la fonctionnaliste est fondée sur la réaction du lecteur. Elle repose sur la théorie du skopos formulée par Reiß et Vermeer (1984), qui postule que l’objectif du texte d’arrivée et de l’action traduisante constitue le critère clé d’évaluation d’une traduction. C’est donc sur sa capacité à remplir la fonction qui lui a été assignée dans la langue et la culture cibles que la qualité d’une traduction pourra être évaluée. KupschLosereit (1985 : 170) considère également l’évaluation en traduction dans cette perspective : A meaningful assessment of any translation must accordingly be based on the analysis and comparison of an ST and a TT, both of which should constitute the realization of a specific equivalent text function in a communication situation (for instance, cultural norms, stereotypes, geographical, historical and institutional aspects). Dans cette approche, la définition de l’erreur de traduction ne peut être basée sur la description d’un système linguistique, d’où la nécessité d’apprécier la précision linguistique du point de vue de son adéquation fonctionnelle. La relation entre les formes linguistiques et leur application spécifique implique une sélection et une mise en forme des signes dans le texte d’origine. Cette relation entre la fonction de communication, la construction thématique, la cohérence textuelle et la structure linguistique du texte sont spécifiques de la langue et de la culture d’arrivée. Par exemple, en publicité, l’anglais et l’allemand utiliseront l’impératif, tandis qu’en français, ce sera plutôt l’infinitif ou une autre forme verbale. Kupsch-Losereit définit l’erreur de traduction comme une faute commise au regard des éléments suivants : la fonction de la traduction, la cohérence du texte, le type de texte, les conventions linguistiques, les conventions culturelles et le contexte de la situation, et le système linguistique (1985 :172). L’auteure insiste sur la nécessité de ne pas considérer les erreurs seulement au niveau grammatical ou lexical, mais aussi à des niveaux textuels plus 49 élevés pour pouvoir appréhender jusqu’à quel point la traduction a été ajustée aux facteurs pragmatiques qui doivent la conditionner (par exemple l’objectif du texte source et les attentes du destinataire conditionné par un contexte culturel et social différent). Elle définit donc les critères suivants pour évaluer les erreurs de traduction : - la traduction doit satisfaire aux besoins fonctionnels; - la traduction doit être cohérente avec le texte d’origine. Le contenu du texte cible doit être cohérent et respecter les formes d’expressions qui sont indépendantes de la situation et celles qui en dépendent; - la traduction doit respecter les conventions spécifiques de la culture d’arrivée; - la traduction doit respecter le système linguistique de la langue d’arrivée. Kupsch-Losereit exprime par ailleurs des réserves quant à la capacité de l’évaluateur à juger de la réaction du lecteur : « To measure the degree to which the translation misleads the recipient, the latter’s understanding would have to be tested » (1985 : 178). 2.3.1. La contribution de Nord Nord base également sa méthode d’évaluation de la traduction (1991, 2005) sur une conception fonctionnaliste de la traduction, mais elle y introduit certaines modifications. Alors que Reiß et Vermeer (1984) soutiennent que c’est le traducteur qui doit déterminer l’objectif de la traduction, Nord (2005 : 9) est d’avis qu’il appartient au client, le destinataire de la traduction, de le faire. Nord décrit cette variante de la théorie comme un compromis entre les concepts traditionnels de l’équivalence et du fonctionnalisme. Selon elle, l’approche fonctionnaliste traditionnelle ne tient pas suffisamment compte de l’auteur du texte d’origine et de son intérêt légitime à ce qu’il n’y ait pas de distorsion de l’objet communicatif du texte original, même si la traduction est prévue pour un public différent. Même si la fonction représente le critère le plus important pour une traduction, ce n’est pas le seul, et il doit aussi exister une relation entre le texte source et le texte cible. La qualité et la quantité de cette relation dépendent du skopos, mais Nord affirme qu’il doit y avoir compatibilité entre le projet de traduction et l’intention du texte d’origine. Pour résumer sa position, elle établit deux principes fondamentaux, la fonctionnalité et la loyauté : la fonctionnalité (critère technique) est le degré auquel une traduction atteint l’objectif fixé, et la loyauté est un critère éthique (2005 : 32), dans lequel doivent être pris en compte les 50 intérêts des trois participants au processus de communication (l’auteur, le client et le lecteur). Les intérêts de ces trois parties pouvant entrer en conflit, c’est au traducteur qu’il revient d’établir une médiation. Pour définir la fonction du texte d’origine et celle du texte d’arrivée, Nord (1991, 2005) a élaboré un modèle d’analyse textuelle qui prend en compte huit facteurs intratextuels (notamment le thème et le contenu du texte, ainsi que sa structure et sa composition), huit facteurs extratextuels (notamment l’identité du donneur d’ordre et du destinataire, le lieu, le moment et le motif de la communication) et l’effet du texte sur le destinataire. Cette dernière catégorie fait référence à la relation entre le texte et ses destinataires. Il s’agit des faits que tous les facteurs d’un texte, intra ou extratextuels, ont sur le lecteur et qui sont le résultat de tout le processus de communication (2005 : 143). Cet effet est conditionné non seulement par tous les autres facteurs, mais aussi par les possibles combinaisons entre eux. Selon Nord, ce modèle peut être utilisé pour décrire les tâches de traduction à l’aide d’un cadre (2005 : 160) qui comporte trois colonnes (analyse du texte de départ, problèmes de traduction et profil textuel du texte d’arrivée) et 17 lignes qui représentent les facteurs précédemment cités. L’enseignant remplit les colonnes qui correspondent aux textes de départ et d’arrivée, puis, en comparant systématiquement les deux colonnes, il peut définir les problèmes de traduction et les stratégies nécessaires à leur résolution. Un examen détaillé de tous les facteurs n’est pas nécessaire, puisque les instructions du projet de traduction encadrent et limitent l’analyse. Nord ajoute que pour définir la tâche de traduction avec précision, une description détaillée du skopos est nécessaire. Ces instructions devraient être très semblables à celles qui sont données à des traducteurs professionnels. 2.3.2. La critique de l’approche fonctionnaliste Comme pour l’approche béhavioriste, l’absence de définition claire et d’opérationnalisation de notions clés, celle de fonction en l’occurrence, ne permettent pas, selon House (2001 : 245), de considérer l’approche fonctionnaliste comme « an adequate theory when it comes to tackling the evaluation of a translation ». Waddington (2000 : 197) relève également deux problèmes inhérents à la démarche proposée par Nord. 51 Tout d’abord, il considère qu’elle attache tellement d’importance à la fonction de la traduction qu’elle n’accorde plus une valeur suffisante à la fonction du texte d’origine. Si Nord souhaite prendre en compte l’importance du texte d’origine grâce à son concept de loyauté, la priorité est cependant clairement donnée à la fonction, même si elle déclare que « in our culture, translation requires not only functionality of the target text but also loyalty towards the ST sender and his intention » (1991 : 72). De cette situation naît un conflit entre deux conceptions de Nord, à savoir d’une part son approche fonctionnaliste, qui tend à effacer le texte d’origine, et d’autre part sa vision de la traduction comme faisant partie d’un processus de communication, qui l’oblige à le restituer. Pour la défense de Nord, Waddington précise que cette tension entre la fonction de la traduction et la fonction du texte source n’est pas exclusive à l’approche fonctionnaliste, mais bien une caractéristique inhérente au processus de traduction vu dans une perspective de communication. Le second problème identifié par Waddington (2001 : 170) réside dans la simplicité trompeuse qu’il constate dans la définition que Nord fournit de l’erreur de traduction : Translation errors show up against the overriding criterion of translation skopos and are linked to the factors listed in the analytical model. This is why the definition of translation skopos is so important for each individual task. […] A translation error, then, is a failure to carry out any one of the translating instructions Pour Waddington (2001 : 198), cette définition laisse à croire que le skopos de n’importe quelle traduction est tellement clair et détaillé qu’il peut permettre de résoudre tous les problèmes. Dans la définition de Nord, ce qui détermine la nature du skopos, c’est le projet de traduction, c’est-à-dire les instructions que le donneur d’ordre fournit au traducteur. Cependant, Waddington considère que l’équation ‘skopos égale projet’ ne suffit pas, puisqu’aucun projet, aussi explicite soit-il, ne peut répondre à toutes les questions que le traducteur se pose au sujet de l’objectif qu’il souhaite atteindre en traduisant. D’ailleurs, Nord reconnaît que souvent, l’intention du donneur d’ordre n’est pas explicitée aux traducteurs et que celui-ci doit faire des recherches (1991: 47-51). Dans ces cas, Nord recommande que le traducteur fasse appel à des détails extralinguistiques, mais dans la majorité des cas, la meilleure source d’information reste l’auteur du texte d’origine. Comme l’intention du donneur d’ordre constitue le facteur le plus important dans la détermination du skopos, dans de nombreux cas, la formulation de celui-ci dépend en grande partie du traducteur. C’est pourquoi la liste des facteurs de Nord comporte des 52 questions que le traducteur doit se poser pour pouvoir déterminer l’importance d’un facteur donné dans la traduction, et il est donc évident que la traduction consiste en bien plus qu’un simple suivi des instructions du skopos. Selon Waddington (2000 : 199), il s’agit là d’un travail très actif où l’imagination et l’intuition jouent un rôle essentiel. C’est pourquoi il considère que le skopos, loin d’être la panacée, n’est en fait qu’un mirage : il est évident que si un traducteur connaît la fonction d’une traduction, il doit faire tout son possible pour la respecter. Il en résulte que dans beaucoup de cas, c’est le traducteur qui doit formuler le skopos selon son appréciation des multiples facteurs pragmatiques qui régissent l’acte de communication. Ainsi, selon Waddington, « el argumento functionalista tiene una circularidad peligrosa13 » (2000 : 199). Cette approche reste cependant défendue par plusieurs chercheurs, dont Adab, qui est d’avis que « pour ce qui est de l’évaluation de la traduction dans un cours universitaire, le succès d’une traduction devra être mesuré au degré d’adéquation à la fonction du texte, au respect de sa finalité » (1998 : 130). 2.4. Les approches linguistiques Développées notamment par Baker (1992), Hatim et Mason (1997) et House (1981 et 1997), les approches linguistiques ont introduit en traductologie des notions de linguistique, de sociolinguistique et de stylistique, et ont permis la prise en compte des liens qui existent entre texte et contexte. 2.4.1. La contribution de House Le modèle d’évaluation de la qualité de la traduction proposé par House est basé sur le concept d’équivalence fonctionnelle, que reflète sa définition de la traduction : « translation is the replacement of a text in the source language by a semantically and pragmatically equivalent text in the target language » (1981 : 30). Pour House, la fonction globale d’un texte correspond à son application ou à son utilisation dans le contexte d’une situation donnée (1981 : 37) et peut être définie au regard de deux macro-fonctions du texte, dont la terminologie est empruntée à Halliday (1974 : 66) : la fonction idéationnelle et la fonction interpersonnelle. Pour analyser le contexte du texte, House propose huit catégories de 13 « l’argument fonctionnaliste tourne dangereusement en rond » (notre traduction). 53 dimensions situationnelles et trois aspects textuels fondamentaux. Cette analyse linguistique lui permet de définir les critères de base d’une équivalence fonctionnelle : le texte cible ne doit pas seulement être équivalent au texte source en termes de fonctions, il doit aussi utiliser les mêmes moyens situationnels et dimensionnels pour arriver à cette fonction. Cette analyse fournit un profil textuel (textual profile) qui constitue la norme qui permettra d’évaluer la qualité du texte d’arrivée, et qui peut être soit une traduction explicite (overt translation), soit une traduction implicite (covert translation), selon une distinction qui remonte à Schleiermacher. Dans cette approche, l’erreur de traduction, que House désigne sous le terme de covertly erroneous error (erreurs cachées), consiste précisément à ne pas rendre cette équivalence fonctionnelle. Elle établit une distinction entre ces erreurs de traduction et les erreurs qui résultent probablement d’une déficience linguistique, qu’elle appelle overtly erroneous errors (erreurs ouvertes), qui incluent les fautes élémentaires d’équivalence dénotative et les fautes de langue. Selon House, ces dernières recueillent plus d’attention parce qu’elles sont plus faciles à détecter et à décrire. Pour qu’une erreur d’équivalence fonctionnelle puisse être jugée comme une erreur cachée, c’est-à-dire de traduction, trois conditions doivent être remplies : - les normes socioculturelles du texte source doivent être comparables à celle du texte cible; - les problèmes de traduction issus de la différence entre les langues doivent pouvoir être dépassés; - le texte cible ne doit avoir aucune fonction additionnelle (par exemple l’adaptation d’une œuvre de Shakespeare pour des enfants). Il faut donc que les destinataires du texte cible forment un groupe au sein de la communauté de la culture d’arrivée qui soit comparable aux destinataires du texte source. L’évaluation finale du texte cible se fait en trois temps. Tout d’abord, l’évaluateur procède à une analyse détaillée du texte source pour en dégager le profil textuel, puis procède de la même façon avec le texte cible. La comparaison des deux profils textuels permet de mesurer l’écart qui les sépare et d’en tirer une conclusion sur la qualité de la traduction. 54 2.4.2. La contribution de Hatim et Mason Hatim et Mason basent leurs recommandations pour l’évaluation d’une traduction sur un modèle d’analyse du discours qui se fonde sur « a fairly broad view of text linguistics » (1997 : 179) et qui incorpore des éléments qui appartiennent à des domaines tels que la stylistique, la rhétorique, l’exégèse et l’analyse du discours. Pour eux, la traduction consiste en un processus de négociation constante entre le texte et le contexte : The discourse processing model outlined in this book rests on the basic assumption that text users, producers and receivers alike, approach language in use by reacting to and interacting with a number of contextual factors. The text user attempts this task through a process of matching, seeking to establish links between text and context at every stage of the way. (Hatim et Mason, 1997 : 165) Les auteurs sont d’avis que ce processus constitue une source d’erreurs de traduction graves qui mériterait davantage d’attention tant dans l’enseignement que dans l’évaluation. Ils cherchent à comprendre comment les décisions prises par un apprenant peuvent fournir à l’évaluateur des informations sur ses connaissances et ses compétences. Pour ce faire, ils ont adapté au contexte de la traduction le modèle de compétences de Bachman (1990), élaboré à l’origine pour la didactique des langues. Le processus de traduction est ainsi divisé en trois étapes : le traitement du texte source, les opérations de transfert et le traitement du texte d’arrivée. Pour l’évaluateur, la principale difficulté consiste à déterminer à quelle phase de ce processus une erreur donnée a été commise. Cette erreur peut alors être analysée au regard de la liste des compétences recensées par Hatim et Mason (figure 4). 55 Figure 4 – Les compétences du traducteur selon Hatim et Mason (1997 : 171) Il est à noter que les auteurs recommandent que les épreuves donnant lieu à évaluation soient élaborées à partir de cette même liste de compétences. 2.4.3. Critique de l’approche linguistique Waddington affirme que l’élaboration de modèles d’évaluation basée sur les compétences traductives pose problème, car il est difficile de déterminer le nombre de ces compétences, leur définition exacte et les relations qui existent entre elles. Il confirme également, sur la base de son expérience personnelle, un obstacle évoqué par Hatim et Mason, à savoir la difficulté pour l’évaluateur de situer avec précision une erreur dans le processus traductif. Waddington rappelle par ailleurs (2000 : 135) qu’un modèle élaboré pour un niveau de compétence déterminé n’est pas nécessairement valable pour un autre. Dans un contexte universitaire, il est possible qu’un modèle de compétences idéales ne soit pas approprié et qu’il faille élaborer un modèle plus conforme aux possibilités de l’apprenant, 56 particulièrement dans les phases initiales de l’apprentissage. Cela signifie qu’un modèle de compétences reste incomplet s’il n’est pas précédé d’un modèle d’apprentissage et de développement de ces compétences. Enfin, selon Waddington (2000:136), les modèles de compétences traductives restent encore théoriques et leur validité n’a pas été prouvée de façon empirique. La distinction établie par House entre traduction explicite et traduction implicite reflète les conclusions d’autres traductologues comme Newmark (1988 : 46-48), qui a utilisé les termes de traduction sémantique (semantic translation) et de traduction communicative (communicative translation), mais House est la première à avoir essayé d’introduire cette distinction dans un modèle d’évaluation en définissant trois conditions (voir supra) pour qu’un défaut d’équivalence fonctionnelle puisse être considéré comme une erreur cachée. Cependant, pour Larose, « présupposer la similarité de cette triade, c’est se donner un cadre de comparaison idéalisé » (1987 : 213). Waddington (2000 : 151)considère que l’apport le plus important du travail de House réside dans sa démonstration qu’il est possible de systématiser l’évaluation de la qualité d’une traduction grâce à une analyse linguistique fondée sur une analyse du registre relativement simple. Il serait donc en théorie facile d’élaborer un système d’évaluation à partir de cette méthode, mais le problème principal réside dans sa difficulté d’application. House (1997 : 118) reconnaît que la décision de faire une traduction implicite ou explicite ne dépend pas seulement du texte ou de l’interprétation du traducteur, mais aussi de l’objectif de la traduction, du destinataire et de la politique éditoriale. Cependant, cet accent mis sur la dimension pragmatique de la traduction contraste avec la distinction claire que House établit entre les facteurs sociaux et la traduction comme procédé linguistique. Comme le souligne Waddington (2000 : 158), lorsque House affirme : « a translation is also a linguistic-textual phenomenon and can be legitimately described, analysed and assessed as such » (1997 : 119), on peut s’interroger sur le sens du mot « legitimately ». Bien que House reconnaisse l’existence et l’importance de la dimension pragmatique, elle semble d’avis que celle-ci ne doit pas intervenir dans l’évaluation de la traduction, qui est essentiellement linguistique, interprétation qui est renforcée par cette affirmation : « In translation, there are many factors that cannot be controlled by the translator and have nothing to do with translation as a linguistic procedure or with the translator’s linguacultural competence » (1997 : 119). Le danger de cette 57 insistance de House à limiter l’évaluation des textes à l’étude de leur équivalence linguistique réside dans la perpétuation d’un modèle trop statique, alors que Hatim et Mason (1997) et Nord (1991) proposent un modèle d’évaluation dynamique qui considère la traduction comme un acte de communication et prend en compte tous les facteurs, intraou extratextuels, qui rentrent dans le processus de traduction. Pourtant, en reconnaissant que la traduction de n’importe quel texte peut être modifiée selon la fonction du texte cible, House rejoint implicitement les principes de la théorie du skopos. Par ailleurs, Waddington (2000 : 160) indique que l’utilité du modèle de House est limitée uniquement au champ de la recherche, car il ne fournit pas un modèle d’analyse utilisable dans une perspective didactique. En effet, il n’aborde pas le thème de la pondération des erreurs d’équivalence et ne donne que très peu d’indications aux enseignants pour passer de la description de la qualité d’une traduction à une qualification concrète des erreurs. Enfin, Martínez Melis rappelle que « s’il est vrai que House part d’un point de vue pédagogique, il n’en reste pas moins qu’elle utilise un corpus de textes littéraires » (2001 : 76). 2.5. L’approche cognitive Si Jääskeläinen (2000 : 71) regrettait au début du siècle que la traductologie aborde la traduction principalement dans ses aspects textuels, linguistiques et culturels, O’Brien constatait plus récemment (2011 : 14) un regain d’intérêt envers l’étude du fonctionnement du cerveau du traducteur. Selon Guidère, du point de vue des sciences cognitives, « la traduction est envisagée comme un processus de compréhension et de reformulation du sens entre deux langues, intégrant un traitement particulier de l’information » (2010 : 63). Les travaux de Ericsson et Simon (1984), qui constituent le cadre théorique et méthodologique des approches cognitives, sont fondés sur l’hypothèse qu’il est possible de décrire avec précision le processus mental et cognitif qui permet la réalisation d’une traduction. Selon que ce compte rendu se fasse simultanément ou postérieurement à l’acte de traduction, il utilise les termes de verbalisation introspective14 (concurrent verbalization) ou de verbalisation rétrospective (retrospective verbalization). Le processus 14 Terme utilisé par Guidère (2010 : 64). Lee-Jahnke (1998 : 157) propose également le terme « introspection à haute voix ». 58 de verbalisation, qui consiste à enregistrer et à transcrire la pensée à voix haute d’un sujet, résulte en un produit appelé think-aloud protocol (TAP). L’intérêt des TAP en didactique de la traduction a été mis en évidence de façon empirique par Lee-Jahnke, pour qui leur emploi a permis le résultat suivant : « les étudiants les plus faibles, en l’occurrence les sujets masculins, ont amélioré leurs traductions de façon significative […car ils ] étaient déjà plus conscients du processus de traduction et de ses exigences de rigueur » (1998 : 159). Kiraly y a également eu recours dès 1995. Cependant, malgré l’intérêt qu’ils présentent, les TAP ont fait l’objet de nombreuses critiques tant sur le fond que sur la forme. Ainsi, Guidère note que « les TAP se font par la médiation du langage, ce qui rend problématique la totalité de la démarche » (2010 : 64). En effet, ils ne peuvent rendre compte que des processus cognitifs conscients, mais pas de ceux qui sont automatisés et qui ne transitent pas par la mémoire à court terme. Par ailleurs, Krings (2001 : 525) a mis en évidence que l’utilisation de TAP ralentissait le processus de traduction. Enfin, dans le cas de la verbalisation rétrospective, des trous de mémoire pourraient affecter la qualité et la fiabilité des données recueillies. Muñoz Martin (2010 : 181) s’interroge même sur la capacité des traducteurs à se souvenir précisément a posteriori des processus cognitifs mis en œuvre, et suggère qu’il est plus plausible de considérer que les sujets reconstruisent ces souvenirs plus qu’ils ne se les remémorent. Ces aspects négatifs incitent Jääskeläinen à remettre en question l’utilisation des TAP en traduction, du moins tant que la validité du cadre théorique de Ericsson et Simon (1984), sur lequel reposent les études ayant recours à cet outil, n’aura pas été établie de façon rigoureuse : « research evidence from translation process research suggests that there could be an issue with the validity of TAPs […] indicating that our trust in Ericsson and Simon’s framework might be to some extent misplaced » (2011 : 23-26). Guidère considère cependant que cette méthodologie est « appelée à évoluer dans l’avenir grâce au progrès incessant des sciences cognitives et des outils technologiques associés » (2010 : 64). Il cite notamment les outils de suivi des yeux des traducteurs, qui prennent en compte les mouvements oculaires et la dilatation des pupilles pour mettre en évidence les efforts cognitifs, les logiciels de traçage et de mémorisation des frappes au clavier, les logiciels d’enregistrement d’écran, ainsi que l’imagerie médicale. Même si pour Guidère, les approches cognitives ont du mal à fournir des indications pratiques pouvant être utiles 59 aux traducteurs dans l’exercice quotidien de leur métier, leur utilisation en évaluation didactique de la traduction nous apparaît offrir des perspectives intéressantes sur le plan psychologique, comme l’a constaté Lee-Jahnke (1998 : 168) pour ce qui est de la confiance en soi des étudiants et de la libération de leur créativité. 2.6. L’approche socioconstructiviste L’approche socioconstructiviste en traduction est étroitement associée aux travaux de Kiraly (2000), qui ont connu selon Echeverri « un impact international retentissant » (2008 : 69). C’est après avoir constaté l’importance des intuitions dans le processus de traduction que Kiraly a délaissé l’approche cognitiviste, à ses yeux incapable de prendre en compte ce phénomène insaisissable, pour adopter une perspective socioconstructiviste, dans laquelle « intuitions are dynamically constructed impressions distilled from countless occurrences of action and interaction with the world » (2000 : 4). Les principes pédagogiques appliqués par Kiraly incluent la responsabilisation des apprenants dans le déroulement des cours, la mise en valeur de leur présence physique dans les salles de classe et la mise en œuvre de formules d’apprentissage actif fondées sur des situations authentiques d’un point de vue professionnel. Pour s’assurer de cette authenticité, il utilise des textes réels qui lui sont confiés par des clients. Quant aux procédures d’évaluation, Kiraly leur assigne trois caractéristiques (2000 : 141) : elles doivent être fondées sur une observation approfondie de la performance des apprenants (trustworthiness), représentatives des conditions de travail et des normes en vigueur dans le milieu professionnel (authenticity), et équitables et menées en collaboration avec les apprenants, qui doivent y jouer un rôle actif (fairness). Il insiste sur l’importance de l’évaluation formative et du travail collaboratif, et il recommande l’utilisation du portfolio, tant d’un point de vue formatif que sommatif. Cependant, il ne fournit que très peu d’éléments quant aux modalités concrètes d’évaluation mises en œuvre, si ce n’est sur la question des critères : « The most important criterion for determining the quality of your work will be the time the evaluator needs to edit your work and bring it up to professionnal standards » (2000 : 160). Il est à noter que dans l’exemple qui nous est donné, Kiraly confie l’évaluation des travaux à un traducteur professionnel externe, sans préciser les raisons de ce choix. 60 2.7. Conclusion En conclusion, on constate que les différentes approches de l’évaluation en traduction portent souvent sur la traduction de textes religieux (Nida), poétiques (Toury, Venuti) ou littéraires (House), et ont également souvent en commun d’aborder l’évaluation en tant que regard critique porté sur sa qualité, mais rarement dans une perspective didactique ou de validation des compétences. Comme le souligne House (1997 : 8-15), les critères de l’évaluation, qui constituent comme nous l’avons vu précédemment une condition essentielle du bon déroulement de ce processus, sont souvent absents ou insuffisamment précis pour permettre un jugement objectif et formateur. Or, comme le rappelle Delisle, « Une méthode rigoureuse d’évaluation des traductions est nécessaire à l’historien tout comme au pédagogue de la traduction » (2001 : 209). Par ailleurs, ces approches demeurent pour l’essentiel théoriques et ne fournissent pas aux enseignants d’outils concrets susceptibles d’être mis en œuvre dans le cadre de l’évaluation didactique en traduction. Quant à l’approche cognitive, elle se distingue par son objet et présente à nos yeux un double intérêt, théorique et pratique : d’une part, le progrès continu des technologies pourrait permettre d’aider à mieux connaître et comprendre le fonctionnement de la « boîte noire » du traducteur, et d’autre part, cette approche pourrait, en contexte didactique, offrir des outils susceptibles d’améliorer la confiance en soi et la motivation des apprenants, paramètres étroitement liés au processus d’évaluation. Enfin, l’approche constructiviste de Kiraly constitue une innovation salutaire, mais dont les modalités concrètes mériteraient d’être précisées. Il convient de rappeler le cadre de notre étude en l’ancrant dans le champ de la pédagogie de la traduction. Il est apparu au cours de nos recherches que les travaux de Delisle sur l’analyse du discours (1980) et la méthode d’enseignement de la traduction qui en découle sont au cœur de l’apprentissage de la traduction au Canada. Même si les fondements béhavioristes de l’approche pédagogique de Delisle ont été relevés par Echeverri (2008 : 76), nous conservons à l’esprit notre souhait d’applicabilité de nos recommandations dans lequel s’inscrit notre démarche, basée sur la définition (et donc la conception) de la traduction fournie par Tatilon et reprise par Delisle (2003 : 20) : Traduire, [...] c’est avant tout se mettre au service de ses futurs lecteurs et fabriquer à leur intention un équivalent du texte de départ : soit, d’abord, un texte qui livre, avec le 61 moins de distorsion possible, toute l’information contenue dans celui d’origine. Mais traduire, c’est aussi produire un texte duquel il convient d’exiger trois autres qualités : qu’il soit rendu « naturellement » en langue d’arrivée (qu’il « ne sente pas la traduction », dit-on couramment), qu’il soit parfaitement intégré à la culture d’arrivée et qu’il parvienne, par une adroite manipulation de l’écriture, à donner l’idée la plus juste de l’originalité et des inventions stylistiques de l’auteur traduit. (Tatilon, 1986 : 150, cité par Delisle, 2003 : 20) Selon Delisle (2003 : 20), cette définition s’applique parfaitement à la traduction des textes pragmatiques, qui font l’objet de la présente étude. 3. Définition de l’évaluation en didactique de la traduction L’évaluation en traduction des textes pragmatiques peut prendre place dans différents contextes : - la formation des traducteurs en milieu universitaire - la révision des traductions en milieu professionnel - l’embauche ou la promotion en milieu professionnel - le processus d’agrément par un ordre ou un organisme professionnels. Dans les deux premiers cas, le processus d’évaluation doit être à visée pédagogique : l’objectif des formations universitaires consiste à préparer des traducteurs aptes à répondre aux besoins du marché du travail, tandis que la révision en milieu professionnel vise au perfectionnement des compétences de ces derniers et à l’amélioration de leur productivité. Même si notre étude ne porte que sur le premier de ces domaines, il convient d’examiner la distinction entre évaluation et révision. Il est tout d’abord important de noter que les chemins de l’évaluation didactique et de l’évaluation professionnelle se croisent lors de deux évènements marquants du parcours des étudiants en traduction : la recherche de stage et l’embauche. En effet, les tests en conditions réelles des compétences des candidats jouent dans les deux cas un rôle primordial, et nous sommes d’avis que la mission des formations professionnalisantes en traduction consiste entre autres à préparer les étudiants à affronter ces épreuves déterminantes dans leur parcours professionnel. Les procédures d’évaluation mises en place dans les entreprises qui sélectionnent stagiaires et diplômés devraient donc permettre de porter un jugement éclairé à la fois sur la production du candidat, mais aussi sur le potentiel de celui-ci. Comme l’indique le libellé de la plupart des offres d’emploi 62 dans le domaine, d’autres paramètres entrent bien sûr en ligne de compte dans le choix du recruteur (habiletés sociales, capacité à travailler en équipe, respect des délais, etc.), mais nous nous concentrerons dans le cadre de notre recherche sur les enjeux spécifiques au processus de test d’embauche. 3.1. Évaluation et révision Selon Horguelin et Pharand (2009 : 3), la révision se définit comme « l’examen attentif d’un texte dans le but de le rendre conforme à des critères linguistiques et fonctionnels reconnus. » Il apparaît que cette définition peut s’appliquer à d’autres textes que des traductions. Lee (2006 : 414) propose une autre définition spécifique à la traduction : « examen, par un traducteur ou un réviseur connaissant la langue de départ, d’un texte traduit pour le rendre conforme aux besoins et aux attentes du destinataire ». On constate à la lecture de ces définitions l’absence de toute dimension pédagogique, ce qui devrait logiquement fixer une frontière claire entre évaluation et révision. Cependant, l’activité de révision telle qu’elle est pratiquée en entreprise de services linguistiques, si elle vise bien avant tout l’objectif assigné par Lee, comporte aussi évidemment un volet pédagogique, dicté principalement par des intérêts économiques : la rétroaction renforce les compétences du traducteur, et donc sa productivité15. Ainsi, nous proposons la définition suivante pour la révision effectuée en interne au sein d’une entreprise de services linguistiques : examen d’un texte traduit au regard de l’original pour le rendre conforme aux besoins et aux attentes du destinataire et qui donne lieu à une rétroaction du réviseur au révisé. Il nous semble important d’introduire la précision « au regard de l’original », la révision pouvant être uniquement unilingue (Lee, 2006 et Horguelin et Pharand, 2009). En revanche, nous avons supprimé la mention « par un traducteur ou un réviseur connaissant la langue de départ », proposée par Lee, qui nous paraît tomber sous le sens. Les salaires étant principalement composés d’une partie fixe, toute hausse de la productivité des traducteurs ayant le statut d’employé doit en principe améliorer la rentabilité de l’entreprise, toutes choses étant égales par ailleurs. 15 63 Gouadec, dont les travaux sont ancrés dans la réalité professionnelle, considère que « révision et évaluation [qui] constituent – ou devraient constituer – deux activités totalement distinctes (1981 : 99). Horguelin, auteur de référence dans le domaine de la révision, partage cette opinion, mais considère que cette distinction tient principalement à la finalité de chacune de ces activités : S’il importe de faire une distinction entre révision et évaluation [...], la connaissance des modes d’évaluation actuellement pratiqués ou proposés n’en est pas moins utile à une étude des techniques de la révision, car les éléments d’appréciation sont sensiblement les mêmes dans les deux cas. Seules diffèrent les fins poursuivies. (Horguelin et Pharand, 2009 : 13) En revanche, les termes de « révision didactique » (2007 : 66) et de « révision adaptée à la situation d’enseignement » (2007 : 72) sont utilisés par Allignol pour désigner l’évaluation des travaux d’étudiants en traduction. Pour éviter toute ambiguïté, nous utiliserons uniquement le terme évaluation pour désigner le processus par lequel un enseignant porte un jugement sur la production d’un étudiant. 3.2. Le Sical Le Bureau de la traduction du gouvernement canadien a mis au point en 1977 le Sical (Système canadien d’appréciation de la qualité linguistique), un instrument de mesure de la qualité des traductions fondé sur les travaux de Vinay et Darbelnet (1958) appliqués à la stylistique comparée. Même si la visée de cet outil était à l’origine strictement professionnelle, le Sical a néanmoins influencé les méthodes d’évaluation didactique en vigueur au Canada et les travaux de Gouadec en la matière. C’est pourquoi nous en ferons une rapide présentation. La première version du Sical reposait sur deux opérations essentielles : le découpage du texte en unités de traduction, puis le recensement des réussites et des échecs à l’aide d’une grille d’évaluation. D’après Martínez Melis (2001 : 91), cette grille, dont un exemple est reproduit ci-dessous (figure 5), permettait une analyse comparative des deux textes (original et traduction) grâce à 15 paramètres répartis en trois groupes : - 5 paramètres de transfert (sens, terminologie, structure, effet, écart) - 6 paramètres de rédaction (graphie, syntaxe, usage, style, tonalité, logique) - 4 paramètres « à cheval sur LD et LA » (nuance, addition, soustraction, démarche). 64 Figure 5 – Grille du Sical (Waddington, 2001 : 338) 65 Si le Sical représentait un progrès considérable par rapport aux simples barèmes d’évaluation utilisés jusqu’alors, sa complexité le rendait difficilement applicable. Une seconde version simplifiée a donc vu le jour en 1978, puis une troisième en 1986. Le nombre de critères d’évaluation a alors été ramené de 15 à quatre. Larose rappelle que « Les deuxième et troisième versions du Sical ont servi de modèle à la plupart des grilles d’évaluation en vigueur dans les grands services de traduction et les associations professionnelles au Canada » (1998 : 168). L’évaluation se fait toujours à partir de critères de respect du sens du texte de départ et de qualité linguistique du texte d’arrivée. Gémar (1996 : 502) décrit ainsi le fonctionnement du Sical III : Le réviseur, lorsqu’il évalue une traduction, souligne la partie contestable et la qualité d’un simple T (pour traduction) ou L (pour langue), quand la faute relevée est sans gravité, ou, en cas de faute grave, de la même lettre, mais encerclée. Le texte est ensuite jugé acceptable ou non selon le nombre et la gravité des fautes relevées. Le degré d’acceptabilité est exprimé sous la forme d’une lettre, de A à D (figure 6). Le niveau A est indispensable pour les documents importants, le niveau B correspond à la qualité habituellement exigée dans les services de traduction, et une traduction de niveau C est rentable économiquement, car livrable après une révision mineure. Figure 6 – Tableau d’évaluation Sical III (source : Martínez Melis, 2001 : 93) En résumé, le Sical visait à conjuguer des impératifs de qualité (appréciée sous l’angle de l’acceptabilité par le client) et de rentabilité économique. Pour Gémar, ces critères sont très différents de ceux qui sont utilisés en pédagogie de la traduction et à son avis, « il est risqué de s’inspirer, sinon à titre occasionnel ou d’essai, de méthodes à vocation strictement professionnelle pour former les futurs traducteurs » (1996 : 502). La nature des risques encourus n’est cependant pas précisée. 66 4. L’évaluation en didactique de la traduction : état de la recherche D’après notre revue des travaux portants sur l’évaluation en didactique de la traduction, il apparaît que quatre éléments ont retenu une attention toute particulière chez les traductologues : la méthodologie d’évaluation des travaux des étudiants, l’importance des critères, le statut de l’erreur et la question de l’objectivité. 4.1. La méthodologie d’évaluation La méthodologie d’évaluation des travaux apparaît sans conteste comme l’aspect le plus commenté par les traductologues, que ce soit parfois pour en présenter un exemple, mais le plus souvent pour faire la critique de méthodologies existantes ou déplorer l’absence d’avancées dans ce domaine. Par exemple, Adab (1998 : 131) explique que « lors de la correction des copies, le professeur note toutes les erreurs de langue et de sens (information, ton, effet, etc.). Il y a déduction (100 points au départ) de 1, 2 ou 3 points selon la gravité des erreurs liées à la fonction du texte cible ». Allignol a pour sa part adopté « quatre catégories (sens, faux sens, langue, maladresses) qui permettent de classer et de hiérarchiser les fautes » (2007 : 72) et qu’elle définit comme suit : - Sens16 : modification d’un segment de phrase / d’une partie du texte ne pouvant être réduite à une unité lexicale ou expression. Il s’agit généralement d’erreurs d’analyse syntaxique, de problèmes d’anaphore, ou encore de défauts de recherche documentaire amenant la construction d’un scénario aberrant en contexte, mais linguistiquement défendable. Dans la suite, nous parlerons de " faute de sens grave ". - Faux sens : par ce terme, nous désignons toutes les modifications du sens réductibles à un mot ou une expression. Une omission ou un ajout non justifiés en font partie, comme les erreurs de temps qui ne sont pas perçues comme des fautes de langue, mais changent le sens. - Les fautes de langue sont des écarts incontestables par rapport aux normes du français. Nous comptons dans cette catégorie, notamment les impropriétés, les fautes de ponctuation, de connecteurs, de temps, les erreurs de distribution... - La dernière catégorie avoue son caractère subjectif. Nous y rangeons, par exemple, les collocations possibles mais peu usuelles, les répétitions que l’on remarque à la lecture du texte traduit, les ambiguïtés non intentionnelles et sans réelle gravité pour le lecteur, les tournures inutilement longues, les calques... (Allignol, 2007 : 72-73) 16 Mise en gras par nos soins dans le but d’améliorer la lisibilité. 67 Cette dérogation à la distinction habituellement opérée entre non-sens, contresens et faux sens peut sembler surprenante, d’autant plus que les erreurs17 liées au sens monopolisent la moitié des catégories et que la dernière rassemble des éléments hétéroclites. L’aspect le plus controversé de la méthodologie concerne justement le recours à ce que Vinay appelle la « trilogie NS/CS/FS » (1996 : 150), qui selon lui n’est pas suffisamment claire et ne permet pas à l’apprenant d’éviter de répéter ses fautes. Cette trilogie est aussi remise en cause par Gouadec, qui y a vu successivement des « catégories servant à la révision [… et] des étiquettes sans valeur explicative et sans pouvoir de pondération » (1981 : 99), puis un « système absolu hérité des notations de versions et thèmes d’apprentissage linguistique » (1989 : 35) datant du 17e siècle et inadapté au contexte de l’enseignement de la traduction. Selon Dussart, « De nombreuses évaluations, corrections et révisions de traductions s’inspirent [de cette] triade » (2005 : 107). Cet amalgame de trois notions le laisse perplexe, car selon son analyse, « le seul élément aux contours nettement définis est le contresens » (2005 : 118). Cet héritage a pourtant la vie dure, puisque le portrait de la méthode traditionnelle d’annotation des copies dressé par Vinay à partir des sigles figurant sur ses copies d’étudiant du début des années 1930 (figure 7) présente des similarités troublantes, d’après notre expérience, avec certaines pratiques actuelles. Figure 7 – Résumé des « corrections dans la marge » (Vinay, 1996 : 145) 17 On notera également dans ce passage que la distinction entre erreur et faute n’est pas claire : ainsi, une erreur de distribution constitue une faute de langue. Il semble que pour Allignol, l’importance de l’écart justifie le choix d’un terme plutôt que de l’autre. 68 Même si Vinay considère que le recours à un code de correction de ce genre représente un progrès certain par rapport à la méthode antérieure et permet de « donner à l’étudiant l’occasion de comprendre sa faute » (1996 : 151), plusieurs critiques ont été émises envers cette méthode. Gouadec (1998 : 131) y voit au contraire le règne du flou et de la subjectivité et reproche à ce système de ne pas expliquer « le mécanisme des erreurs/fautes/déficits de traduction ou l’incidence réelle de tous ces écarts ». Kelly (2005 : 132) ajoute que les critères de notation sont souvent opaques et rarement appliqués de façon homogène. Par ailleurs, elle reproche à cette approche de ne s’intéresser qu’au produit fini et non aux processus mis en œuvre. 4.2. L’importance des critères L’importance des critères comme élément fondamental du processus d’évaluation a été évoquée précédemment dans le cadre général, et ce principe prévaut bien sûr également dans le cas spécifique de l’évaluation didactique en traduction. Comme le souligne Gémar (1996 : 501), « Comment peut-on juger le plus objectivement possible le travail d’une personne si l’on ne s’appuie pas sur un certain nombre de critères reconnus? » Hurtado Albir (2008 : 50) cite également la définition des critères comme un des éléments essentiels de l’évaluation. Bowker (2000 : 183) dénonce quant à elle la sous-estimation de l’importance accordée aux critères : There is a lack of universally applicable criteria according to which translations may be assessed. Because the evaluation of translations can be carried out for many distinct reasons, different criteria and factors take on varying degrees of importance, and […] the majority of the literature deals with the issue in an anecdotal and largely subjective manner. Cependant, hormis dans les études de Martínez Melis et de Waddington qui seront présentées plus loin, ainsi que dans les travaux de Gouadec et Collombat (voir infra), le sujet de la gestion des critères en enseignement de la traduction n’a été que rarement abordé dans ses aspects concrets. Si Kelly (2005 : 132) insiste sur l’importance du soin à apporter à la définition des critères – « [It] requires much thought to be put in assessment criteria and methods at the design stage of the curricular and syllabus planning » –, elle reste cependant très évasive quant à la nature et à la définition de ces critères. 69 4.3. Le statut de l’erreur Le statut de l’erreur, dont l’importance dans la perspective constructiviste a été évoquée précédemment, a principalement été abordé par les traductologues sous deux angles : la distinction à établir entre faute et erreur, et la définition de l’erreur en didactique de la traduction. 4.3.1. La faute et l’erreur Collombat note que « Depuis les années 1990, les didacticiens et pédagogues s’attachent à dissiper la confusion entre faute et erreur et à faire valoir les vertus de cette dernière en tant qu’outil pédagogique » (2009 : 47). La distinction entre faute et erreur occupe de fait une place centrale dans la didactique constructiviste. Cependant, la notion de faute, profondément ancrée dans la culture de l’évaluation sommative, est encore très prégnante dans l’enseignement de la traduction et notamment dans les manuels didactiques actuellement utilisés dans les universités. Ainsi, le terme faute apparaît 47 fois18 dans le glossaire de la troisième édition de La traduction raisonnée (2013), le manuel le plus utilisé au Canada dans l’enseignement de la traduction. À cette notion – à connotation fortement péjorative19 – qui est au centre de notre perception de l’apprentissage de la traduction, Collombat (2009) suggère de préférer celle d’erreur, sur la base des travaux d’Astolfi (1997) et de Fayol (1995), de manière à permettre à l’étudiant de s’extraire de la gangue sommative qui peut le conditionner, voire le paralyser dans son approche de la traduction, par peur de mal faire. Pour elle (Collombat, 2009 : 45), il existe une distinction fondamentale entre la faute et l’erreur : La faute, qui peut être due à un élément contingent (négligence passagère, distraction, fatigue, etc.), est considérée comme relevant de la responsabilité de l’apprenant, qui aurait dû l’éviter. L’enseignant l’évalue a posteriori pour la sanctionner. L’erreur, quant à elle, revêt un caractère systématique et récurrent : elle est un ‘symptôme’ de la manière dont l’apprenant affronte un type d’obstacle donné. Le terme erreur n’y apparaît que huit fois. Le Petit Robert en ligne donne comme définition de la faute : « Acte de l’esprit qui tient pour vrai ce qui est faux et inversement. […] Chose fausse, erronée, action non prévue par rapport à une norme ». Le poids de ces définitions est encore renforcé par les renvois fournis par la version électronique du dictionnaire : « égarement, ânerie, […] bêtise, bourde, connerie, […] confusion, méprise, quiproquo, […] aberration », pour ne citer que les premiers d’entre eux. 18 19 70 L’enseignant lui applique un traitement a priori pour la prévenir, traitement basé sur le relevé et l’explication des erreurs antérieures de même nature. 4.3.2. La définition de l’erreur en didactique de la traduction La définition, les moyens de détection et les méthodes de correction ou de prévention des erreurs constituent depuis longtemps des sujets d’intérêt en didactique des langues et dans d’autres disciplines de la linguistique appliquée, mais pas en traduction : « in translation studies error analysis has been dealt with only peripherally so far » (Nord, 2005 : 186). La proximité qui existe en Europe entre la didactique des langues et l’enseignement de la traduction, notamment en Espagne, est sans doute à l’origine de l’opposition formulée par des traductologues européens (Nord, 2005; Kussmaul, 1995; Pym, 1991) entre les définitions linguistique et fonctionnelle de l’erreur. Ainsi, Kussmaul (1995 : 128) critique une tendance observée dans les cours universitaires de traduction, à savoir l’analyse des erreurs de traduction en tant qu’erreurs linguistiques, c’est-à-dire dans l’optique d’un enseignant en langue étrangère. Il propose de lui substituer un traitement communicatif de l’erreur (communicative function) qu’il estime plus adapté dans le contexte de l’enseignement de la traduction professionnelle. Dans cette méthode sont pris en compte le contexte, le projet de traduction et le destinataire. Kussmaul insiste sur le fait qu’il faut raisonner uniquement sur l’effet que l’erreur aura sur le destinataire et qu’il n’est pas nécessaire de s’interroger sur les processus mentaux qui sont à l’origine de l’erreur. En effet, à son avis, « It is easier to imagine oneself as an average reader20 than as an unsuccessful student translator » (1995 : 130). Il établit une distinction claire entre la nécessité d’étudier les raisons qui peuvent expliquer les erreurs des étudiants et l’évaluation de ces erreurs. L’étude de la cause des erreurs doit former la base empirique de la didactique de la traduction, mais pour leur évaluation, il est nécessaire d’étudier l’interaction entre le traducteur et ses lecteurs. L’évaluateur doit alors s’interroger sur l’effet de chaque erreur : « In each individual case we will have to ask ourselves: how farreaching is the error? » (1995 : 130). L’erreur modifie-t-elle le sens d’une phrase, d’un paragraphe ou du texte entier? Une simple faute d’orthographe pourrait modifier la signification de toute une phrase, et une erreur lexicale pourrait affecter la signification du 20 Il omet cependant de préciser de ce que recouvre le concept de « average reader » 71 texte entier. C’est pourquoi chaque erreur doit être évaluée en fonction de son effet communicatif (1995 : 132). La définition de l’erreur en didactique de la traduction est donc étroitement liée à une conception sous-jacente de l’enseignement. Ainsi, lorsque Wilss décrit l’erreur de traduction comme « une infraction à une norme dans une situation de contact linguistique » (Wilss, 1982 : 201 cité par Nord, 2005 : 82), il considère selon Nord la traduction du point de vue de l’apprentissage d’une langue étrangère. Dans l’approche fonctionnaliste, l’erreur de traduction doit être définie selon la finalité du processus ou du produit de la traduction. Cette approche de l’erreur a été introduite en traductologie par Kupsch-Losereit (1985), puis développée par Hönig (1985, 1997), Pym (1991), Kussmaul (1995) et Nord (1991, 1996, 2005). Cette dernière établit une distinction claire entre les erreurs d’expression en langue de départ et les erreurs réellement imputables à la traduction, et insiste sur la nécessité de ne pas confondre les deux catégories. En effet, une erreur de traduction ne peut pas être définie comme une déviation par rapport à une norme, puisqu’il n’existe pas de normes ou de règles pour tous les cas possibles de traduction. Pour Nord, l’erreur correspond à un non-respect du projet de traduction au vu d’éléments fonctionnels déterminés. Waddington (2000 : 51) est d’avis que le terme erreur apparaît comme le plus adéquat pour décrire une erreur de traduction, même s’il est trop rigoureux. En effet, l’erreur implique un certain manichéisme, alors que certains traductologues considèrent l’erreur de traduction comme une zone relativement floue. Pym (1991 : 282) propose également un modèle de compétences traductives basé sur un nouveau mode de classification des erreurs de traduction, tout en admettant les difficultés d’une telle opération : Although it is relatively easy to produce a terminological system of three or seven or perhaps twenty odd types of translation errors […], it is quite a different matter to classify errors as they actually appear in translated texts, where elements of different types are perpetually mixed and numerous cases straddle the presupposed distinctions. Il établit lui aussi une différence entre les erreurs de traduction et les erreurs de langue, mais dans une perspective distincte de celle de Nord. Au lieu d’une typologie qui prétende s’adapter à toutes les erreurs que l’étudiant peut commettre, Pym (1991 : 282) propose que la définition de ce qu’est une erreur de traduction soit basée sur une caractéristique 72 commune : « they should all involve selection from a potential target-text series of more than one variable term […]. The target text actually selected [should] be opposed to at least more than one further target text, which could also have been selected, and then to possible wrong answers ». Sur la base de ce postulat, Pym établit une distinction entre les erreurs binaires (binary errors), où l’on peut trancher facilement entre « correct » et « incorrect », et les erreurs non binaires (non-binary errors), qui requièrent des explications plus poussées. Même si selon Pym, la nature des erreurs ne préjuge pas de leur appartenance à l’une ou l’autre de ces deux catégories, il semble évident que les fautes de langue (grammaire et orthographe par exemple) ressortiront à la première, tandis que les erreurs de traduction appartiendront généralement à la seconde. Pym, comme Kussmaul (1995 : 129), est d’avis que les cours de traduction devraient être consacrés principalement à l’analyse des erreurs non binaires, dont la correction ne devrait pas se faire de façon autoritaire sans laisser aux étudiants la possibilité de discuter et de négocier jusqu’à ce que l’accord soit le plus large possible. Waddington (2001 : 38), à l’instar de Pym, remet en question les catégories traditionnelles d’erreurs basées sur la stylistique comparée, même si leur simplicité et leur facilité d’application leur valent d’être encore largement utilisées. En effet, elles comportent à ses yeux des défauts importants qui biaisent le résultat de l’évaluation : - D’une part, elles établissent un barème inamovible a priori pour tous les types d’erreurs. Or, pour être valide, un système d’évaluation doit pouvoir répondre à l’unicité de chaque traduction. Non seulement chaque texte original est unique, mais c’est aussi le cas pour chaque intention de traduction. L’erreur de traduction n’est donc pas binaire, mais relève d’une inadéquation : le traducteur s’est trompé dans son choix entre les différentes possibilités de traduction. Puisqu’il existe plusieurs facteurs qui jouent dans cette inadéquation, il est important de reconnaître la nécessité d’un système d’évaluation flexible qui puisse s’adapter à la complexité du processus de traduction. - D’autre part, on ne peut pas réduire l’évaluation d’une traduction à la comparaison essentiellement linguistique de deux produits, le texte de départ et le texte d’arrivée. Pour Waddington (2001 : 65), la traduction fait partie d’un processus de communication et pour être valide, l’évaluation doit considérer ces erreurs à la 73 lumière de tous les facteurs qui peuvent avoir affecté le processus. Un système d’évaluation doit donc être basé sur une théorie communicative de la traduction. Pour déterminer si une traduction est correcte ou non, il faut prendre en compte le contexte qui l’entoure. Une fois l’erreur détectée, le correcteur doit décider de sa pondération. Presque toutes les méthodes d’évaluation reconnaissent que les erreurs ne sont pas toutes d’égale importance, mais que la difficulté réside dans leur valorisation. Quant à Hatim et Mason (1997), ils recommandent que l’utilisation du terme erreur soit limitée aux erreurs de langue, celles que House (1977 : 105) appelle overtly erroneous errors. Pour les autres types d’erreurs, ils jugent qu’il faudrait définir un autre mot, étant donné que l’évaluation doit émettre des jugements sur l’adéquation relative entre le choix du traducteur et l’éventail des différentes options acceptables. 4.4. La question de l’objectivité La quête de l’objectivité dans l’enseignement de la traduction constitue depuis longtemps un objectif majeur. Pour Gémar (1996 : 501), « l’objectivité dans l’évaluation de la qualité d’une traduction ne cesse de préoccuper les traducteurs ». Delisle (2001 : 210) juge que « L’évaluation des traductions est aussi engluée dans la subjectivité ». Il est à son avis nécessaire de s’écarter des jugements émotifs, des critiques de goût et des « distributions subjectives de notes fondées sur rien du tout » (ibid.). Gouadec (1981 : 102) considère également que l’évaluation « doit échapper à la subjectivité », tandis que Larose (1984 : 234) est d’avis que « les barèmes traditionnels [sont] soumis à une double subjectivité : celle de la détermination du bon goût, et celle de la cotation de celle-ci ». Selon Bowker (2000 : 184), une évaluation subjective peut être préjudiciable à la fois à l’enseignant et à l’apprenant : « if translation evaluation is not seen to be objective, it will undermine the trainer’s position while simultaneously discouraging the students ». Cependant, comme le rappelle Campanale (2001 : 7), « L’évaluation contient une part irréductible de subjectivité », l’objectif étant d’en minimiser les effets grâce aux soins apportés à l’élaboration du processus d’évaluation (critères, référents). Lee (2006 : 415) souligne également qu’un « certain degré de subjectivité [est] inévitable aussi bien dans le 74 domaine de la révision que dans celui de la traduction ». House (1981:62) précise que la méthode d’évaluation dépend aussi du jugement intuitif du correcteur, qui se base sur ses connaissances parfaites de la langue d’arrivée et ses excellentes connaissances de la langue de départ. House recommande que l’évaluateur ne recoure pas à l’opinion de tiers, sauf dans les cas de traduction technique : « The approach of relying on native speaker intuition in combination with a corpus of texts and the objective grid of situational dimensions seems to us the only feasible method of putting our model of translation quality assessment into practice ». House reconnaît donc que la décision concernant l’adéquation des éléments linguistiques du texte cible contient forcément un élément subjectif. De plus, les relations d’équivalence entre les deux langues ne sont pas absolues et s’évaluent selon un degré de probabilité qui ne peut être jugé que par l’intuition d’un natif de la langue. House (1981:64) reconnaît même explicitement que l’objectivité reste un vœu pieux : « It seems unlikely that translation quality assessment can ever be completely objectified in the manner of the results of natural science subjects ». Enfin, pour Coppens (2013 : 94), l’opposition faite entre subjectivité et objectivité scientifique relève même d’une « alternative illusoire qui exclut toute autonomie ». Au vu de cette opposition d’idées, la question de l’objectivité correspond-elle plutôt à un Graal ou à une vieille lune? On constate que l’apaisement des prises de position est très récent dans le monde de l’enseignement de la traduction, alors qu’il remonte à un certain nombre d’années dans les sciences de l’éducation. Peut-être ce décalage est-il dû au souhait, émis à la fin du 20e siècle par des traductologues soucieux que la traductologie soit pleinement reconnue en tant que discipline, d’élever l’objectivité en évaluation au rang d’objectif prioritaire. Cela rejoint l’opinion de Lee-Jahnke (2001b : 206), pour qui c’est par une évaluation fiable et objectivable que la traduction, l’interprétation et la terminologie vont pouvoir s’affirmer comme disciplines « respectables ». Même s’il nous semble que cette reconnaissance est désormais acquise, Fiola et Bastin (2008 : 10) rappellent qu’une des difficultés du processus d’évaluation réside toujours dans la nécessité de « surmonter la subjectivité qui caractérise encore trop souvent individus et institutions ». En revanche, dès 1986, Weiss (1986 : 5) se demande si l’approche intuitive et pragmatique des enseignants ne vaut pas celle des experts en évaluation. Quant à Scallon (2004 : 1-2), il 75 soutient qu’il fallait « se résigner à abandonner l’objectivité complète autrefois tant recherchée. L’évaluation, comme processus ou comme démarche, acquérait ainsi ses premières lettres de noblesse ». Gerard (2002 : 26-34) postule même que la subjectivité serait indispensable en évaluation, et il l’oppose à l’arbitraire qui, lui, doit être combattu. En effet, selon lui, l’objectivité de l’évaluation est impossible : malgré les programmes, les objectifs d’apprentissage varient selon les enseignants; les performances évaluées sont différentes parce qu’elles dépendent de la conception que les enseignants se font des résultats attendus, de la démarche requise et de la compétence mesurée. De plus, les conditions d’observation (moment, forme du contrôle, mode de correction, etc.) peuvent varier, de même que les exigences des évaluateurs. Plus encore, l’objectif même d’objectivité serait à rejeter, car pour l’atteindre, il faudrait parvenir à une exhaustivité des objectifs, des critères et des indicateurs, ce qui est matériellement impossible. Par ailleurs, les conséquences sociales seraient inacceptables, car une telle évaluation déboucherait sur une standardisation extrême. Ainsi, Perrenoud (1995 : 288) affirme que « le flou des échelles d’appréciation est le jeu de l’engrenage pour éviter que la machine ne se bloque ». Cette appréciation est confirmée dans le domaine de la traduction par Larose, pour qui « éliminer [la subjectivité] ne serait d’ailleurs peut-être pas souhaitable, car la part de jugement de l’évaluateur constitue précisément le facteur de souplesse de la méthode » (1998 : 182). Nous rejoignons Gerard dans son analyse tant sur le fond que sur la forme. En effet, nous sommes d’avis qu’il y a un danger à considérer la subjectivité comme obligatoirement mauvaise en évaluation. La subjectivité, c’est-à-dire l’utilisation explicite du jugement de l’évaluateur, fait partie intégrante de toute évaluation. En revanche, le fait ou non de se référer à des critères explicites dans le processus d’évaluation peut grandement effriter la validité de celle-ci. Pour ce qui est du terme de subjectivité, outre les arguments avancés par Gerard, ce terme renvoie, selon la définition qu’en donne Le Petit Robert (« domaine des réalités subjectives; la conscience, le moi »), à des concepts philosophiques qui ne comportent aucune connotation négative, contrairement à l’arbitraire : « qui dépend du bon plaisir, du caprice de quelqu’un ». 76 5. Les propositions concrètes de méthode d’évaluation didactique Parmi les différentes conceptions de l’évaluation en traduction présentées précédemment, peu ont abordé spécifiquement la didactique de la traduction, et une seule, celle de Nord (1996 : 100-102), a donné lieu à l’élaboration d’une méthode concrète – mais brève – d’évaluation des travaux des étudiants. Celle-ci est présentée ici, ainsi que les autres principales contributions en la matière, qui ne se réclament pas explicitement de telle ou telle conception de l’évaluation en traduction. 5.1. La proposition de Nord Nord définit l’erreur de traduction comme « le non-respect des instructions impliquées dans la consigne de traduction et comme une solution inadéquate à un problème de traduction » (2008 : 94) et distingue quatre catégories d’erreurs : - les erreurs pragmatiques, qui proviennent de solution inadéquate à des problèmes pragmatiques (par exemple la non-prise en compte du récepteur). Elles se produisent quand l’étudiant ne respecte pas les instructions pragmatiques du projet, ce qui affecte la fonctionnalité de la traduction. Selon Nord, ces erreurs sont faciles à éviter une fois que les étudiants sont conscients du problème; - les erreurs interculturelles, qui sont liées aux conventions spécifiques de la culture d’arrivée. Celles-ci peuvent être stylistiques, mais aussi liées aux unités de mesure, aux formats, aux conventions sociales; - les erreurs linguistiques : Nord établit une distinction entre les erreurs linguistiques, qui sont dues à un problème de compréhension en langue d’arrivée, et les fautes linguistiques de traduction que le traducteur commet en raison de la divergence des deux systèmes linguistiques de la langue de départ et de la langue d’arrivée, même s’il possède une bonne compétence dans les deux; - les erreurs propres à un texte donné, c’est-à-dire celles qui ne peuvent être classées dans aucune des trois catégories précédentes. Dans un contexte didactique inscrit dans une logique fonctionnaliste, l’importance relative de ces quatre catégories dépend du projet de traduction, c’est-à-dire des spécifications formulées par le donneur d’ordre, même si Nord (1996 : 96-99) considère que les erreurs 77 pragmatiques revêtent une importance particulière, puisqu’elles peuvent ne pas être détectées à la lecture du texte d’arrivée. A contrario, les erreurs linguistiques lui semblent plus bénignes, parce qu’elles ne rendent pas impossible la communication. L’analyse des erreurs en tant qu’outil d’apprentissage repose alors sur le respect des huit principes suivants (1996 : 100-102) : a. les tâches demandées aux étudiants devraient pouvoir être accomplies de façon satisfaisante par au moins 80 % d’entre eux et devraient donc être préparées en fonction de leur niveau de connaissance; b. « Traduire sans instructions précises, c’est comme nager dans une piscine vide » (Nord, 2008 : 97) : il est indispensable de définir un projet de traduction, équivalent didactique du cahier des charges en milieu professionnel. Il s’agit d’expliciter ce qui est attendu des étudiants, ce qui correspond à un principe également énoncé par Gouadec : « l’évaluation doit tenir compte des objectifs que se fixe (volontairement ou par nécessité) le traducteur » (1981 : 102); c. les étudiants doivent avoir accès à toutes les sources de documentation nécessaires à leur travail. Au cas où un règlement universitaire en prohiberait l’utilisation, Nord suggère que les étudiants indiquent sur leur copie la source qu’ils auraient employée pour résoudre un problème spécifique, tout en recommandant une solution plus affirmée : « Si el reglamento de los exámenes no lo permite, hay que cambiarlo21 » (Nord, 1996 : 101); d. il est indispensable d’établir des conventions de correction claires et précises et de les communiquer aux étudiants, qui doivent pouvoir comprendre la nature et les conséquences de leurs erreurs; e. le système de correction doit établir une distinction claire entre les erreurs de traduction et les erreurs linguistiques, tant pour aider l’étudiant à identifier ses faiblesses que pour permettre à l’enseignant de préparer des exercices en vue de surmonter ces dernières; f. la compétence traductive prime sur les connaissances linguistiques : il vaut mieux savoir traduire sans maîtriser parfaitement la langue plutôt que l’inverse. Il faut « Si les règlements s’opposent à l’utilisation [des ressources documentaires] pendant un examen, il faut les changer. » (notre traduction) 21 78 donc tenir compte de la qualité du raisonnement de l’étudiant, qu’il peut exposer sous forme de commentaires, même s’il a commis une erreur sur le plan linguistique. Cette position est critiquée par Martínez Melis (2001 : 105) : Le meilleur des « techniciens » en traduction si sa compétence en langue n’est pas suffisante peut-il être un candidat acceptable ? Nous pouvons aussi inverser l’argument : si un étudiant a un bon niveau de langue, rien ne l’empêche d’améliorer sa compétence en techniques de traduction. g. la fonctionnalité pragmatique prime sur la perfection linguistique : l’objectif est de communiquer correctement en respectant les conventions culturelles du public cible; h. il est important de tenir compte des bonnes solutions trouvées par l’étudiant, et non seulement de ses erreurs. Il sera en effet plus motivé si on lui montre un verre à moitié plein en soulignant qu’il a résolu 50 % des problèmes plutôt que de pointer le fait que 50 % de ses solutions ne sont pas valables. L’approche proposée par Nord nous semble frappée du sceau du bon sens, notion à laquelle elle fait d’ailleurs référence : « Mucha veces basta un poco de ‘sentido común’22 » (1996 : 99). Ainsi, Nord se distingue par le pragmatisme de ses propositions et la prise en compte des aspects pratiques et psychologiques de l’acte d’évaluation. Cependant, nous partageons la position de Martínez Melis, du moins pour les étudiants en fin de formation, puisqu’une fois sur le marché du travail, c’est bien sur la qualité du produit fini que ces derniers seront jugés. Cette remarque est également valable pour la primauté de la fonctionnalité pragmatique (voir point g.) : un client se satisfera-t-il d’une traduction excellente en termes d’adéquation au public cible, mais où figurent des fautes de langue évidentes? Enfin, il convient de noter que l’objectif de réussite d’une tâche par au moins 80 % des apprenants (point a.) relève d’une approche normative et non critériée, ce qui ne nous semble peu adapté en didactique de la traduction. 22 « La plupart du temps, il suffit d’un peu de bon sens. » (notre traduction) 79 5.2. La proposition de Gile Gile, s’il considère favorablement les apports de la psychologie cognitive à la formation des apprenants, préfère cependant faire reposer son approche en tant qu’enseignant sur son expérience et son intuition plutôt que sur des théories formelles (2004 : 2). Il recommande de privilégier « l’enseignement orienté processus [qui] se concentre sur le processus de traduction en cherchant à optimiser la démarche et les méthodes mises en œuvre par les étudiants » (2004b : 201). Pour ce faire, il demande à ses étudiants d’exposer leur raisonnement et de justifier leur choix à l’aide d’un « compte rendu intégré des problèmes et décisions » (CRIPD), ce qui se rapproche du concept de verbalisation rétrospective proposé dans l’approche cognitiviste. Sur le plan concret de l’évaluation des copies, Gile (1992 : 251-262) considère qu’il existe deux grandes catégories de fautes de traduction, que l’on peut classer d’après leur emplacement dans le processus de traduction, lequel compte trois étapes (analyse, compréhension et reformulation) : - Les fautes de compréhension : cette catégorie englobe l’ensemble des fautes dont l’origine est circonscrite dans l’étape d’analyse. Elles peuvent être dues à l’absence ou à l’insuffisance d’un « test de plausibilité » (Gile, 1992 : 253), c’est-à-dire à la validation en contexte d’une hypothèse de sens23, ou à une recherche documentaire déficiente. - Les fautes et maladresses dans la restitution, qui sont souvent dues à une insuffisance de connaissances linguistiques ou extralinguistiques. S’il est en général possible de distinguer les fautes de compréhension des erreurs de reformulation, il est en revanche plus difficile d’en cerner l’origine précise. Pour Gile (2005 : 214), une faute de compréhension peut en effet être due à l’inattention, à une faiblesse méthodologique dans la recherche documentaire, à une analyse logique insuffisamment rigoureuse ou à une absence de motivation. Une maladresse d’expression peut quant à elle être liée à une maîtrise insuffisante du style écrit, à une faiblesse de vocabulaire ou à une méthode déficiente de recherche du terme adéquat. Gile a ainsi recensé huit sources possibles pour les fautes de sens : 23 Gile n’explicitant pas la nature du test de plausibilité, il s’agit là de notre interprétation. 80 a. une connaissance insuffisante de la langue de départ; b. une lecture insuffisamment attentive du texte de départ; c. une mauvaise qualité du texte de départ; d. une reformulation insuffisamment attentive du texte de départ; e. une erreur « mécanique » au moment de l’écriture; f. une erreur d’appréciation par rapport à la norme de fidélité applicable; g. une connaissance insuffisante de la langue d’arrivée; h. un problème lié à la recherche documentaire. Quant aux fautes et maladresses de langue, elles pourraient être attribuables à quatre facteurs : a. une maîtrise insuffisante de la langue d’arrivée; b. une contamination momentanée de la langue d’arrivée par la langue de départ; c. une incapacité plus fondamentale du traducteur de se distancier des structures linguistiques du texte de départ lors de la reformulation en langue d’arrivée; d. une reformulation insuffisamment attentive et l’absence de vérification de l’acceptabilité de l’énoncé produit en langue d’arrivée. Gile (1992 : 259-260) propose deux stratégies pour tenter d’identifier l’origine des erreurs : - la stratégie d’isolation24, qui consiste à préparer un exercice ou un test dénué de difficultés à l’exception d’un élément précis (un lien logique, l’analyse des termes en langue de départ, la recherche de termes en langue d’arrivée) que l’on souhaite tester. Cette stratégie peut être mise en œuvre de deux façons : soit en choisissant ou en écrivant un texte simple et clair, mais qui présente par exemple des termes techniques nécessitant une recherche documentaire, soit en aplanissant les difficultés en fournissant aux apprenants les solutions à tous les problèmes anticipables à l’exception de ceux que l’on souhaite tester. - la stratégie d’explication, qui consiste à demander aux étudiants d’expliciter par écrit les problèmes auxquels ils ont été confrontés, ainsi que les moyens utilisés et les sources consultées pour les résoudre. 24 Il nous semble que le terme isolement serait mieux adapté sur un plan lexical. 81 Viennent ensuite trois stratégies de correction, selon que les erreurs de l’apprenant sont liées à : - la faiblesse de leurs connaissances (maîtrise de la langue de départ ou d’arrivée, culture générale) : de l’avis de Gile, ces faiblesses ne relèvent pas du cours de traduction et doivent être abordées de façon autonome par l’étudiant, l’enseignant se bornant à le conseiller sur la marche à suivre. - des lacunes de la méthode de travail : selon lui, l’acquisition d’une méthode de travail constitue l’objectif essentiel de l’enseignement de la traduction, car il s’agit là d’une composante entièrement nouvelle pour les apprenants. Les stratégies correctrices consistent principalement en la répétition et l’explicitation des explications fournies par l’enseignant. Selon Gile (1992 : 260), « les cas de compréhension insuffisante de la méthode [sont] très rares, l’essentiel des problèmes tenant à la faiblesse des connaissances et à la motivation des étudiants. » - la faiblesse de la motivation des étudiants : Gile propose deux approches différentes, la sensibilisation et la pression par les notes. La première vise à mettre l’apprenant en situation de se rendre compte de l’impact possible d’une maladresse, par exemple en apportant en cours un appareil inconnu des étudiants et accompagné d’un mode d’emploi mal traduit. La seconde consiste à « exploiter un moyen de pression que donne le système à l’enseignant, à savoir les notes » (1992 : 261). Pour ce faire, Gile propose, plutôt que d’attribuer une note globale à un étudiant, d’évaluer séparément et explicitement les différentes composantes de l’opération de traduction et de les assortir d’un système de pondération variable selon les objectifs visés à tel ou tel stade du programme. Par exemple, en début de programme, si l’enseignant souhaite valoriser l’importance de la qualité rédactionnelle, il pourra noter séparément les critères de qualité rédactionnelle, de clarté et de fidélité, tout en pondérant fortement les deux premiers critères, ce qui permettra à l’étudiant de se rendre compte qu’une traduction fidèle, mais peu idiomatique dans sa formulation, peut être considérée comme « mauvaise » et donc donner lieu à une note à l’avenant. Comme celle de Nord, la proposition de Gile se caractérise par son pragmatisme, mais aussi par la prise en compte des réalités concrètes auxquelles sont confrontés les 82 enseignants, notamment en ce qui concerne la motivation des étudiants. Elle se distingue également par l’importance attachée à l’apprentissage du processus et à la prise de conscience par les apprenants des processus cognitifs en jeu. Cognition et métacognition jouent donc un rôle important dans son approche. Cependant, Collombat (2009 : 46) relève que la liste des sources possibles d’erreurs « gagnerait à être ordonnée en fonction des grandes catégories de sources d’erreurs, ne serait-ce que pour différencier, dans une situation donnée, les facteurs structurels (connaissances antérieures insuffisantes) des facteurs conjoncturels (fautes d’inattention) ». Elle note également que certaines causes sont trop générales : « il semble en effet tomber sous le sens qu’une maîtrise insuffisante des langues d’arrivée et de départ est potentiellement source d’erreurs « (2009 : 47). Ainsi, une plus grande précision de cette typologie lui apparaît essentielle « car elle permet d’affiner la méthodologie en appliquant une stratégie de résolution adaptée à un type particulier de problème clairement identifié ». 5.3. La proposition de Gouadec Martínez Melis (2001 : 94) considère que les travaux de Gouadec sur l’évaluation en didactique de la traduction font de lui « l’un des rares, sinon le premier, à faire le tour du problème dans toutes ses nuances ». Le but visé par la méthode d’évaluation de Gouadec est double : d’une part, supprimer la subjectivité du correcteur, et d’autre part, parvenir à une évaluation qui prenne en compte à la fois l’incidence de la faute sur le message et la relativité de cette dernière. Pour ce faire, Gouadec distingue trois modes et trois systèmes d’évaluation. Il établit une distinction arbitraire entre le mode, où joue la subjectivité, et le système, où prévaut la raison. 5.3.1. Évaluation empirique et évaluation raisonnée Gouadec distingue l’évaluation intuitive-empirique, fondée sur une approche globale de la traduction et l’évaluation raisonnée, basée sur l’analyse des erreurs. Les trois modes associés à l’évaluation empirique sont les suivants : - l’intuition et l’habitude : il s’agit de « l’appréciation subjective-intuitive globale au terme d’une lecture visant simplement à déclarer la traduction recevable ou non recevable » (Gouadec, 1989 : 42); 83 - l’indice de révision : ce second mode repose sur des critères semi-objectifs de temps de révision, c’est-à-dire la mesure du temps nécessaire à un correcteur pour produire une traduction de bonne qualité à partir de celle que lui remet le traducteur; - les conséquences de l’erreur : ce troisième mode d’évaluation repose sur la notion d’impact des erreurs. Les coefficients de pondération affectés aux fautes résultant des diverses erreurs s’établissent alors selon la gravité de leurs conséquences sur la qualité générale de la traduction. Ce mode d’évaluation a le mérite de la netteté : il réduit l’effet d’amplification des fautes mineures mais irritantes pour l’évaluateur mais condamne sans appel, comme devrait pouvoir le faire tout mode ou système d’évaluation, toute traduction comportant une erreur lourde de conséquences et non automatiquement rectifiable par tout utilisateur du document traduit. (Gouadec, 1989 : 44) Les trois systèmes de l’évaluation raisonnée sont les suivants : - le système standard « de la série non-sens, contresens, faux sens […] qui n’est autre que le système de notation de la version et du thème que l’on a transposé, faute de mieux, à l’évaluation des traductions pédagogiques » (1989 : 44-45). Gouadec y voit un outil facilement utilisable, car il suffit de déterminer un barème plus ou moins arbitraire pour rendre cette méthode partageable. En revanche, puisque chaque faute est toujours affectée d’un même coefficient de pénalité, l’incidence réelle d’une erreur n’est jamais prise en compte, alors qu’il existe « des contresens bénins et des faux sens gravissimes ». Cependant, cet argument nous semble difficilement recevable dans la mesure où rien n’empêche concrètement un évaluateur d’affecter une pénalité plus ou moins forte en fonction de la gravité d’une faute donnée; - l’effet de distorsion 1 et 2 : dans ces systèmes, des coefficients sont affectés aux divers caractères de chaque faute, et les pénalités correspondantes résultent de la multiplication d’un indice de base par tous les coefficients en question. Pour simplifier, nous dirons que pareil système multiplie une quantité initiale, intrinsèque, correspondant à la nature de la faute par un premier coefficient correspondant à son champ immédiat (introduisant des différences de portée), puis un second correspondant au rôle de l’élément concerné dans le segment affecté par l’erreur, puis un troisième correspondant au(x) rangs du ou des segments affectés par l’erreur dans le texte. (Gouadec, 1989 : 45) 84 Gouadec estime ce système particulièrement bien adapté au contexte de la didactique de la traduction, puisqu’il permet de décomposer le mécanisme de l’erreur – et donc de l’expliquer – et de mettre en évidence son impact sur la traduction. L’effet de distorsion 2 introduit une pondération des erreurs en fonction du statut des segments sur lesquels ils se répercutent. Gouadec (1989 : 46) distingue cinq catégories de segments : • l’objet logique (ce dont on parle) ; • les circonstants de l’objet (ses caractères) ; • le thème portant sur l’objet (le commentaire) ; • les circonstants du thème (précisions diverses) ; • les circonstants de l’intégration au texte. - l’évaluation positive : ce système vise à mesurer la part de succès et non d’échec, et donc à mettre en évidence les réussites de l’apprenant au lieu de pointer ses carences. Pour ce faire, Gouadec suggère de déterminer les caractères significatifs du texte à traduire (par exemple la densité et la spécialisation de la terminologie, la complexité des phrases) et d’y accoler des coefficients qui permettront d’établir un indice de difficulté de la traduction. Lors de la correction, c’est le taux de réussite obtenu au regard du traitement des caractéristiques du texte qui sera transmis à l’étudiant. Gouadec (1989 : 47) reconnaît que de tels calculs seraient « forts complexes », mais nécessaires pour parvenir à une évaluation « juste ». 5.3.2. La méthodologie de Gouadec : un modèle inapplicable Puisque Gouadec affirme que l’évaluation doit absolument échapper à la subjectivité, il propose d’utiliser des paramètres de codage de la faute qui permettent d’éviter cet écueil. Ainsi, après avoir séparé les fautes à support lexical (codage L) de celles à support syntaxique (codage S), il fait intervenir cinq codes liés à la nature de la faute : > < : inversion de la pertinence/contingence, φ : non-transfert injustifié de la pertinence/contingence ou sortie du champ de pertinence/contingence, + : introduction d’une pertinence/contingence excédentaire injustifiée, ≠ : glissement sur pertinence/contingence, mais sans sortie des champs appropriés, 85 - : transfert partiel de pertinence ou contingence. Toute faute reçoit donc son code, auquel est ajouté son rang, pour lequel il existe trois possibilités : - P : pertinence - C : contingence contextuelle - T : contingence textuelle. Ensuite, la faute est également caractérisée par son rôle, « qui se définit comme le rôle de la marque portant la pertinence ou la contingence affectée dans le transfert » (1981 : 105). L’auteur définit quatre rôles possibles : - R : relais (pertinence/contingence en « relais » dans le texte), - M : moteur (pertinence/contingence « motrice » des contenus), - S : soutien (pertinence/contingence en « soutien » de M ou R), - In : inerte (pertinence ou contingence inerte : élément linguistique imposé par la grammaire, mais non significatif, soit des contenus soit du contexte, ou encore élément « vide » dans la progression du texte. Enfin, il reste selon Gouadec à déterminer la vocation du segment dans le texte, ce qui se fait grâce aux cinq codes suivants : - Ct : segment de contact, - S° : source du paragraphe (thème/proposition), - D : étoffement direct de la source (définition/explication/expansion/restriction), - I : étoffement indirect de la source (exemples, citations, illustrations, chiffres, etc.), - Pa : parenthèses (réelles, puisque la parenthèse technique marquée dans la ponctuation peut fort bien avoir vocation de source ou d’étoffement). Les parenthèses réelles sont les segments inertes du texte du point de vue de l’information. La figure 8 résume le codage que Gouadec suggère pour les fautes lexicales. 86 Figure 8 – Récapitulatif des paramètres à base lexicale de Gouadec (1981 : 107) Ainsi, une faute pourrait se voir affecter un codage LφTR. Il y a cependant fort à parier que de tels procédés demeurent difficilement déchiffrables pour l’immense majorité des étudiants, qui y verraient plus une allusion au sigle anglais de la célèbre œuvre de Tolkien. Cette méthode nous apparaît également, pour des raisons pratiques, impossible à mettre en œuvre du point de vue de l’enseignant : Martínez Melis (2001 : 93) la voit comme l’une « des plus complexes puisqu’[elle] permet de déterminer 675 types de fautes (300 à base lexicale et 375 à base syntaxique) ». Larose a même calculé « [qu’] à lui seul, le niveau lexical permet de dénombrer 2 970 types de pénalités ! » (1998 : 12). Comme le confirme Scarpa (2010 : 266), « toute typologie des erreurs trop complexe […] serait d’intérêt limité non seulement pour les professionnels, mais aussi pour les formateurs ». L’approche de Gouadec nous semble donc en l’espèce inapplicable dans un contexte standard d’enseignement. Et même si ses recherches ont d’ailleurs étaient faites à l’origine dans l’optique d’une utilisation dans un contexte professionnel, par le Bureau de la traduction, elles apparaissent à la fois méthodologiquement et économiquement incompatibles tant avec les réalités du marché qu’avec celles de l’enseignement de la traduction. Hatim et Mason (1996 : 202), en plus de s’interroger eux aussi sur la crédibilité d’un tel système, doutent également de la possibilité d’éliminer d’une manière aussi mécanique la subjectivité inhérente à l’évaluation. En effet, Gouadec estime que l’effet de l’erreur doit être calculé en fonction de son impact sur le texte, mais Hatim et Mason considèrent qu’il s’agit là d’un procédé individuel et subjectif et qu’il est peu probable d’arriver à un accord entre les correcteurs au moment d’appliquer les paramètres et de calculer la gravité d’une erreur déterminée. 87 En conclusion, même si les objectifs poursuivis par Gouadec apparaissent louables, les méthodes qu’il préconise représentent à notre avis une bonne illustration des travers liés à une quête jusqu’au-boutiste de l’objectivité, comme l’indique son objectif affiché : « échapper à l’intuition, à l’introspection, à l’empirisme, et, en tout état de cause, poser les fondements vrais d’une science et d’une didactique de la traduction » (1989 : 48). Il conviendrait à notre avis de s’interroger sur les ressorts cachés de cette frénésie objectiviste qui, comme nous le verrons plus loin, ne constitue pas pour les étudiants un sujet de préoccupation aussi prégnant que ce que la littérature laisse supposer. 5.4. La proposition de Kelly Kelly (2005 : 132) rejette la méthode d’évaluation sommative généralement employée en didactique de la traduction, à savoir la traduction d’un texte en temps limité, pour les raisons suivantes : - cette méthode est déconnectée des réalités professionnelles; - elle tente d’évaluer toutes les compétences de l’apprenant en même temps à partir d’un produit fini, alors que plusieurs sont liées à la maîtrise du processus; - les critères de sélection des textes à traduire sont souvent obscurs, voire absents; - les méthodes d’analyse des erreurs généralement employées ne prennent pas en compte les aspects positifs des travaux des étudiants; - les critères d’évaluation sont souvent opaques et hétérogènes; - les textes ne sont que rarement présentés dans leur contexte ou accompagnés de consignes; - ils ne correspondent généralement pas à des objectifs de formation clairement définis. Pour ce qui est de l’évaluation des traductions des étudiants, Kelly (2005 : 140) déplore certains aspects de la méthode traditionnelle basée sur l’analyse des erreurs, notamment le fait que soit évalué un produit et non les progrès de l’apprenant, la difficulté de quantifier la valeur des erreurs – et donc l’arbitraire qui peut résulter de ce procédé –, et l’impact psychologique d’une approche basée sur les échecs plutôt que sur les réussites des étudiants. Kelly, tenante d’une approche par objectifs, insiste sur le caractère primordial du 88 dernier critère de la liste ci-dessus, ainsi que sur l’importance de l’évaluation formative, qu’elle n’oppose cependant pas à la sommative : « The two functions are not mutually exclusive, in that even final examinations used for summative assessment may have a formative role if marked and returned to students with comments on how to improve » (2005 : 133). L’évaluation diagnostique lui apparaît aussi importante en tant qu’outil d’ajustement des activités pédagogiques au niveau des étudiants. Sa contribution se distingue des autres par son objectif résolument opérationnel, puisque Kelly souhaite proposer aux enseignants des outils et méthodes « clés en main » adaptés aux réalités pédagogiques de l’enseignement de la traduction. Dans l’approche intégrée qu’elle propose, l’élaboration des activités d’évaluation est indissociable de la conception générale du cours, chaque évaluation (formative ou sommative) devant permettre de valider l’atteinte d’un ou de plusieurs objectifs spécifiques. Kelly, à l’instar de Gile, recommande l’utilisation d’activités d’évaluation axées sur la maîtrise du processus, particulièrement au début de la formation. Ces activités, dont elle fournit des exemples détaillés, peuvent être accomplies individuellement ou par équipe. Même si elles sont par nature formatives, elles peuvent également être employées dans une visée sommative. Kelly (2005 : 136) préconise également de varier les procédures d’évaluation sommative : « It is preferable […] for the summative assessment to be based on several and varied tasks or activities carried out at different points in the module ». Elle recommande par exemple l’utilisation du portfolio et le recours à l’auto-évaluation et à l’évaluation par les pairs. Dans le cas de l’examen final, souvent imposé par l’institution universitaire, elle suggère d’en varier le contenu en y introduisant des activités de commentaire et d’analyse en complément, voire en remplacement de la traduction d’un texte. Elle souhaite également que les apprenants puissent avoir accès à des ressources informatiques comparables à celles dont bénéficient les traducteurs dans l’exercice de leur profession. Cependant, Kelly rejette à un tel point la formule traditionnelle de la traduction en temps limité qu’elle en omet de proposer une méthode d’évaluation concrète du produit fini d’un étudiant. Dans le contexte de l’enseignement de la traduction en tant qu’activité professionnelle, dans lequel s’inscrit d’ailleurs Kelly, cette absence nous apparaît aussi surprenante que regrettable. 89 5.5. La proposition de Collombat Pour Collombat, l’évaluation constitue le reflet de l’approche pédagogique de l’enseignant. Comme Gile et Kelly, elle considère que l’évaluation axée sur le processus plutôt que sur le produit permet de garantir chez l’apprenant l’acquisition d’une méthode de travail sur laquelle il pourra fonder le développement de ses compétences. L’approche produit se justifie cependant en toute fin de cursus afin de préparer les étudiants aux réalités du marché du travail. Dans l’approche orientée sur le processus, les premiers travaux des étudiants permettent à l’enseignant d’établir un diagnostic de leurs forces et de leurs faiblesses et de préparer un plan d’action visant à corriger ces dernières. La rétroaction de l’enseignant doit alors aider les apprenants à comprendre les mécanismes à l’origine de leurs erreurs et leur permettre de mettre en place des actions de remédiation visant à éviter leur récidive. Ainsi, « cette démarche se situe pleinement dans une approche didactique constructiviste » (2009 : 42). Pour Collombat, la traduction commentée constitue l’outil le plus approprié au développement métacognitif de l’apprenant. Cette méthode, basée sur le modèle de compte rendu intégré des problèmes et décisions (CRIPD) mis au point par Gile, donne à l’étudiant « la possibilité d’exposer les difficultés de traduction rencontrées, d’expliquer le raisonnement suivi pour les résoudre ainsi que de justifier son choix de traduction » (2009 : 43), ce qui permet en retour à l’enseignant de mettre en œuvre une maïeutique source de progrès chez l’apprenant. Postérieure aux travaux de Gile, Gouadec et Kelly, l’approche d’évaluation proposée par Collombat s’inscrit dans le système standard décrit par Gouadec en y intégrant des caractéristiques issues des autres modes. « Elle vise à inciter les étudiants à se pencher sur l’impact des erreurs en termes de recevabilité ou non du texte, tout en appliquant, dans une certaine mesure, l’effet de distorsion afin de mettre en évidence l’incidence d’une erreur […] dans le but de mettre en évidence la logique de l’erreur » (Collombat, 2009 : 39). Une forme d’évaluation positive est également mise en œuvre par l’attribution de points bonus qui récompensent les traductions particulièrement réussies. L’approche de Collombat se distingue cependant par le statut qu’elle accorde à l’erreur, érigée au rang d’outil didactique dans la lignée des travaux d’Astolfi (1997), et qui constitue « un indice précieux permettant à l’enseignant de comprendre le processus d’apprentissage de l’apprenant et de repérer les 90 difficultés de ce dernier. » (Collombat, 2009 : 47). L’accent est également mis sur l’importance de la confiance en soi (Froeliger, 2004), qui permet à l’apprenti traducteur de se détacher du texte et ainsi d’éviter le mot à mot, sans pour autant faire fi du salutaire « doute méthodique » prôné par Delisle (2003 : 124). Lors de la correction, les erreurs sont classées en trois catégories, selon une typologie inspirée de celle de Delisle (2003) : - erreurs de langue : grammaire, orthographe, style; - erreurs de transfert : erreurs de sens ou de traduction; - erreurs de présentation (typographie, présentation). Chaque erreur est associée à un nombre de points qui est soustrait d’une note de départ de 100. La façon dont l’effet de distorsion est appliqué n’est cependant pas précisée. 5.6. Conclusions sur l’état de la recherche Si le Canada était en avance dans les années 1970 pour ce qui est de la recherche en évaluation des traductions professionnelles (voir les différentes versions du Sical et les travaux de Gouadec qui en ont découlé), l’intérêt des traductologues pour la problématique de l’évaluation en didactique de la traduction reste assez récent et limité principalement à deux pays, l’Espagne (Waddington, Martínez Melis, Pym, Kelly) et l’Allemagne (Kussmaul, House et Nord, ces deux dernières se consacrant d’ailleurs à la traduction espagnol – allemand). La francophonie se distingue cependant par le caractère pragmatique de ses contributions (Gile, Collombat). L’intérêt démontré à cet égard par les hispanisants est peut-être à mettre en lien avec le contexte de l’enseignement de la traduction en Espagne, où il est – comme en France – historiquement lié à la didactique des langues. Pym (1991 : 280) estime que cette proximité persiste et que cette situation pourrait avoir suscité une réflexion quant à la nécessité de se distancier des pratiques d’évaluation en vigueur en didactique des langues. Cependant, la recherche est encore largement limitée à certains aspects théoriques qui ne peuvent que rarement trouver une application concrète dans les cours de traduction. Rares sont les travaux qui abordent de façon pertinente et pragmatique une problématique qui relève pourtant du quotidien des enseignants. 91 6. Caractéristiques de l’évaluation en didactique de la traduction Au vu de la revue de littérature que nous avons menée, nous présentons ici une synthèse des principales caractéristiques de l’évaluation en didactique de la traduction. 6.1. La prépondérance de l’évaluation sommative La conception de l’évaluation évoquée précédemment, souvent limitée à l’évaluation sommative, a aussi cours dans le monde de l’enseignement de la traduction, comme le rappelle Lee-Jahnke (2001 : 160), pour qui « tous les professeurs n’ont pas la même conception du rôle de l’évaluation. Pour beaucoup, elle sert uniquement à sanctionner les travaux à la fin du cours ». Brunette (1998 : 135) affirme qu’« à l’heure actuelle, la note chiffrée occupe presque tout le champ de l’évaluation didactique » en traduction. Cette méthode rassure et semble pouvoir assurer une certaine objectivité en garantissant une évaluation « équitable » pour tous, car fondée sur les mêmes éléments chiffrés. Pourtant, au dire de Brunette, on ne trouve nulle part d’explication quant aux fondements des critères d’évaluation qui sont appliqués. Elle évoque les conceptions figées et rarement étayées qui régissent les modes de correction et d’évaluation en vigueur dans l’enseignement de la traduction, qui n’auraient de la rigueur que l’apparence conférée par le recours à des notes chiffrées. Le travail d’évaluation se limite généralement à déterminer des écarts par rapport à une traduction érigée en modèle que les étudiants les plus appliqués vont recopier sans chercher à en comprendre la logique traductive. Gouadec (1989 : 36) va même plus loin en affirmant que si le système actuel d’évaluation offre l’apparence d’une grande simplicité, ce n’est en fait que parce qu’il est rudimentaire, voire antipédagogique : « il dispense de comprendre, analyser, évaluer, corriger, prévenir les comportements induisant l’erreur ». Même si quelques tentatives d’instauration de méthodes prenant en compte l’aspect formatif ont été faites, Lee-Jahnke (2001 : 263) considère que le domaine de la traduction souffre encore d’un manque de structures à cet égard. Par ailleurs, elle évoque le problème de la sensibilisation des étudiants au processus d’évaluation formative (avec par exemple le recours à l’auto-évaluation), alors même que leur scolarité antérieure ne les a souvent pas du tout préparés à cet exercice. Elle est d’avis que l’évaluation formative doit être mise en œuvre dès le début de l’enseignement de la traduction. L’accent mis sur l’évaluation 92 sommative et la place que celle-ci occupe se reflètent également dans les comportements des étudiants, qui pour Allignol (2007 : 73) « sont perpétuellement en attente de notes ». La prépondérance de l’évaluation sommative se traduit dans le choix des modalités d’évaluation, comme le montrent les résultats de l’étude de Waddington présentés au chapitre III. Ainsi, souvent dès le début de leur enseignement, il est demandé aux apprentis traducteurs de faire la preuve de leurs compétences en traduction. En effet, selon Gile (2001 : 383), « dans la plupart des programmes classiques de formation à la traduction et à l’interprétation, l’enseignement est axé autour du produit, c’est-à-dire du texte ou du discours, d’arrivée, qui est examiné et critiqué par l’enseignant ». Cette situation est également confirmée par Garcia Álvarez (2007 : 139) : « Many translation teachers limit themselves to evaluating the product of students’ translations, without taking into account the process ». La faible pénétration du concept d’évaluation formative dans la réflexion pédagogique en traduction peut être mise en évidence par une simple recherche sur Internet. Ainsi, une recherche par mot-clé menée le 20 mars 2012 sur les termes « formative evaluation » et « formative assessment » dans la Translation Studies Bibliography n’a produit que huit références. Une recherche équivalente (croisement des mots-clés « évaluation formative » et « traduction » sur erudit.org n’a fourni que cinq occurrences valables. Au vu de l’importance prise dans le monde de l’éducation par ce mode d’évaluation, cette situation peut paraître étonnante. Cependant, certains obstacles au développement de l’évaluation formative relèvent spécifiquement du contexte d’enseignement de la traduction. Par exemple, la distinction entre faute et erreur est sans doute encore trop récente dans ce domaine pour que sa diffusion progressive ait déjà porté ses fruits. La confusion entre les deux notions exerce donc toujours un effet pervers sur la confiance des apprenants. Or Lee-Jahnke (2001 : 261) considère que la première étape pédagogique de l’évaluation formative doit justement être l’instauration d’une « atmosphère de confiance ». Un autre obstacle, qui n’est pas spécifique à l’enseignement de la traduction, a été exprimé en ces termes par Hadji (1997 : 21) : « la paresse, ou la peur, des enseignants ». En effet, mettre en œuvre une démarche d’évaluation formative induit d’une part une remise en question de l’enseignant quant à ses méthodes d’enseignement, mais aussi un surcroît de 93 travail lié à la rétroaction à apporter aux travaux des apprenants. Scallon (2000 : 41) ajoute que « la correction […] et la rédaction des commentaires devant servir de feed-back font l’objet des principales doléances des enseignants qui perçoivent l’évaluation formative comme une surcharge ». 6.2. Une certaine autarcie des principes pédagogiques Echeverri (2008 : 67) rappelle que « les formules pédagogiques mises en application à l’intérieur des cours pratiques de traduction restent pour la plupart les mêmes qu’il y a plus de cinquante ans » et il insiste « sur l’importance de créer un lien interdisciplinaire solide entre la traductologie et les sciences de l’éducation comme un préalable vers l’innovation et l’intégration des nouvelles réalités de la profession aux pratiques d’enseignement. » Il nous semble que ce constat peut être étendu à la question de l’évaluation en didactique de la traduction. Nous en voulons pour preuve deux spécificités de ce domaine : le poids de la faute et la quête de l’objectivité. Ainsi, dès 1997, Astolfi lançait son fameux « Vos erreurs m’intéressent ! » (1997 : 15), et la distinction entre la faute et l’erreur constitue une des pierres angulaires des modèles constructivistes. Cependant, cette différenciation n’est pas encore entrée dans les mœurs dans l’enseignement de la traduction, où seule Collombat (2009) s’en est fait l’écho. Quant à la question de l’objectivité, elle agite encore les traductologues, alors que Scallon se félicitait en 2004 de l’abandon d’une volonté d’« objectivité complète autrefois si recherchée » (2004 : 1-2). 6.3. La nécessité de la recherche Des deux caractéristiques précédentes découle la nécessité de la poursuite et de l’amplification de la recherche, que les traductologues qui se sont intéressés à la problématique de l’évaluation en didactique de la traduction sont presque unanimes à réclamer : Si nous voulons transmettre la connaissance d’un processus plutôt que des procédés, consentons-nous en tant que spécialistes de la didactique de la traduction à réfléchir sur des démarches évaluatives originales et efficaces? (Brunette, 1998 : 140) What is clear is the continuing need for closer statistical scrutiny of all aspects of Translation Quality Assessment. (Waddington, 2001 : 35) 94 It is necessary to establish in Translation Studies the kind of research and experimental practices which are now commonplace in other disciplines. Thus, following empiricalexperimental research criteria, we may test, contrast and measure the assessment results obtained by means of specific instruments […]. All these questions are of vital importance in teaching, since assessment plays a key role in the educational system. (Martínez Melis et Hurtado Albir, 2011 : 284) 7. Paramètres à prendre en compte en évaluation didactique de la traduction Pour qui souhaite proposer une méthode concrète et applicable d’évaluation didactique en traduction, il nous paraît indispensable de tenir compte de la situation existante (pratiques actuelles, conditions matérielles d’exercice du métier d’enseignant, aspects psychologiques liés au changement dans un domaine majoritairement peu porté à l’innovation pédagogique) et d’intégrer à la réflexion plusieurs paramètres. 7.1. Les apports potentiels de l’évaluation formative Kiraly (2000 : 49) affirme que l’approche socioconstructiviste, qui prône le recours à l’évaluation formative, est particulièrement adaptée à la formation des traducteurs; il définit en effet leurs compétences comme étant « a creative, largely intuitive, socially-constructed, and multi-faceted complex of skills and abilities ». Cette approche conviendrait donc bien aux spécificités cognitives du métier de traducteur, car elle tend à susciter des questionnements chez l’apprenant en le plaçant dans des situations de ce que Ouellet appelle « déséquilibre cognitif » (1994 : 5), à l’occasion desquelles il devra mettre en œuvre les compétences susmentionnées. Par ailleurs, pour Scallon (2000 : 16), « une démarche didactique ayant un ou des objectifs précis fournit probablement le cadre le plus approprié » à l’évaluation formative. L’enseignement de la traduction, qui vise à préparer des professionnels capables d’être rapidement opérationnels sur le marché du travail, s’inscrit donc parfaitement dans ce contexte. De cet impératif de formation pratique sur une durée relativement courte (trois ou quatre ans au Canada au premier cycle) découle la nécessité de procéder assez tôt dans le cursus à des évaluations à caractère surtout diagnostique, mais qui devront être sanctionnées par une note en raison de la nécessité du caractère continu de l’évaluation sommative et de la courte durée d’une session universitaire au Canada. Cet état de fait peut 95 entraîner chez nombre d’apprenants les problèmes de stress et de confiance en soi évoqués précédemment. En revanche, une approche basée sur l’évaluation formative envisagée dans une perspective didactique peut permettre d’éviter ces écueils ou d’atténuer leurs effets. La flexibilité offerte par l’évaluation formative telle que la décrit Scallon correspond également bien à la diversité sociale et professionnelle des étudiants en traduction. En effet, ce domaine d’apprentissage attire tout aussi bien de jeunes adultes frais émoulus du cégep 25 que des diplômés issus de disciplines connexes (linguistique, rédaction, langues) attirés par les perspectives d’emploi du marché de la traduction, que des professionnels issus de divers domaines (droit, sciences, éducation, sciences humaines) à la recherche d’une seconde carrière. Par ailleurs, l’auto-évaluation, que Campanale (1997 : 12) définit comme « une évaluation interne conduite par le sujet de sa propre action et de ce qu’elle produit », précisant que « c’est un processus d’altération de son référentiel d’action au cours de confrontations entre son propre référentiel et celui ou ceux d’autrui », apparaît à Scallon (2000 : 28) comme une tendance lourde en évaluation des apprentissages. Or cet aspect s’harmonise parfaitement à une des caractéristiques de la profession de traducteur. De fait, au Canada, environ 40 %26 des traducteurs sont des travailleurs autonomes. L’auto-évaluation de leurs travaux avant l’envoi au client constitue donc une étape qui revêt une importance capitale. À ce titre, la pratique de cette méthode est souhaitable dès le début de leur formation universitaire. L’auto-évaluation peut aussi constituer une réponse au problème de confiance en soi évoqué précédemment. Ainsi, les expériences menées au collège Alverno ont mis en évidence les effets positifs de l’auto-évaluation dans ce domaine : « [self assessment] is just really confidence building » (Loacker, 2000 : 1). Enfin, l’évaluation formative permet, grâce à la rétroaction ‒ que Scallon (2000 : 42) désigne comme l’un des éléments fondamentaux du processus de régulation ‒, d’individualiser non pas l’enseignement, ce qui serait impossible à mettre en œuvre dans un Collège d’enseignement général et professionnel : au Québec, ces programmes préuniversitaires d’une durée de deux ans constituent un préalable à l’admission en université. 26 Données 2006. Source : http://www.servicecanada.gc.ca/fra/qc/emploi_avenir/statistiques/5125.shtml, page consultée le 5 juillet 2011. Cette proportion est supérieure au Québec, puisque l’Ordre des traducteurs, terminologues et interprètes agréés du Québec (OTTIAQ) indique un taux de 62 %. Source : http://ottiaq.org/gestion/upload/publications/fichier_8.pdf, page consultée le 3 octobre 2014. 25 96 milieu universitaire standard pour des raisons évidentes de moyens, mais bien l’aide apportée à chaque apprenant en fonction de ses besoins. De toutes les variables de l’évaluation formative, « celle qui semble produire les effets les plus marqués est la qualité du feed-back » (Scallon, 2000 : 42). Il convient bien sûr de rappeler qu’il est indispensable que la conception d’une approche pédagogique et des pratiques d’évaluation afférentes se fassent de façon concomitante, puisque, comme le rappelle Loacker (1995 : 18), l’évaluation est « un processus multidimensionnel intégré à l’apprentissage, qui comprend l’observation et le jugement de la performance de l’apprenante27 en action, sur la base de critères de développement connus publiquement : il s’accompagne d’auto-assessment et de feed-back transmis à l’apprenante ». 7.2. Les aspects psychologiques de l’approche axée sur le processus L’approche processus, couramment utilisée dans le monde de l’éducation, répond à une logique évidente : il ne viendrait par exemple à l’idée de personne d’évaluer un enfant sur sa capacité à lire dès le début de son apprentissage de la lecture. Cette approche est également utilisée dans la formation des enseignants du primaire, car c’est celle qui « s’est révélée la plus pertinente » (Amyot et Hamel, 2006 : 66). Il nous semble que cette conception est aisément applicable à l’enseignement de la traduction. Gile, pour qui « en cours de formation, surtout en début de parcours, le processus est au moins aussi important [que le produit] » (2001 : 380), préconise « une démarche orientée processus dans l’intérêt d’une progression […] plus rapide et moins douloureuse pour l’apprenant » (2001 : 384). L’utilisation de l’adjectif « douloureux » par Gile n’est pas anodine et reflète bien une réalité vécue par les apprentis traducteurs : la hantise de l’échec et de son véhicule, la faute. Dans la démarche orientée produit, une erreur ou une maladresse est sanctionnée quelle que soit son origine. Un apprenant qui met en œuvre une bonne stratégie mais dont les connaissances ou les habiletés cognitives sont prises en défaut sera donc critiqué pour le résultat, sans aucun renforcement positif pour sa démarche. (Gile, 2001 : 385) 27 Le Collège Alverno n’accueille que des étudiantes. 97 Dans ce contexte, il est logique que l’apprenant puisse ressentir un stress susceptible d’entraver l’expression de ses habiletés. Ainsi, Froeliger (2004 : 50) relate une constatation bien connue des enseignants en traduction, à savoir la propension des étudiants à coller au texte original, du fait d’une hantise des erreurs de sens qui pourraient dans leur esprit résulter d’une prise de distance, ne serait-ce qu’au plan de la formulation. Ce manque de confiance en soi serait à mettre en relation directe avec les méthodes d’évaluation, qui s’apparentent du point de vue de l’étudiant plus à une sanction qu’à un outil d’apprentissage. La pression supplémentaire qu’impose la situation d’examen entraîne selon Allignol (2007 : 75) « une recrudescence des fautes, due à des problèmes de gestion du temps […] et à l’impossibilité de prendre du recul par rapport à sa traduction ». Cependant, l’étude qu’elle a menée a mis en évidence que les apprenants « ne sont pas conscient[e]s de leurs défauts de méthode et expliquent le plus souvent leurs erreurs par un manque de connaissances extralinguistiques » (2007 : 82), tandis que l’auteure est d’avis que ce sont des « insuffisances méthodologiques qui sont à l’origine de la plupart des erreurs » (2007 : 83), même en fin de formation. A contrario, Gile considère que la démarche processus présente l’avantage de ne pas être foncièrement critique au sens déplaisant du terme, de ne pas imposer les normes linguistiques de l’enseignant et de réduire le sentiment d’injustice. Ce n’est pas la superficialité du produit fini qui est jugée, mais la profondeur des mécanismes cognitifs qui est évaluée, ce qui rend cette approche potentiellement plus efficace. « Si une erreur est trouvée dans la prestation de l’étudiant, il ne s’agira pas de le critiquer pour une performance défaillante, mais de rechercher la raison de la défaillance et de le réorienter dans le processus en conséquence » (Gile, 2001 : 384). L’utilité didactique de l’approche processus tient au fait qu’elle « déculpabilise les auteurs de fautes graves et dédramatise celles-ci, ce qui permet une intervention correctrice dans une plus grande sérénité » (2001 : 385). 7.3. Un nécessaire équilibre entre processus et produit S’il apparaît préférable de privilégier l’approche processus au début de la formation des apprenants, il est en revanche nécessaire selon Collombat (2009) et Gile (2001 : 379) de 98 « passer progressivement à une évaluation orientée produit afin de rendre plus puissante l’action de l’enseignant sur le parachèvement du produit et pour préparer les étudiants aux tests d’aptitude de fin de parcours ». En effet, dans l’approche orientée processus, l’enseignant ne pondère pas l’importance des erreurs relevées et n’évalue pas la qualité globale du produit, puisqu’il cherche à faire un diagnostic sur les processus en cause. « Cet examen peut donc accorder la même importance à des faiblesses ayant des répercussions mineures sur les récepteurs et à celles qui déforment sensiblement le message, voire qui le rendent incompréhensible » (Gile, 2001 : 384). 7.4. La nécessité d’une évaluation sommative Les caractéristiques de l’enseignement et du marché de la traduction font de ce domaine un champ d’application idéal des théories de l’évaluation formative, et les apports potentiels de celle-ci à l’enseignement de la traduction sont considérables, tant sur le fond que sur la forme. Cependant, l’évaluation sommative doit conserver toute sa place, à la fois pour d’évidentes raisons pratiques de classification et de délivrance de diplôme que pour d’autres, liées au marché du travail. En effet, la traduction est un des rares métiers où les entrevues d’embauche sont généralement doublées d’un test en conditions réelles qui permet à l’employeur de se faire une idée précise des capacités d’un candidat. L’évaluation sommative et l’une de ses principales modalités d’administration, l’examen en temps limité, sont donc incontournables en traduction. Collombat est ainsi d’avis que « l’approche orientée produit (ou résultat) conserve […] toute sa pertinence dans l’optique de la préparation des futurs traducteurs au marché du travail : lors de la passation du test que nombre d’employeurs utilisent pour le recrutement, la traduction d’un candidat potentiel doit en effet convaincre d’emblée » (2009 : 45). Par ailleurs, la note peut également jouer un rôle psychologique positif. Collombat (2009 : 41) affirme que l’expérience montre que l’apprenant a en effet tendance à mieux prendre conscience de ses erreurs à partir du moment où elles se traduisent en points perdus sur une copie. Cependant, il reste nécessaire de continuer à démystifier le statut de l’erreur, en corollaire de la distinction établie entre erreur et faute, et ce, préalablement à l’application d’une didactique de l’erreur donnant lieu à des points négatifs. L’objectif est 99 que les apprenants se concentrent sur leurs progrès sur la durée plutôt que sur une note par définition ponctuelle. 7.5. Hypothèses à vérifier Sur la base de notre revue de la littérature portant sur l’évaluation en didactique de la traduction et de notre propre expérience, nous formulons les hypothèses suivantes, dont la validité sera examinée lors des études présentées dans les deux prochains chapitres : - en dépit des bouleversements qu’ont connus aussi bien le métier de traducteur que l’environnement didactique, notamment en raison de l’informatisation croissante et rapide des processus, les modalités d’évaluation des travaux des étudiants en traduction n’ont que peu évolué au cours des dernières décennies; - ces modalités d’évaluation sont principalement fondées sur une approche produit, indépendamment de l’avancement dans le cursus; - ces modalités d’évaluation sont relativement peu diversifiées et reposent principalement sur des traductions en temps limité (examens) ou non. L’autoévaluation n’est que très peu utilisée en dépit de l’intérêt pédagogique particulier qu’elle revêt dans l’enseignement de la traduction. 100 Chapitre III : étude des méthodes d’évaluation en vigueur au Canada Ce chapitre vise à recenser la littérature existante portant sur le recensement des pratiques existantes en évaluation de l’enseignement de la traduction, puis à comparer celles-ci aux résultats de l’étude que nous avons menée auprès du corps enseignant, mais aussi auprès des étudiants, sur celles qui sont réellement en vigueur de nos jours au Canada. Cette démarche s’inscrit dans le troisième objectif spécifique défini en introduction de cette thèse : l’étude des pratiques actuelles en matière d’évaluation en didactique de la traduction au Canada. 1. État des lieux en 1999 selon la recherche pratique À notre connaissance, seules deux études28 empiriques des méthodes d’évaluation des travaux des étudiants en traduction ont été menées à ce jour : la première en 1992 par Martínez Melis et la seconde, plus approfondie, par Waddington en 1999. 1.1. L’étude de Martínez Melis Cette étude a été menée en 1992 auprès des enseignants de l’Universitat Autònoma de Barcelona afin de faire un état des lieux de la situation de l’évaluation pédagogique pratiquée dans les cours de traduction, dans le but d’inciter les professeurs à collaborer en vue de définir des lignes convergentes quant aux critères d’évaluation utilisés. Un questionnaire a été envoyé à tous les professeurs de la Faculté de traduction, mais seulement un tiers d’entre eux y ont répondu, dont principalement des enseignants en traduction vers une autre langue que l’espagnol. Ce questionnaire, dont la version intégrale figure à l’annexe 1, portait principalement sur les éléments suivants : - nature et importance des critères pris en compte lors de l’évaluation (idiomaticité, fluidité, registre de langue, sens, etc.); - pondération de ces critères dans la note finale; Le questionnaire de l’étude menée par Ulrych (2005 : 3-33) comporte des questions en lien avec l’évaluation, mais le sujet n’est pas abordé dans son article. 28 101 - prise en compte des aspects positifs de la traduction, et si oui, dans quelle proportion; - intérêt de l’utilisation d’un barème de correction; - modalités d’évaluation utilisées; - adéquation entre l’enseignement dispensé et l’évaluation afférente; - degré de satisfaction vis-à-vis du processus d’évaluation; - intérêt suscité par une éventuelle réflexion collective sur les pratiques en matière d’évaluation. Plus de la moitié des enseignants (le nombre total de personnes sollicitées n’est pas précisé) qui ont répondu à l’enquête se sont déclarés satisfaits de leur méthode d’évaluation et de la corrélation entre enseignement et évaluation, « c’est-à-dire que la moitié des professeurs considéraient qu’ils évaluaient ce qu’ils enseignaient » (Martínez Melis, 2001 : 124). Pour la majorité, le texte à traduire constitue l’exercice idéal pour évaluer les compétences d’un apprenant. Martínez Melis y voit « une conception traditionnelle bien ancrée chez les professeurs de traduction ». Pratiquement tous les professeurs se sont prononcés en faveur du contrôle continu et presque la moitié d’entre eux ont déclaré qu’il fallait également tenir compte d’autres travaux : traductions faites en groupe, fichiers et lexiques élaborés durant l’année. Par ailleurs, presque tous les enseignants ont affirmé tenir compte des aspects positifs d’une traduction, en ne se limitant donc pas au seul décompte des points négatifs. Pour ce qui est des critères pris en compte lors de l’évaluation d’une traduction, ce sont la qualité de la morphosyntaxe et la fidélité au sens qui ont été mises en avant. Cette étude a été prolongée par une seconde enquête menée auprès d’une quarantaine d’étudiants en traduction de cette même université. Ce court questionnaire (huit questions, dont sept fermées) visait à recueillir leur perception du processus d’évaluation, certaines questions reflétant celles qui avaient été posées aux enseignants. Leurs réponses ont mis en évidence une relative satisfaction quant à la manière dont leurs travaux étaient évalués, mais également quelques différences de perception. Ainsi, « alors que les professeurs disaient tenir compte des aspects positifs dans une traduction, les étudiants - il est vrai qu’il s’agissait de moins de la moitié, mais cela semble significatif - pensaient que les professeurs n’en tenaient pas compte. » (Martínez Melis, 2001 : 126). Par ailleurs, une très 102 large majorité des répondants se sont prononcés contre l’examen traditionnel, sans qu’en soient pour autant précisées les raisons ou une éventuelle solution de remplacement. En conclusion, même si les éléments recueillis par Martínez Melis semblent conforter sa position quant au traditionalisme en vigueur dans le domaine de l’évaluation en traduction, les faiblesses méthodologiques de son questionnaire (risque d’orientation des réponses au regard des éléments proposés, nombreuses questions fermées sans demande de renseignements complémentaires) et l’absence de données concrètes quant au profil des répondants ne permettent pas de tirer des enseignements clairs des résultats présentés. 1.2. L’étude de Waddington Waddington (2000) note qu’aucune étude empirique portant sur l’évaluation des travaux des étudiants en traduction n’avait été réalisée à la fin du 20e siècle. Dans le cadre de sa thèse de doctorat, il a donc interrogé des enseignants en traduction pour recenser les méthodes d’évaluation utilisées en Europe et au Canada. Il a obtenu 52 réponses en provenance de 20 centres d’enseignement, mais ni la nature de ces centres (départements universitaires, écoles de langue, écoles de traduction, etc.) ni la répartition géographique ne sont précisées. Cependant, Waddington a indiqué que 51 des enseignants interrogés œuvraient au sein de programmes d’une durée de quatre ans. Puisque les programmes d’enseignement de la traduction au Canada sont, à l’exception de trois d’entre eux, d’une durée de trois ans, on peut en déduire que les réponses provenaient en très grande majorité d’Europe, ce qui apparaît logique au regard du fait que cette étude ait été menée à partir de l’Espagne et que les langues figurant dans l’étude soient l’espagnol, le français, l’anglais, le russe, l’allemand, le néerlandais, l’italien et le catalan. 1.2.1. Le questionnaire de Waddington Le questionnaire utilisé par Waddington (figure 9) portait sur les procédures d’administration et de correction des examens du cursus universitaire et comportait huit questions et sous-questions fermées, dont trois relatives à la tenue des examens et une au mode d’évaluation des traductions. 103 Figure 9 – Le questionnaire de Waddington, traduit par Martínez Melis (2001 : 128) 1.2.1.1. Le contenu et la tenue des examens Dans 100 % des cas, l’épreuve de traduction consiste en la traduction d’un texte. Plus de la moitié des enseignants y ajoutent un autre type d’exercice. Cette proportion est cependant relativisée par Waddington (2001 : 272), qui indique que la formulation ambiguë de la question en espagnol a pu induire des répondants en erreur. Sin embargo, debido a la redacción defectuosa de esta pregunta, parece claro que algunos profesores entendieron la palabra «ejercicio» como «otra prueba independiente», cuando mi intención era averiguar si, dentro de la misma prueba de traducción, el candidato tenía que realizar otro ejercicio que no fuera la traducción de un texto.29 29 « Toutefois, en raison de la mauvaise formulation de cette question, il apparaît clair que certains professeurs ont compris le mot ‘exercice’ comme étant ‘une autre épreuve indépendante’, alors que mon intention était de vérifier si, au cours d’un examen de traduction, le candidat devait également faire d’autres exercices qui ne consistaient pas en la traduction d’un texte. » (notre traduction) 104 Ainsi, sur les 52 enseignants ayant répondu à cette question, seuls 19 (soit 36,53 %) ont en fait recours à une activité complémentaire à la traduction : il s’agit majoritairement de commentaires portant sur la traduction (11 réponses), d’une analyse du texte source (cinq réponses) et de la traduction d’éléments isolés (trois réponses). Quant à la longueur du texte à traduire, elle varie de 50 à 800 mots. Waddington n’indique pas la longueur moyenne des textes, mais précise que 34,6 % des enseignants utilisent des textes de 250 à 350 mots. Le temps accordé aux étudiants est également très variable et s’étend de 45 minutes à cinq heures. Cependant, 44,2 % des professeurs se limitent à deux heures, et 15,4 % à trois heures. Une majorité d’entre eux (73,1 %) autorisent la consultation de livres : parmi ces 38 enseignants, 16 acceptent tout type de matériel, 14 tous les dictionnaires, tandis que les autres n’autorisent que certains types de dictionnaires, parfois accompagnés de sources spécifiques (glossaires par exemple). 1.2.1.2. Mode d’évaluation des traductions Les méthodes d’évaluation utilisées peuvent être réparties en trois grandes catégories : l’analyse des erreurs, l’approche holistique et une combinaison des deux. - La méthode d’analyse des erreurs Cette méthode, la plus traditionnelle d’après Gouadec (1989 : 40) et Kelly (2005 : 132), repose sur le décompte des erreurs et la soustraction des points correspondants à partir d’une base, variable selon les pays30, correspondant à une traduction censée être « parfaite ». Il s’agit donc ici d’une évaluation orientée produit établie à l’aide de critères de réussite. D’après l’étude de Waddington, 36,5 % des enseignants utilisent ce procédé, en se basant parfois sur une typologie des erreurs propre à leur université (dans 11 % des cas), mais dans la grande majorité des cas en ayant recours à un barème qui leur est personnel. D’après nos lectures, les étudiants sont par exemple évalués sur 5 en Allemagne, 10 en Angleterre et 100 au Canada. 30 105 - La méthode holistique31 Dans l’étude de Waddington, 38,5 % des répondants, soit une proportion identique à la précédente, ont déclaré adopter une démarche holistique. Cependant, bien qu’une description de leur méthode leur ait été demandée, seuls trois des 20 répondants l’ont communiquée, et « all three methods based their scales on the requirements of professional translation and were consequently of little use for judging the quality of translation » (Waddington, 2001 : 314). L’étude n’a donc pas pu fournir les critères d’évaluation utilisés par les enseignants. Gouadec (1989 : 42), lorsqu’il évoque la méthode holistique, n’apporte pas non plus d’éclairage sur les critères utilisés, sans doute parce qu’elle se fait « selon une échelle empirique "interne" à l’auteur de l’évaluation ». - La méthode combinée Le reste des répondants, soit 23 %, ont déclaré combiner les deux approches (analyse des erreurs et évaluation holistique), mais Waddington n’a pu obtenir la pondération relative des deux éléments dans la note finale ni de détails sur l’application précise de ces méthodes. En conclusion, cette étude est surtout révélatrice de l’hétérogénéité des approches et de la faible propension des enseignants à aborder de façon ouverte le sujet. Les enseignants d’environ 60 % des universités contactées n’ont pas répondu à l’enquête, et seuls 15 % de ceux qui ont indiqué recourir à la méthode holistique ont accepté d’en communiquer les détails. Par ailleurs, Waddington (2000 : 274) souligne le peu d’échanges que les professeurs ont entre eux sur le sujet : Aunque se puede argumentar que esta es una consecuencia inevitable de la «libertad de cátedra» que existe en muchos países, es sorprendente que la mayoría de los profesores universitarios de traducción no tomen más interés en lo que hacen sus homólogos en materia de evaluación.32 31 Les catégories définies par Waddington recoupent celles définies par Gouadec (1989), Hurtado Albir (1995), Martínez Melis (2001) et Collombat (2009), sous les termes respectifs d’évaluation intuitive ou empirique (holistique pour Waddington) et raisonnée (analyse des erreurs pour Waddington). 32 « Même si l’on pourrait considérer qu’il s’agit là d’une conséquence inévitable de la "liberté académique" qui prévaut dans beaucoup de pays, il est surprenant que la plupart des professeurs de traduction ne fassent pas preuve d’un intérêt plus marqué quant aux pratiques de leurs confrères en matière d’évaluation. » (notre traduction) 106 Par ailleurs, le compte rendu de cette étude est par trop sommaire (quatre pages seulement dans sa thèse de doctorat) et ne permet notamment pas de distinguer les résultats valables pour l’Europe de ceux qui sont applicables au Canada. Or, la spécificité de la situation au Canada, où deux langues majeures ont le statut de langue officielle, a logiquement modelé le système et les modalités d’enseignement de la traduction, principalement axé de l’anglais vers le français. Ainsi, en l’absence de données chiffrées, nous rejoignons Martínez Melis (2001 : 129) dans ses doutes, pour la composante canadienne, quant à la validité de la conclusion de Waddington : « dans les universités européennes et canadiennes (peut-on généraliser à ce point ?) l’épreuve de traduction consiste à donner un texte à traduire de 250 à 350 mots en deux ou trois heures ». Les tests comparatifs des méthodes d’évaluation de Waddington 1.2.2. Au vu de la répartition quantitative relativement homogène entre les trois approches citées précédemment, Waddington a mené des tests approfondis afin de comparer la validité de ces différentes méthodes. 1.2.2.1. Présentation de l’étude Waddington a utilisé 64 copies d’étudiants en traduction de l’espagnol vers l’anglais et a demandé à cinq correcteurs (trois enseignants et deux traducteurs professionnels) de les évaluer chacune quatre fois en utilisant des méthodes fondées sur celles recensées lors du questionnaire présenté précédemment : - Méthode A : analyse des erreurs; - Méthode B : analyse des erreurs et prise en compte de l’impact de ces erreurs sur l’ensemble du texte; - Méthode C : approche holistique fondée sur des directives générales portant sur l’exactitude du sens et la qualité de la langue; - Méthode D : combinaison des approches B et C avec une pondération de respectivement 70 et 30 %. Cette pondération relève d’un choix de Waddington et ne reflète pas à coup sûr les pratiques des enseignants. 107 Pour la mise en œuvre de la méthode A, Waddington a utilisé les critères définis par Hurtado Albir (1995) : - les erreurs de traduction, qui comptent six catégories (ambiguïté, ajout, omission, culture, registre et sens); - les erreurs de langue, qui comptent 14 catégories (dont orthographe, grammaire, impropriété, ponctuation, etc.). Chaque erreur mineure, indépendamment de sa nature, est pénalisée d’un point, et chaque erreur majeure, de deux. La méthode B est également fondée sur l’analyse des erreurs, mais prend également en compte l’impact des erreurs de sens sur la compréhension du lecteur, selon un barème défini par Waddington (figure 10) et communiqué aux correcteurs. Par exemple, en cas d’erreur de sens entraînant une mauvaise compréhension d’un passage de 30 mots, le correcteur pénalise la copie de quatre points. Figure 10 – Pénalisation proportionnelle des erreurs de sens (Waddington, 2001 : 20) Pour la mise en œuvre de la méthode C (holistique), Waddington a demandé aux correcteurs d’évaluer les copies uniquement sur la base d’une appréciation générale, en se référant à une grille fournie par l’auteur (figure 11). Les deux critères mis en œuvre sont d’une part le degré de révision nécessaire pour faire de la copie un produit livrable − ce qui correspond à l’indice de révision défini par Gouadec (1989 : 37) − et d’autre part la qualité 108 linguistique de la traduction. Conformément à la norme espagnole, les notes sont attribuées sur une échelle de 1 à 10. Figure 11 – Grille d’évaluation holistique des traductions (Waddington, 2001 : 22) 1.2.2.2. Les résultats de l’étude Cette étude visait à examiner la validité des deux hypothèses suivantes : Methods of assessment based on error analysis are more reliable and valid than holistic methods. […] The quality of a translation can be assessed more accurately if the method of assessment combines error analysis with a holistic appreciation. (Waddington, 2001 : 23) Pour ce qui est de la première hypothèse, elle consistait à comparer les résultats obtenus à l’aide des méthodes A, B et C. Les tests menés par Waddington ont mis en évidence (figure 12) la supériorité des méthodes d’analyse des erreurs (A et B) par rapport à une approche holistique (méthode C). En revanche, aucune différence de validité n’a pu être établie entre les méthodes A et B : « Lo que se ha demostrado es que los dos métodos son 109 igualmente consistentes y validos […] y se pueden utilizar indistintamente33 » (Waddington, 2000 : 354). Figure 12 – Coefficient de fiabilité des méthodes (Waddington, 2001 : 31) Quant à la seconde hypothèse, elle consistait à comparer les résultats obtenus à l’aide de la méthode D avec ceux issus de la méthode A. Le tableau de la figure 13 présente les coefficients Êta carré (ƞ² en abrégé) relatifs aux deux méthodes. Ce coefficient indique le pourcentage de variance liée à deux variables, en l’occurrence le niveau des étudiants (rows dans le tableau) et la cohérence de la correction des copies (columns). Il ressort de l’étude de Waddington qu’avec la méthode A, les différences constatées entre les correcteurs représentent 21,6 % de la variance totale, tandis qu’avec la méthode D, elles n’en représentent que 3 %. Figure 13 – Coefficients Êta carré des méthodes A et D (Waddington, 2001 : 33) En conclusion de l’étude de Waddington, il apparaît que sous réserve d’une bonne coordination des correcteurs, qui peut être obtenue par une communication claire des objectifs de l’évaluation, une méthode d’analyse des erreurs fournit une évaluation plus « Ceci démontre bien que ces méthodes sont aussi cohérentes et valides l’une que l’autre et qu’elles peuvent être utilisées indistinctement » (notre traduction). 33 110 fiable que ne peut le faire une méthode holistique. Cependant, le panachage des deux approches (avec cependant une prépondérance de l’analyse des erreurs) permet de réduire la variance liée au comportement du correcteur. 2. Les pratiques actuelles en matière d’évaluation sommative au Canada Il n’existe à ce jour au Canada aucune cartographie des pratiques en matière d’évaluation didactique des travaux des étudiants. Cependant, les réactions des enseignants que nous avons interrogés à ce sujet prouvent qu’il existe bel et bien un besoin et une demande d’information en la matière. Nos objectifs sont donc de recenser ces pratiques et de les analyser au regard des informations fournies par les travaux de Martínez Melis et Waddington, ce qui permettra de mesurer leur évolution au cours de ces quinze dernières années. En effet, les enseignements issus des études présentées précédemment, s’ils concernent avant tout les pratiques d’évaluation existantes en Europe, constituent néanmoins une base intéressante de comparaison avec la situation actuelle au Canada. 2.1. 2.1.1. Présentation de la recherche et du corpus Méthodologie de la recherche De Ketele et Roegiers (2009 : 11-12) recensent quatre principales méthodes de recueil d’informations : la pratique d’interviews, l’observation, le recours à des questionnaires et l’étude de documents. Nous avons retenu trois de ces modalités, soit l’étude de documents, qui a pris la forme de la revue de littérature présentée précédemment, la pratique d’entrevue et l’utilisation d’un questionnaire. La version orale de ce dernier constitue d’ailleurs selon Blanchet (1987 : 81), au même titre qu’un entretien de recherche, « un élément d’un sousensemble du vaste ensemble des interviews ». De Ketele et Roegiers (2009 : 14) définissent l’entrevue comme une méthode de recueil d’informations qui consiste en des entretiens oraux, individuels ou de groupe, avec plusieurs personnes sélectionnées soigneusement, afin d’obtenir des informations sur des faits ou des représentations, dont on analyse le degré de pertinence, de validité et de fiabilité en regard des objectifs du recueil d’informations. 111 Il existe trois catégories d’entrevues : libre, dirigée ou semi-dirigée. C’est cette dernière formule que nous avons utilisée, sur la base d’un questionnaire comportant 28 questions, car elle est en partie directive (pour ce qui est des thèmes sur lesquels on souhaite recueillir des informations) et en partie non directive (à l’intérieur des thèmes abordés). De Ketele et Roegiers (2009 : 146) considèrent que cette méthode présente deux grands avantages : d’une part, les informations recueillies reflètent mieux les représentations que dans un entretien dirigé, puisque la personne interrogée peut s’exprimer plus librement. D’autre part, les informations sont recueillies dans un temps beaucoup plus court que dans un entretien libre, qui ne donne également aucune garantie quant à la pertinence des informations par rapport au sujet étudié. C’est pourquoi nous avons choisi la formule de l’entretien semi-dirigé en tant que principale méthode de récolte d’informations auprès des enseignants. Par ailleurs, un tel entretien peut, selon Vermersch (2010 : 76), permettre à la personne interrogée de se questionner sur ses pratiques. Cette observation a d’ailleurs été formulée par quelques-uns des participants à la présente étude. Pour des raisons de temps et de disponibilité des interlocuteurs, le questionnaire (reproduit à l’annexe 2) a également été administré en ligne par l’intermédiaire du site spécialisé SurveyMonkey. 2.1.2. Présentation du questionnaire Notre questionnaire reprend cinq des huit questions posées dans celui de Waddington, dont il diffère cependant fondamentalement sur le plan de l’administration. En effet, ce dernier n’a été constitué que de réponses écrites, souvent binaires. Afin de permettre une analyse fine de la situation de l’évaluation didactique en traduction au Canada, notre questionnaire compte six parties et 28 questions. En plus des informations comparables à celles provenant de l’étude de Waddington, nous avons également recueilli des informations sur le profil des répondants (université d’origine, statut, ancienneté dans la profession), les modalités pratiques d’administration des examens et de correction des copies, ainsi que la perception que les enseignants ont de l’évaluation didactique. Par ailleurs, nous avons inclus l’enseignement à distance dans notre étude, puisque cette modalité, déjà bien présente au Canada, semble appelée à se développer. 112 Ce questionnaire a servi de ligne directrice durant les entretiens, au cours desquelles d’autres informations ont cependant pu être recueillies, puisqu’une des fonctions de l’entrevue « est de faire émerger des hypothèses » (De Ketele et Rogiers, 2009 : 14). 2.1.3. Présentation de l’échantillon et du corpus Conformément aux objectifs définis en introduction, nous avons concentré notre étude sur les pratiques existantes dans l’enseignement de la traduction des textes pragmatiques. Dans cette optique, notre échantillon est constitué d’enseignants (professeurs, chargés de cours ou chargés d’enseignement) qui dispensent dans des universités canadiennes principalement des cours de traduction générale ou de traduction spécialisée, à l’exclusion de la traduction littéraire, dans le cadre d’un programme de premier cycle. Nous avons en effet souhaité, pour des raisons d’homogénéité, nous limiter aux cours de transfert linguistique, les matières connexes (enseignement de la terminologie ou de la révision, par exemple) présentant des caractéristiques différentes tant sur le plan de l’enseignement que sur celui de l’évaluation des travaux. Le corpus est ainsi constitué des comptes rendus de 23 entretiens menés avec des enseignants selon trois modalités différentes (en face à face, en vidéoconférence ou par téléphone) et de dix questionnaires administrés en ligne. Une grande majorité des entretiens (soit 20) ont été enregistrés, ce qui a permis une exploitation détaillée de leur contenu a posteriori. En effet, la durée de ces enregistrements varie de 21 à 90 minutes et la moyenne s’élève à 45 minutes. Pour en faciliter l’analyse, les réponses issues des entretiens ont été retranscrites sur le site SurveyMonkey. Le tableau 1 récapitule les réponses obtenues par université. 113 Tableau 1 – Origine des répondants avant retraitement Les répondants sont issus de dix universités, qui couvrent la totalité des institutions canadiennes qui offrent un programme de baccalauréat en traduction de l’anglais vers le français. L’université Laval apparaît logiquement surreprésentée dans l’échantillon, mais près de trois quarts du total des répondants sont cependant issus d’autres universités, ce qui garantit l’exhaustivité et la représentativité de l’échantillon. Un seul retraitement a été effectué, la disqualification d’un enseignant spécialisé exclusivement en traduction littéraire. 2.2. 2.2.1. Données sociodémographiques et socioprofessionnelles Données sociodémographiques Si l’on en croit l’échantillon étudié, le corps enseignant est, à l’image de la population des étudiants en traduction, très majoritairement féminin (tableau 2). Les données issues de l’étude de Waddington ne permettent pas de tirer de conclusion quant à une possible évolution de cette situation par rapport à celle qui prévalait à la fin du siècle dernier. 114 Tableau 2 – Répartition des répondants par sexe Les enseignants qui composent l’échantillon sont pour la plupart expérimentés, puisque la tranche la plus représentée est celle des 10 à 20 ans (tableau 3) et que les enseignants les moins expérimentés (ancienneté inférieure à cinq ans) ne constituent que 18,75 % de l’échantillon. L’ancienneté statistique moyenne s’élève à 13,5 années. Ces enseignants travaillent pour la très grande majorité en présentiel (93,75 %). Au vu des informations qui figurent sur les sites Internet des différentes universités, il semble que la proportion d’enseignants à distance dans notre échantillon reflète à peu près la réalité. Tableau 3 – Répartition des répondants par tranche d’ancienneté dans la profession Enfin, la pondération entre chargés de cours et professeurs apparaît assez homogène (tableau 4). La répartition des tâches d’enseignement entre ces deux catégories n’ayant à notre connaissance encore jamais été étudiée, cet équilibre entre les statuts contribuera à fournir une représentation fidèle de cet aspect de la didactique de la traduction. Tableau 4 – Répartition des répondants par statut 115 Cependant, l’ancienneté constitue un critère discriminant entre les deux catégories, puisque 67,22 % des professeurs ont plus de dix ans d’ancienneté tandis que 57,14 % des chargés de cours exercent en enseignement depuis moins de dix ans (tableau 5). Cependant, aucune conclusion ne peut en être tirée quant à la pyramide des âges, puisque les chargés de cours que nous avons interrogés ont commencé à enseigner généralement plus tard que les professeurs. Tableau 5 – Répartition des répondants par statut et par ancienneté 2.2.2. Données socioprofessionnelles La plupart des chargés de cours ou d’enseignement travaillent à leur compte et seuls deux n’exercent pas la profession de traducteur (tableau 6). Quant aux professeurs, deux tiers ne sont pas actifs sur le marché de la traduction, et la moitié de ceux qui déclarent travailler à leur compte le font en traduction littéraire. Tableau 6 – Taux d’activité sur le marché du travail, par statut La répartition entre traduction générale et traduction spécialisée est assez homogène (tableau 7). Il est fréquent que les enseignants ne se cantonnent pas un à seul domaine d’activité, mais il leur a été demandé dans l’étude d’indiquer celui dans lequel ils enseignaient le plus souvent. On constate cependant que les professeurs sont 116 proportionnellement plus nombreux que les chargés de cours à enseigner principalement en traduction spécialisée, alors qu’il n’aurait pas été illogique d’imaginer l’inverse. Tableau 7 – Répartition par matière enseignée Pour ce qui est de la traduction spécialisée, sept domaines d’activité ont été cités, les plus représentés étant la traduction économique (neuf occurrences), la traduction juridique (cinq), la traduction technique (trois) et la traduction administrative (trois). Cette dernière est l’apanage des chargés de cours, tandis que la traduction économique est citée par six professeurs sur dix. 2.3. Les normes d’évaluation en vigueur dans les universités La deuxième partie du questionnaire visait à estimer la connaissance qu’ont les enseignants des éventuelles procédures édictées par les universités ou les départements, et des méthodes et outils qui seraient préconisés aux enseignants. Tableau 8 – Connaissance de l’existence d’une politique universitaire en matière d’évaluation Un peu plus d’un tiers des enseignants (tableau 8) déclarent être au courant d’une politique universitaire en matière d’évaluation, et la plupart d’entre eux en citent spontanément un aspect (le plus souvent l’obligation d’un examen final doté d’une pondération normée). 117 Chargés de cours et professeurs disposent à cet égard d’un degré de connaissance équivalent. Près de 53 % des répondants affirment qu’aucune politique de ce genre n’est en vigueur dans leur institution, tandis que 21,43 % des chargés de cours font part de leur ignorance sur le sujet. Cependant, l’analyse des réponses met en évidence que parmi les huit universités pour lesquelles il y a eu au moins deux répondants, il n’y en a qu’une seule où les réponses sont unanimes. Dans les sept autres cas, les réponses divergent, parfois même dans une proportion égale. Ainsi, on peut en conclure que dans la plupart des universités, un certain flou règne quant à la connaissance de l’existence d’une politique universitaire en matière d’évaluation des travaux des étudiants. En revanche, les préconisations départementales, lorsqu’elles existent, sont mieux connues des enseignants. Leur absence est évoquée dans une proportion identique par rapport à celle d’une politique universitaire (tableau 9), mais les réponses des enseignants ne divergent cette fois que dans deux des huit universités pour lesquelles il y a eu au moins deux répondants. Tableau 9 – Connaissance de l’existence de préconisations départementales en matière d’évaluation Les directives ou préconisations départementales portent sur deux axes principaux : d’une part l’utilisation recommandée d’une typologie des erreurs ou d’un barème commun, et d’autre part la fréquence, le nombre d’actes d’évaluation et les modalités d’administration afférentes. Au vu des réponses enregistrées, il semble que quatre des dix universités étudiées adoptent une approche commune sous forme de recommandations générales, orales ou écrites. Cependant, hormis pour la pondération des épreuves, pour laquelle des 118 directives doivent parfois être respectées34, le concept de liberté académique prime, à l’exception d’une université qui impose à ses enseignants en traduction de tenir au moins un examen sur table. 2.4. Modalités d’évaluation : peu de changement dans la continuité Sans surprise, l’examen et les travaux à la maison sont les modalités d’évaluation sommative plébiscitées par les enseignants (tableau 10). Tous y ont recours, les seconds étant réalisés le plus souvent individuellement, mais aussi parfois en équipe. Cette dernière modalité constituait auparavant un choix didactique visant à recréer le contexte d’une équipe de travail (traducteur, terminologue, réviseur, etc.). Elle semble avoir connu un développement récent en raison de l’augmentation de la taille des groupes, puisqu’elle permet de réduire le nombre de copies à corriger. Les travaux à la maison consistent le plus souvent en une traduction, parfois accompagnée d’autres exercices, notamment des commentaires de traduction ou des fiches terminologiques (en traduction spécialisée). Tableau 10 – Taux d’utilisation des modalités d’évaluation (en présentiel) Dans cinq cas sur six, les travaux en équipe en classe sont utilisés en cours de traduction spécialisée et ils résultent d’un choix pédagogique. Les autres modalités d’évaluation (évaluation par les pairs, auto-évaluation, présence/participation au cours) ne font que très 34 Par exemple, selon le guide pédagogique du Département d’Études françaises de l’université Concordia, les travaux en classe doivent compter pour 50 % à 70 % de la note finale, les travaux à la maison doivent compter pour 30 % à 50 % de la note finale et aucun travail ne doit compter pour plus de 30 % de la note finale. 119 peu d’adeptes. En moyenne, un enseignant a recours à 2,43 modalités différentes d’évaluation dans ses cours, c’est-à-dire qu’environ quatre enseignants sur dix ajoutent une autre modalité d’évaluation aux traditionnels examens et devoirs à la maison. On constate que cette proportion est très proche des 36,53 % indiqués dans l’étude de Waddington. 2.4.1. Une cohérence intradépartementale souvent liée à la tradition Pour 63,33 % des enseignants en présentiel, l’évaluation consiste uniquement en des examens et des traductions à la maison. L’enseignant type fait passer à ses étudiants 2,13 examens et leur demande 3,27 travaux à la maison (tableau 11). Tableau 11 – Nombre moyen d’actes d’évaluation par session (en présentiel) Si pour près de 93 % des enseignants, le nombre d’examens s’établit à deux ou à trois, on constate en revanche de fortes disparités pour ce qui est des devoirs, puisque leur nombre varie d’un à huit par session. À cet égard, le seul critère discriminant mis en évidence par l’analyse des réponses est celui de l’université d’appartenance. Ainsi, parmi les universités pour lesquelles nous avons obtenu au moins trois répondants, tous les enseignants de l’Université Laval (UL), de l’Université de Montréal (UdeMtl35) et de l’Université de Sherbrooke (UdeS) prévoient deux examens, et ceux de l’Université d’Ottawa (UdO), trois. Pour ce qui est des travaux à la maison, une certaine cohérence règne aussi à l’UL et l’UdeMtl (deux ou trois travaux), de même qu’à l’UdeS (cinq ou six travaux). En revanche, la plage de réponses pour l’UdO s’étend de deux à sept. Dans au moins deux cas, cette cohérence résulterait de l’héritage d’une tradition. Par exemple, la plupart des enseignants de l’UL auraient débuté (c’est d’ailleurs notre cas) sous 35 L’abréviation officielle de l’Université de Montréal (UdeM) ne se différencie de celle de l’Université de Moncton (U de M) que par la présence d’espaces. Par souci de clarté, nous les désignerons respectivement par les abréviations UdeMtl et UdeMct. 120 les auspices d’une chargée de cours qui a exercé pendant plus de 30 ans au sein du département et qui aurait durablement modelé l’approche d’évaluation généralement observée au sein de cet établissement. Un phénomène similaire est décrit par une enseignante de l’UdeS : « cinq ou six traductions à la maison, c’est historique, on a tendance à reprendre le plan de cours précédent ». 2.4.2. La pondération des modalités d’évaluation Les examens et travaux à la maison (individuels ou en équipe) représentent en moyenne 96 % de la note finale de la session (tableau 12). À eux seuls, les examens, dont le caractère « sacro-saint » relevé par Martínez Melis (2001 : 150) est ici confirmé, comptent pour plus de la moitié de cette note. Tableau 12 – Pondération des modalités d’évaluation dans la note finale (en présentiel) L’analyse des réponses issues des universités pour lesquelles au moins trois enseignants ont participé à l’étude met en évidence des différences de pondération tant entre les institutions qu’au sein de certaines universités elles-mêmes (tableau 13). Les examens représentent par exemple 41,25 % de la note finale à l’UdeS, mais 65 % à l’UdO. Cependant, ces deux universités présentent une cohérence interne forte en termes de pondération, tandis qu’on observe à l’UL et l’UdMct des variations importantes dans les pratiques des enseignants. 121 Tableau 13 – Variations de la pondération des examens et travaux à la maison On constate par ailleurs que pour ces cinq universités, qui représentent 80 % de l’échantillon total des enseignants en présentiel, les pondérations moyennes des examens et des travaux sont identiques à celles qui figurent dans le tableau 12, où sont représentées toutes les universités, ce qui prouve que les pratiques en matière de pondération sont assez homogènes sur l’ensemble des établissements. 2.5. 2.5.1. Les méthodes d’évaluation des traductions La prépondérance de l’analyse des erreurs Dans l’étude de Waddington (2000), l’équilibre était presque parfait parmi les enseignants entre les tenants de l’analyse des erreurs et ceux d’une approche holistique de l’évaluation (respectivement 36,5 % et 38,5 % des répondants). Les résultats issus de notre enquête font apparaître une répartition significativement différente des méthodes adoptées. Ainsi, environ les deux tiers des enseignants que nous avons interrogés déclarent utiliser l’analyse des erreurs comme méthode d’évaluation (tableau 14) et aucun n’adopte une approche entièrement holistique. 122 Tableau 14 – Répartition des méthodes d’évaluation Waddington ne fournissant pas le détail de l’échantillon étudié, nous ne pouvons que supputer les raisons de ces écarts, qui pourraient être expliqués par exemple par l’influence de l’école canadienne de traduction, l’origine des répondants ou le type de cours enseignés (l’approche holistique est en effet généralement associée à la traduction littéraire). Ce dernier paramètre constitue d’ailleurs un critère fortement discriminant dans le choix de la méthode employée, puisque 82,35 % des enseignants en traduction spécialisée ont recours à l’analyse des erreurs, contre seulement 46,67 % pour les cours de traduction générale (tableau 15). Tableau 15 – Répartition des méthodes d’évaluation par domaine d’activité Les raisons invoquées par les enseignants qui recourent à une approche combinée s’articulent autour de trois axes : un souci de conformité administrative (certaines universités demandent à ce que les notes soient attribuées en lettres), un désir de pouvoir moduler le résultat mathématique issu de l’analyse des erreurs en fonction de paramètres généraux ou externes, et le souhait d’éviter les récriminations des étudiants au sujet de détails de correction. Le premier motif mis en avant ne nous semble pas suffisant pour justifier à lui seul l’utilisation d’une approche combinée, puisque toutes les universités disposent d’un tableau d’équivalence entre les notes en chiffres et celles en lettres. Les commentaires ci-dessous illustrent les deux autres arguments. 123 Donner une note en lettre permet de noter en fonction de la longueur du texte et de la difficulté effective du texte. Des fois, on pense qu’on a bien choisi un texte, mais si tout le monde se plante, peut-être qu’il était trop difficile pour le niveau du groupe. Le fait de donner une lettre me permet de changer la note de catégorie si je crois qu’elle ne reflète pas la valeur de la copie. J’ai fait ça une fois [l’analyse des erreurs] au tout début de ma carrière et mal m’en a pris dans la mesure où ça faisait la file devant mon bureau pour venir pinailler 0,3 % à cause d’un mot. Pour les mêmes raisons que celles évoquées précédemment au sujet des modalités d’évaluation, l’appartenance à un département joue ici aussi un rôle fédérateur quant au choix de la méthode employée : dans les cinq universités pour lesquelles au moins trois enseignants ont participé à l’étude se dégage une majorité souvent franche pour l’une ou l’autre des approches (tableau 16). Tableau 16 – Répartition des méthodes d’évaluation par université Enfin, il apparaît que 83,33 % des enseignants en début de carrière (moins de cinq ans d’ancienneté en enseignement) privilégient la méthode de l’analyse des erreurs, dont le caractère rigoureux apparaît peut-être plus à même de réduire le stress lié à une situation à laquelle sans doute peu ont été préparés. 124 2.5.2. Le barème de correction, un outil largement répandu Le barème de correction est un outil utilisé par 81,25 % des enseignants (tableau 17). Même si le choix d’une approche ne préjuge pas de l’usage d’un barème, les enseignants qui pratiquent l’approche combinée sont logiquement plus nombreux à ne pas avoir recours à cet outil (27,27 % d’entre eux contre 14,29 % des tenants de l’analyse des erreurs). Tableau 17 – Taux d’utilisation des barèmes de correction Cependant, cet écart s’explique principalement par la démarche adoptée, la situation pouvant être schématiquement résumée comme suit : Delisle d’un côté, le Sical III de l’autre. En effet, plusieurs universités utilisent un barème inspiré de la typologie des erreurs proposée par Delisle dans La traduction raisonnée (2013 : 30-32), le manuel didactique le plus couramment utilisé en enseignement de la traduction au Canada. Ce barème repose sur la distinction entre « fautes de langue » et « fautes de traduction ». L’adaptation qui en a été faite à l’Université Laval figure en annexe 3. D’autres enseignants ont recours à une version dérivée du Sical III, dans laquelle sont distinguées les erreurs de langue (L) et les erreurs de traduction (T), qui sont caractérisées selon leur degré de gravité (graves ou mineures). Ainsi, alors que la typologie issue de Delisle permet une caractérisation précise des erreurs, l’utilisation même du Sical tient lieu de barème, puisque seules les lettres L et T apparaissent sur les copies, cerclées ou non selon la gravité de l’erreur. Par ailleurs, l’expérience et le statut semblent aussi jouer un rôle dans la préférence accordée à l’une ou l’autre des approches : tous les enseignants qui disposent de moins de cinq années d’expérience dans la profession ont recours à un barème, tandis que 27,78 % des professeurs déclarent ne pas en utiliser (tableau 18). Aucune université n’impose 125 l’emploi d’un tel outil et les enseignants préfèrent majoritairement utiliser un barème personnel, qui leur permet de s’adapter à différents contextes didactiques (année d’enseignement, degré de difficulté d’un texte, etc.). Tableau 18 – Taux d’utilisation des barèmes de correction selon le statut 2.5.3. Description schématique des approches employées Schématiquement, les enseignants qui utilisent l’analyse des erreurs déclarent procéder de la façon suivante : annotation de la copie à l’aide des codes de correction présents sur le barème, indication d’explications ou d’une solution en cas d’erreur, décompte des points perdus au regard du barème et calcul de la note par déduction des points à partir d’une base 100. Quant aux enseignants qui recourent à une approche combinée, ils décomptent généralement les erreurs en les classant selon les deux catégories ou les deux degrés de gravité du Sical III, puis utilisent ces informations en conjonction avec leur perception de la qualité générale de la copie pour donner une note sous forme de lettre. Le tableau 19 présente un exemple de grille d’aide à la décision utilisée par une enseignante. 126 Tableau 19 – Exemple de grille utilisée dans une approche combinée Indépendamment de l’approche utilisée, la plupart des enseignants procèdent en deux étapes. Au cours de la première, ils procèdent à un relevé des erreurs, généralement en corrigeant copie par copie pour un même paragraphe ou segment du texte, ce qui permet de s’assurer de la cohérence et de l’équité de la correction. Cette étape constitue aussi pour certains la possibilité de classer les copies par niveau de qualité et d’affiner la pondération du barème de façon à s’assurer d’une moyenne satisfaisante. On note ici une dichotomie entre les partisans de la correction approfondie, pour qui toute erreur doit être signalée, et les tenants d’une approche que nous pourrions qualifier de docimologique, dans laquelle l’objectif est d’arriver à une moyenne satisfaisante, c’est-à-dire proche des niveaux habituellement constatés et susceptible de ne pas provoquer un émoi inhabituel chez les étudiants. La répartition des enseignants entre ces deux tendances apparaît assez homogène, mais selon un répondant, il s’agirait là d’un faux problème, puisque « d’après [son] expérience, sur un texte de 250 mots, les difficultés finissent généralement par s’équilibrer entre les textes et les notes moyennes sont proches ». Au cours du second passage, 127 l’éventuelle double pénalisation des erreurs répétées est neutralisée et la note est apposée sur la copie au vu du décompte des points perdus (analyse des erreurs), auquel peut s’ajouter le jugement global de l’enseignant (approche combinée). Parmi les enseignants que nous avons interrogés, rares sont ceux qui ne suivent pas l’un des deux schémas décrits précédemment. Néanmoins, une exception mérite à notre avis d’être mentionnée : une enseignante a abandonné la méthode stricte de soustraction des points perdus, qu’elle jugeait trop démoralisante pour les étudiants, et utilise désormais l’approche suivante : trois critères sont évalués, dont deux relèvent d’une analyse des erreurs (exactitude de sens et qualité de la langue) et le troisième d’une approche holistique (clarté et style). Chacun de ces critères pèse pour un tiers de la note totale. Cette approche, dont les principes sont similaires à ceux exposés par Gile (1992 : 261) et rappelés au chapitre II, présente à notre avis un double intérêt didactique : d’un côté, il permet à l’étudiant de ne pas être pénalisé outre mesure pour un des critères, et de l’autre côté, il offre tant à l’enseignant qu’à l’apprenant une lecture directe des points forts et des faiblesses de ce dernier. Ce diagnostic favorise grandement une prise de conscience chez l’étudiant et la mise en œuvre d’un processus de remédiation. 2.6. L’examen Même si la prégnance de l’examen est remise en cause par Martínez Melis (2000 : 150) et Kelly (2005 : 132), il n’en reste pas moins à notre avis une composante incontournable et indispensable en enseignement de la traduction : en 2000 (voir l’étude de Waddington) comme en 2014, tous les enseignants y ont recours pour valider les acquis de leurs étudiants. 2.6.1. La préparation des examens Dans l’étude de Waddington, entre 42,3 % et 61,54 %36 des examens ne consistaient qu’en la traduction d’un texte. La réalité canadienne de 2014 (voir tableau 20) se situe au milieu 36 Cette approximation résulte d’une formulation ambiguë dans le questionnaire de Waddington. 128 de cette fourchette, ce qui porte à croire à une stabilité dans le temps et dans l’espace de l’usage de cette modalité d’évaluation. Tableau 20 – Typologie des activités d’examen (enseignement en présentiel) Le choix des activités n’apparaît que partiellement corrélé au domaine d’enseignement. Que ce soit en traduction générale ou en traduction spécialisée, la proportion des enseignants qui ne demandent que la traduction d’un texte reste comparable (tableau 21). En revanche, c’est en traduction générale qu’il est demandé aux étudiants de commenter leur traduction, tandis que les aspects théoriques ou notionnels sont privilégiés dans une proportion légèrement supérieure en traduction spécialisée. Tableau 21 – Typologie des activités d’examen selon le domaine de traduction Le processus de sélection des textes utilisés pour les examens repose avant tout sur la nature des difficultés qu’on y trouve (tableau 22). L’objectif premier des enseignants est donc d’évaluer les apprenants sur la matière étudiée au cours de la session, notamment en 129 traduction générale (83,33 % le placent en première position, contre 37,50 % en traduction spécialisée). Tableau 22 – Classement des critères de sélection des textes d’examen La thématique du texte est logiquement placée en première position par 50 % des enseignants en traduction spécialisée, tandis que le réalisme professionnel n’apparaît pas pour ces derniers, de façon surprenante, comme un critère significativement plus important qu’en traduction générale (tableau 23). Tableau 23 – Importance du critère de réalisme d’un texte En résumé, on constate que dans la moitié des cours de traduction générale, qui sont pourtant généralement offerts au début de la formation et qui visent principalement à l’acquisition d’une méthode de travail, une approche uniquement axée sur le produit est privilégiée lors des examens. 130 2.6.2. L’administration des examens : un virage technologique Waddington (2000 : 275) concluait son étude en déclarant que l’examen type consistait en la traduction d’un texte de 250 à 350 mots en deux ou trois heures (dans 59,6 % des cas), ce qui correspond à une productivité attendue estimée entre 100 et 125 mots à l’heure. Au Canada, il apparaît que 76,67 % des examens sont de cette durée (tableau 24), la limite supérieure de trois heures correspondant généralement à la durée d’un cours. Tableau 24 – Durée moyenne d’un examen La productivité horaire la plus souvent attendue de la part des enseignants est comprise entre 100 et 125 mots (tableau 25). On constate que ces chiffres sont équivalents à ceux de Waddington, et selon la remarque d’un enseignant expérimenté, la longueur des textes proposés aux étudiants est restée stable au cours de la dernière décennie. Tableau 25 – Productivité attendue de la part des étudiants lors d’un examen Aucune différence significative de la longueur des textes n’est observable entre traduction générale et traduction spécialisée. En revanche, l’analyse par statut met en évidence un niveau d’exigence supérieur chez les professeurs (tableau 26) : 17,65 % d’entre eux 131 attendent des étudiants une productivité supérieure à 150 mots par heure, tandis que les chargés de cours sont proportionnellement deux fois plus nombreux à se contenter d’un ratio inférieur à 100 mots par heure. Tableau 26 – Productivité attendue de la part des étudiants, selon le statut En 2000, Waddington n’abordait même pas le sujet des modalités matérielles de la tenue des examens. Le développement rapide de l’utilisation des outils informatiques dans le milieu professionnel de la traduction a précédé un mouvement similaire au sein des universités, qui sont maintenant pour la plupart équipées de laboratoires permettant l’accueil de groupes d’étudiants pour la passation des examens. De fait, plus de la moitié des répondants (tableau 27) ont indiqué privilégier l’utilisation des laboratoires informatiques pour leurs examens. Les principales raisons évoquées sont la cohérence pédagogique (les étudiants travaillent sur ordinateur tout au long de la session), la volonté de se rapprocher des conditions réelles d’exercice du métier et la pression des étudiants envers les enseignants réfractaires au changement de support. Il est à noter que les jeunes (en termes d’expérience) enseignants plébiscitent cette modalité à 83,33 %, alors que les autres répondants ne sont que 42,31 % à la préférer aux autres. Tableau 27 – Modalités matérielles de déroulement des examens 132 Un enseignant en présentiel sur six se rapproche des conditions de l’enseignement à distance en faisant passer les examens à la maison. Les justifications apportées touchent en premier lieu la difficulté d’obtenir un laboratoire pour les grands groupes, mais le risque de problèmes informatiques est également invoqué, ainsi que l’inconfort des laboratoires. Il y a toujours des problèmes informatiques dans les laboratoires, alors il vaut mieux faire les examens à la maison. Je ne vois pas d’inconvénient à cette formule. De par ma propre expérience, quand il y a plein d’ordinateurs les uns à côté des autres, personnellement ça me donne un mal de tête assez effrayant. Ce n’est pas la relation avec l’informatique qui est le problème, mais l’étroitesse d’espace. C’est beaucoup plus agréable à la maison, dans un contexte familier. Cette pratique rencontre cependant une opposition chez certains enseignants, qui la qualifient de « blague absurde » ou de « situation dans laquelle il planera toujours un doute ». Pour notre part, nous considérons que l’obstacle du manque de place en laboratoire peut souvent être contourné (par exemple en réservant un second laboratoire et en y plaçant un surveillant) et que les risques liés à une panne informatique sont au contraire moindres dans un local universitaire, où les ordinateurs bénéficient d’une maintenance professionnelle et de mises à jour fréquentes, qu’à la maison. Il est à noter que les chargés de cours sont plus nombreux à privilégier le laboratoire, tandis que les professeurs sont près d’un quart (tableau 28) à opter pour l’examen à distance. Tableau 28 – Modalités matérielles de déroulement des examens, selon le statut Enfin, l’examen sur table recueille 30 % des suffrages, également répartis entre chargés de cours et professeurs. Pour certains enseignants, cette solution résulte d’une contrainte (indisponibilité des laboratoires, demande expresse de l’administration universitaire, peur 133 de la triche), tandis que d’autres souhaitent que les étudiants soient évalués sur leurs compétences intrinsèques : Les étudiants doivent être lettrés, c’est en écrivant qu’ils prennent conscience de leur niveau. C’est la seule façon de vérifier que les étudiants savent écrire. Sinon, comment ferontils en examen d’embauche? D’autres enseignants décrient cette méthode, que l’un qualifie de « dinosauresque », au nom des principes évoqués précédemment. Cette nouvelle bataille d’Hernani trouve par ailleurs un écho dans le monde professionnel, comme nous avons pu le constater lors d’entrevues menées auprès de responsables du recrutement. S’il est vrai que les organismes publics – par exemple le Bureau de la traduction, l’Organisation des Nations Unies ou le Conseil des traducteurs, terminologues et interprètes du Canada (CTTIC) – privilégient le papier pour leurs examens de recrutement ou d’agrément, les deux conceptions s’opposent aussi dans les entreprises du secteur privé, même si l’utilisation de l’informatique y apparaît largement prépondérante. Quant aux ressources autorisées pendant l’examen, 81,25 % des enseignants qui utilisent les laboratoires n’imposent aucune restriction aux étudiants, les autres leur interdisant seulement l’usage de Google Traduction (tableau 29). Les moyens de communication de toute nature sont prohibés dans tous les cas. Pour ce qui est des examens tenus à la maison, aucun contrôle n’est évidemment possible. Tableau 29 – Ressources autorisées pour les examens en laboratoire Curieusement, 22,22 % des enseignants qui font passer les examens sur table autorisent à leurs étudiants l’utilisation d’outils informatiques (tableau 30). Selon un des répondants, 134 pour qui l’examen en classe ne résulte pas d’un choix, « les étudiants doivent apprendre à gérer Linguee et Google Trad, ce sont des outils comme les autres ». Cette approche soulève à notre avis des problèmes d’équité, puisque tous les apprenants ne sont pas équipés d’un ordinateur portable. Par ailleurs, un des principaux avantages de l’examen en classe, à savoir sa valeur certificatrice, est battu en brèche par la possibilité qu’ont les étudiants de communiquer avec l’extérieur en toute impunité. Tableau 30 – Ressources autorisées pour les examens sur table On constate par ailleurs que la traduction à livres fermés, pratiquée lors des examens par 26,9 % des enseignants dans l’étude de Waddington (2001 : 273), n’a plus cours en 2014. Cette méthode est cependant toujours utilisée par la seule ONU pour le recrutement de ses traducteurs. En conclusion, la comparaison de nos résultats avec ceux de Waddington met en évidence une continuité des méthodes sur le fond (prévalence de l’examen comme principal moyen d’évaluation des compétences des apprenants) et une rupture sur la forme. Cependant, cette révolution technologique n’a été encore que partiellement prise en compte, puisqu’elle n’a pas donné lieu à une hausse parallèle de la productivité attendue des étudiants. On assiste donc d’une façon générale à un décalage grandissant sur ce sujet entre les attentes des enseignants et les exigences du marché du travail, la productivité attendue des jeunes traducteurs étant passée en quelques années de 1200 à 2000, voire à 2500 mots par jour. 135 2.7. La dématérialisation progressive des flux de correction des travaux Le papier demeure le principal vecteur de remise des travaux – examens et devoirs à la maison – des étudiants (tableau 31). L’absence de données antérieures ne permet pas de mesurer la progression du dépôt électronique, mais il ressort des entretiens que le développement des plateformes d’enseignement a contribué à la dématérialisation des échanges entre étudiants et enseignants. Tableau 31 – Modes de remise des travaux des étudiants en présentiel La pression des étudiants constitue un autre facteur non négligeable. En effet, le dépôt électronique des travaux ne présente pour eux que des avantages et plusieurs enseignants nous ont déclaré avoir modifié leurs habitudes en raison de demandes pressantes. L’exemple de l’Université Laval illustre ce processus de « contagion » : ce n’est qu’en 2009 que les premières remises dématérialisées de travaux ont eu lieu, deux ans avant la mise en service de la plateforme d’enseignement, et ce sont maintenant 80 % des enseignants qui privilégient ce mode de remise. Cette université étant surreprésentée au sein de l’échantillon, le retraitement des données met en évidence que le papier reste largement prépondérant au sein des autres universités, comme on peut le constater sur la figure 14. 136 Figure 14 – Flux de correction des travaux des étudiants en présentiel, hors Université Laval Ainsi, plus de sept copies sur dix sont encore imprimées par les étudiants en présentiel (hors Université Laval) et seules 19,05 % des copies restent dématérialisées tout au long du processus d’évaluation. Dans le cas spécifique de l’Université Laval, ce dernier taux s’élève à 66,66 %. L’accueil très positif des étudiants à cette procédure que nous avons entamée en 2010 et les échanges avec nos collègues qui ont eu lieu tout au long de la présente étude contribuent sans doute à expliquer cette particularité. Une large majorité (76,93 %) des copies remises électroniquement sont corrigées directement à l’écran, le plus souvent à l’aide de la fonction Commentaire du logiciel Word (tableau 32). Deux enseignants annotent les copies directement à l’écran, en utilisant un iPad dans un cas, et un outil non précisé dans l’autre. Tableau 32 – Méthode de correction des travaux remis électroniquement (en présentiel) 137 2.8. L’évaluation, une part importante de la charge de travail des enseignants À la question « combien de temps pensez-vous consacrer à la correction d’un devoir ou d’un examen? », la réponse spontanée la plus fréquente a été « trop! ». Il n’est pas facile pour un enseignant d’estimer hors contexte le temps passé à corriger un travail, d’autant plus que les approches sont variées : certains corrigent d’un seul trait, tandis que d’autres étalent la correction sur plusieurs jours. Cependant, la plupart de nos entretiens se sont déroulés en cours de session universitaire, et les répondants venaient souvent d’achever un travail d’évaluation de copies, ce qui a facilité l’estimation du temps passé à cette tâche. Au vu des réponses reçues, qui vont de moins de 10 minutes à une heure (tableau 33), on peut estimer à 31 minutes le temps de correction moyen par copie. Un peu plus de la moitié des enseignants déclarent y passer entre 20 et 40 minutes. Le type de cours enseigné et le statut ne constituent pas des facteurs réellement discriminants, pas plus que l’approche de correction. Un professeur mettra donc 34 minutes à corriger une copie à l’aide d’une approche combinée, tandis qu’un chargé de cours y passera 29 minutes en mettant en œuvre une analyse des erreurs. Tableau 33 – Temps de correction moyen passé par copie En revanche, la méthode mise en œuvre pour la correction est à l’origine d’écarts importants : un enseignant travaillant sur une copie papier y consacrera en moyenne environ 26 minutes, alors qu’un autre utilisant la fonction Commentaire de Word y passera près de 40 minutes. Le tableau 34 met en évidence que 63,63 % des adeptes de la correction numérique consacrent plus de 30 minutes à chaque copie. 138 Tableau 34 – Temps de correction moyen passé par copie en correction électronique Cette surcharge de travail ne s’explique pas par la méthode de saisie, puisque la majorité des enseignants déclarent taper au clavier plus vite qu’ils n’écrivent à la main. C’est en fait la possibilité qui leur est offerte d’apporter plus de commentaires que sur une copie papier qui apparaît être l’élément moteur du choix de ces enseignants « numériques ». L’avantage de la lisibilité de ces commentaires a également été mis en avant. Par ailleurs, le fait de pouvoir faire parvenir leur copie aux étudiants avant le cours est cité comme étant un élément sécurisant pour l’enseignant. Je peux mettre beaucoup plus de commentaires que sur une copie papier. C’est plus agréable, ça me donne le sentiment d’expliquer davantage […]. C’est très bien de pouvoir remettre les copies avant le cours, ça évite le choc psychologique de la note. On a toujours l’angoisse des étudiants contestataires. En résumé, puisque l’enseignant type prévoit dans son plan de cours en moyenne 2,13 examens et 3,27 devoirs (en page 120), on peut en déduire qu’il consacrera, pour chaque étudiant, environ deux heures et 47 minutes à corriger les travaux de la session. Pour des groupes de 30 et 45 étudiants, cela correspond respectivement à un total d’environ 84 et 125 heures. Pour un chargé de cours rémunéré sur la base de 225 heures travaillées, l’acte d’évaluation représente donc à lui seul entre 37 et 55 % de la charge de travail. 2.9. La rétroaction en classe La rétroaction constitue un acte important aux yeux des enseignants, qui sont 90 % à y consacrer au moins 30 minutes en classe (tableau 35). Outre la copie elle-même, la rétroaction apportée aux étudiants peut se matérialiser sous différentes formes (documents imprimés ou numériques présentés ou remis aux étudiants), qui sont détaillées en page 174. 139 Tableau 35 – Temps consacré à la rétroaction d’un travail (en présentiel) La procédure suivie par la majorité des enseignants est la suivante : remise des copies aux étudiants, présentation des principales difficultés posées par le texte, proposition d’une traduction et réponse aux questions. Selon plusieurs enseignants, ces dernières sont cependant plus nombreuses lors de la pause ou après le cours, et donc posées alors de façon individuelle. Un enseignant met cette relative passivité des étudiants sur le compte de leur désintérêt vis-à-vis de l’acte d’évaluation : « Les étudiants détestent qu’on parle trop des corrections en cours, ils veulent juste récupérer leur copie. Ils veulent une rétroaction individuelle, les annotations sur les copies suffisent ». Cette assertion ne nous apparaît cependant pas fondée, puisqu’aucun des enseignants qui font parvenir les copies aux étudiants préalablement au cours – et c’est d’ailleurs notre cas depuis quatre ans – ne nous a signalé un problème d’absentéisme qui viendrait corroborer cette affirmation. 2.10. L’évaluation vécue par les enseignants La façon dont les enseignants vivent l’évaluation a été mesurée sous trois angles : leur degré de communication avec leurs collègues sur ce sujet, leur sentiment vis-à-vis de quatre assertions (question à choix multiples) et leur vision du rôle de l’évaluation (question ouverte). 2.10.1. L’évaluation, une activité solitaire Waddington (2000 : 274) s’étonnait du peu de communication entre les enseignants au sujet des pratiques d’évaluation de leurs collègues. Dans son étude, seulement 24 % des 140 répondants démontraient de l’intérêt en la matière. Au vu du tableau 36, la situation n’a guère évolué en 2014, puisque 77,42 % des enseignants déclarent que l’évaluation ne constitue jamais ou que rarement un sujet de discussion. Tableau 36 – L’évaluation sommative comme sujet de discussion entre les enseignants Par ailleurs, six des sept réponses « parfois » ou « souvent » sont issues de l’Université Laval et de l’Université de Sherbrooke. Il apparaît que cette dernière est la seule où l’évaluation fait l’objet d’une réflexion départementale, qui, selon un enseignant, a été déclenchée par le souhait de remettre à plat des pratiques perpétuées par la tradition et reproduites année après année sans prendre en compte les évolutions du contexte d’enseignement. Ainsi, la situation qui prévaut dans la majorité des universités reflète un mutisme certain. J’ai constaté qu’il y a un grand malaise [au sujet de l’évaluation]. On ne veut pas partager, on ne sait pas trop où on s’en va. On n’en parle pas beaucoup [de l’évaluation], parce que l’université est un milieu qui est dominé par la peur. C’est particulièrement vrai au Québec en raison de l’insécurité linguistique qui nous caractérise. C’est très difficile de savoir ce que font les autres collègues. C’est un sujet tabou. 2.10.2. Le stress lié à l’évaluation Si l’évaluation constitue un motif de stress bien connu chez les étudiants, elle représente également une grande source d’insatisfaction chez les enseignants. La majorité des enseignants-chercheurs ressentent une grande insatisfaction lors des périodes de correction ressentie comme une « corvée » ou une « tâche ingrate » […]. Mais c’est surtout le niveau des copies qui provoque un tel malaise chez les enseignants-chercheurs: « lorsque je vois les résultats je me sens mal, je culpabilise, je me dis que peut être j’aurai dû enseigner d’une autre manière », « si on trouve des notes qui ne correspondent pas à l’effort déployé toute l’année, on se sent un peu stressé, on a investi beaucoup de temps pour rien ». Hechiche-Salah et coll. (2003 : 1437) 141 Ainsi, l’évaluation est vécue comme une source de stress par 34,48 % des répondants (tableau 37). Tableau 37 – Réponses à la question : « comment vivez-vous l’évaluation? » Ce syndrome touche principalement les femmes : 40 % s’avouent stressées, contre seulement 22,22 % des hommes. Les commentaires qui illustrent une position défensive vis-à-vis du processus d’évaluation émanent d’ailleurs tous d’enseignantes : L’évaluation, c’est pour leur faire plaisir [aux étudiants], pour moi, c’est un vrai cauchemar! C’est la tâche la plus ingrate pour les professeurs. Je m’attends toujours à avoir des contestations. Je ressens toujours une certaine angoisse quand je remets des copies, parce que j’ai peur de m’être trompée. Je remarque le soulagement après le cours. Le climat d’enseignement serait meilleur sans [évaluation]. Certains étudiants sont méchants, ils découragent. L’évaluation ne sert qu’à constater les dégâts. C’est un exercice difficile pour les enseignants, car les étudiants sont plus réactifs et revendicatifs qu’avant. 2.10.3. Typologie des conceptions de l’évaluation Au regard des réponses obtenues, on peut esquisser des enseignants la typologie suivante quant à leur conception du rôle de l’évaluation : a. Les convaincus Près de quatre enseignants sur dix (tableau 37) considèrent l’acte d’évaluation comme un outil didactique primordial. C’est essentiel en traduction, c’est la formation même, l’essence même. En traduction, ça fonctionne par essais/erreurs. Ça ne sert à rien de lire La traduction raisonnée si l’on n’applique pas ses principes dans de vrais textes. 142 L’évaluation en général sert, entre autres, à voir ce que l’étudiant a saisi des exposés magistraux et des exercices qui la précèdent. C’est beau de connaître la notion d’adjectif de relation et d’être capable de cibler la difficulté dans de courts extraits, p. ex., mais évitera-t-il le piège dans un « vrai » texte? L’évaluation en temps limité, elle, renseigne l’étudiant au moins autant qu’elle me renseigne quant à ce qu’il risque de valoir en contexte de stage ou d’emploi. On peut diagnostiquer les problèmes et y travailler par la suite. Je sais que cela fait vieille école, mais l’évaluation est très utile. Sans évaluation, on resterait toujours dans l’approximation. Elle sert à faire comprendre à l’étudiant qu’il y aura toujours une zone grise. Les étudiants écoutent plus quand on leur met une note. La rétroaction des étudiants, c’est ce qui sert à intervenir le mieux. Je peux vérifier s’ils ont intégré mes commentaires dans le devoir suivant. L’évaluation sert à valoriser l’étudiant, à lui donner un message plus substantiel que « 90 %, t’es bon », à lui dire où il en est rendu par rapport à sa progression. L’évaluation doit permettre à l’étudiant de prendre en main son apprentissage. Cette valorisation du rôle de l’évaluation se reflète dans les habitudes de communication des enseignants concernés, puisque seulement 7,69 % de ceux qui voient dans l’évaluation un outil primordial déclarent ne jamais aborder le sujet avec leurs collègues, alors que cette proportion s’élève à 41,94 % pour l’ensemble des répondants. b. Les positifs Un peu plus de la moitié des enseignants (tableau 37) considèrent l’évaluation comme un outil d’enseignement parmi d’autres, mais lui confèrent un rôle positif en tant qu’outil de validation des acquis et de régulation des apprentissages. L’évaluation sert à donner l’heure juste à l’étudiant sur la valeur de son travail et à donner l’heure juste à un éventuel employeur qui va étudier le relevé de notes. Mon évaluation est réussie si je pense que ma note reflète la valeur de la copie. [L’évaluation sert] à vérifier les connaissances acquises : l’étudiant comprend-il le thème qui a été abordé en classe? Mobilise-t-il le mot juste qui figure dans les notes de cours qu’il a téléchargées à partir du site du cours? À surveiller la correction linguistique : l’étudiant évite-t-il les anglicismes? Maîtrise-t-il la syntaxe et la grammaire? À piquer la curiosité / inciter à la débrouillardise : l’étudiant sait-il éviter un piège? A-t-il un œil critique sur le texte original? Fait-il preuve d’initiative pour vérifier les données et les rectifier au besoin? L’évaluation sert à évaluer la qualité des textes rédigés par les étudiants et à souligner les erreurs qu’ils commettent afin que ceux-ci améliorent leur jugement, leurs recherches et la qualité de leur rédaction. L’évaluation et la rétroaction en classe permettent de développer le sens critique des étudiants en matière de langue française. 143 L’évaluation sert à s’améliorer, pas seulement à donner des notes, mais aussi à orienter les énergies, à guider les apprentissages. L’évaluation sert à vérifier les acquis et ajuster l’enseignement en fonction. L’évaluation sert à guider les étudiants dans leur cheminement et à les aider à cerner leurs forces et leurs faiblesses. c. Les traditionalistes Avec ces visions positives ou très positives du rôle de l’évaluation cohabitent des conceptions plus traditionnelles d’où ressort parfois l’opposition entre les aspects formatifs et sommatifs de l’évaluation, ainsi qu’une vision administrative du processus. L’évaluation formative sert à établir des diagnostics (pour l’enseignant) et à s’autoévaluer (pour l’étudiant). L’évaluation sommative sert à valider les acquis. L’évaluation sommative est frustrante, car il n’y a pas de rétroaction possible pour l’examen. L’évaluation sert à donner des notes parce que l’université en veut. L’évaluation sert à poser un jugement sommatif, par obligation. Il faut distinguer le sommatif et le formatif. Le sommatif sert à donner des notes et le formatif sert à leur donner de la rétroaction, à les motiver, à les situer dans leur progression. d. Les statisticiens Les membres de cette dernière catégorie mettent principalement l’accent sur la note. Tous ont déclaré ne jamais aborder le sujet de l’évaluation avec leurs collègues. Pour moi, une évaluation réussie, c’est quand personne n’a en bas de C. L’évaluation sert à leur donner des notes et à vérifier les apprentissages. J’ai atteint mon objectif quand je n’ai pas ou très peu d’échecs, je regarde la moyenne, la courbe. Il faut que les résultats suivent une courbe de Gauss. Je suis satisfaite quand j’arrive à une moyenne satisfaisante. Quand il y a de très bonnes notes, je me dis que c’était possible de bien réussir. 2.11. Conclusions de l’étude Quatre caractéristiques de l’évaluation didactique en traduction n’ont pas changé depuis l’étude de Waddington : la prépondérance de l’examen, la prédominance d’une approche 144 basée sur le produit plutôt que sur le processus, la diversité – voire l’hétérogénéité – des approches individuelles et le statut tabou de l’évaluation. En revanche, les méthodes utilisées pour la correction des travaux diffèrent largement de celles recensées par Waddington, pour des raisons que l’absence de détails émanant de cette étude nous empêche d’analyser. Tous les enseignants canadiens ont recours à l’analyse des erreurs, un tiers d’entre eux la complétant par une approche holistique. Par ailleurs, l’intégration des technologies dans les différentes phases du processus d’évaluation (administration des travaux et examens, correction des copies et rétroaction) reste encore balbutiante. Ainsi, l’usage du papier en tant que support de correction reste largement prépondérant dans sept des huit universités de notre échantillon où l’enseignement se fait en présentiel. Dans ses procédures, l’évaluation reste donc encore marquée par la tradition, mis à part quelques rares exceptions, et n’a pas encore vraiment pris en compte les modifications du contexte didactique et l’évolution du métier de traducteur. En particulier, l’usage d’outils désormais incontournables dans la profession telle que les mémoires de traduction, dont l’utilisation est pourtant enseignée dans toutes les universités, reste totalement absent des pratiques d’évaluation. Cependant, le virage technologique est bien amorcé, puisque plus de 80 % des enseignants récemment entrés dans la profession font passer les examens en laboratoire. Si l’évaluation ne constitue que rarement un sujet sur lequel les enseignants communiquent, elle n’en représente pas moins une part essentielle de leur charge de travail et un sujet d’intérêt ou de préoccupation, d’autant plus que la plupart des répondants ont pointé l’augmentation récente – et parfois massive – de la taille des groupes d’étudiants. De façon schématique, 40 % des enseignants lui confèrent un rôle essentiel, 50 % un rôle positif et 10 % y voient davantage un point de passage obligatoire administrativement parlant dans un contexte universitaire. L’importance et l’intérêt de l’acte d’évaluation sont donc très largement perçus par la communauté enseignante, et une approche collaborative de réflexion sur le sujet a même été entamée dans l’une des universités étudiées. Enfin, le thème de l’objectivité ou de la subjectivité (termes souvent remplacés par celui de validité aujourd’hui) de l’évaluation n’a été évoqué par aucun enseignant. Si, comme nous l’avons vu au chapitre II, cette question a souvent été abordée par les traductologues, il apparaît qu’elle ne constitue pas un sujet de préoccupation majeure parmi les enseignants 145 en traduction. Ceci tient à notre avis aux modes d’évaluation utilisés au Canada. En effet, l’analyse des erreurs telle qu’elle y est pratiquée, même si elle s’est attiré les foudres de certains traductologues, présente à notre avis l’indéniable l’impressionnisme de l’évaluation dénoncé par Delisle (2001 : 210) 146 avantage d’éviter Chapitre IV : l’évaluation vue par les étudiants en traduction Dresser un état des lieux des pratiques existantes constitue une étape indispensable d’un processus de réflexion sur l’évaluation didactique en enseignement de la traduction. Cependant, il nous apparaît indispensable de recueillir la vision des premiers intéressés, les étudiants, en complément aux informations recueillies auprès des enseignants, et éventuellement de confronter leurs perceptions respectives sur des sujets précis, dont la rétroaction. 1. L’évaluation, un paramètre incontournable de la vie étudiante L’évaluation constitue un élément central de la vie d’un étudiant universitaire. Allignol (2007 : 73) souligne ce que tous les enseignants ressentent, c’est-à-dire que les étudiants « sont perpétuellement en attente de notes ». L’importance attachée à l’évaluation peut être mise en évidence de façon simple et empirique : ainsi, après avoir mis en ligne le contenu d’un cours à l’automne 2013, mais avant que ne se tienne le premier cours de cette session, nous avons interrogé les statistiques de consultation du site de cours (voir figure 15). Figure 15 – Statistiques de consultation d’un site de cours (source : plateforme d’enseignement de l’Université Laval) On constate qu’environ la moitié des étudiants inscrits ont consulté la description et les informations générales du cours, mais qu’une très large majorité (87 %) ont visité les pages liées à l’évaluation, ce qui signifie qu’un nombre significatif d’étudiants ne se sont intéressés qu’à cette partie, qui, à elle seule, a représenté plus de 52 % des visites totales. Comme le rappelle Romainville (2002 : 33), « Si l’évaluation apparaît aux enseignants comme la toute fin d’un processus, elle est, par contre, le début de toute chose pour les 147 étudiants ». Il rapporte que les résultats de nombreuses recherches convergent vers un même résultat : « les étudiants sont véritablement "pilotés" par les exigences de l’évaluation » et ont tendance à y adapter leur manière d’étudier. De plus, il souligne que la perception que les étudiants universitaires ont de l’évaluation a été encore peu étudiée et qu’elle est donc mal connue. Il s’agit là d’une autre raison pour laquelle nous avons jugé nécessaire de recueillir les opinions des étudiants en traduction sur le sujet. 2. Présentation de l’étude et du corpus Méthodologie de l’étude 2.1. À la suite de nombreux échanges informels avec des étudiants et parallèlement à la préparation de l’enquête menée auprès des enseignants, nous avons élaboré un questionnaire visant à collecter des informations sur les sujets suivants : - leur vision du concept d’évaluation, - leurs attentes vis-à-vis de l’évaluation, - les pratiques et comportements en matière de remise d’évaluation, - leur jugement quant à l’efficacité et la validité des méthodes d’évaluation en termes de préparation au marché de l’emploi. Les modalités d’évaluation en vigueur au Canada ayant été recensées lors des entretiens menés avec les enseignants, nous avons volontairement axé le questionnaire destiné aux étudiants sur leur perception de l’évaluation et leurs comportements postérieurs à l’évaluation, c’est-à-dire à partir du moment où ils reçoivent leur copie corrigée. 2.2. Le questionnaire Le questionnaire, dont une version intégrale figure à l’annexe 4, compte sept parties et 22 questions. La première partie permet la segmentation de la population observée sur la base des critères suivants : université d’origine, mode d’enseignement et cheminement de l’étudiant. Les deuxième et sixième parties s’intéressent à la perception que les étudiants ont de l’évaluation. Les troisième et quatrième portent sur les procédures de remise des copies par les enseignants aux étudiants, ainsi que sur le comportement de ces derniers en 148 cette occasion. La cinquième partie concerne leur comportement postérieurement à la remise des copies. Enfin, la septième partie vise à recueillir l’avis des étudiants quant à l’adéquation des procédures d’évaluation à la préparation de leur arrivée sur le marché du travail. Dans certaines questions, il était demandé aux étudiants de classer des concepts par ordre d’importance à leurs yeux. Dans ces cas-là, la fonction de présentation aléatoire de l’ordre des items a été utilisée afin que les étudiants ne soient pas influencés par une disposition préétablie. 2.3. Présentation de l’échantillon et du corpus Le questionnaire a été soumis aux étudiants au baccalauréat en traduction de dix universités canadiennes proposant un programme de l’anglais vers le français. La liste de ces universités est identique à celle qui a été utilisée lors de l’étude menée auprès des enseignants. Le courriel d’invitation aux étudiants leur a été transmis par leur direction de programme, ce qui garantit la représentativité de l’échantillon d’un point de vue statistique, puisque tous les membres de la population étudiée ont la même probabilité d’en faire partie. Le corpus est constitué des 378 réponses reçues, dont le tableau 38 présente le détail. Tableau 38 – Origine des répondants au questionnaire avant retraitement du corpus 149 Comme pour l’étude menée auprès des enseignants, on constate une surreprésentation logique de l’Université Laval. Cependant, près des deux tiers des répondants, soit 249, sont issus d’autres universités. Par ailleurs, le courriel d’invitation n’ayant apparemment pas été transmis aux étudiants de l’Université Concordia, aucune réponse émanant de ce programme n’a été enregistrée. 2.4. Retraitement du corpus et précautions méthodologiques Du fait de la composition de l’échantillon, des retraitements préalables et des précautions méthodologiques s’imposent. 2.4.1. Retraitement du corpus Même si la plupart des programmes de baccalauréat étudiés sont d’une durée de trois ans, ceux offerts par les universités de Moncton, de Saint-Boniface et d’Ottawa s’étalent cependant sur quatre années. Pour ces trois programmes, la première année constitue une préparation à l’apprentissage de la traduction, au cours de laquelle sont dispensés principalement des cours de renforcement linguistique37 ou de culture générale38 39 , sans qu’aucun enseignement de la traduction à proprement parler ne soit abordé. Ainsi, nous avons considéré qu’un étudiant de troisième année inscrit dans l’une de ces universités pouvait être assimilé à un étudiant de deuxième année d’un autre établissement. C’est pourquoi nous avons retraité manuellement, pour les 89 étudiants concernés (voir tableau 39), la réponse à la question « en quelle année du baccalauréat suis-je? » : par exemple, les étudiants de quatrième année ont été reclassés en troisième année. Les questionnaires des cinq étudiants de première année ont été neutralisés, puisqu’ils n’ont encore jamais reçu d’évaluation portant spécifiquement sur une traduction. C’est le cas pour l’Université de Moncton : http://www.umoncton.ca/repertoire/1er_cycle/prog_arts_sc_soc_btrad.htm 38 Une initiation à la philosophie est proposée à l’Université d’Ottawa : http://arts.uottawa.ca/sites/arts.uottawa.ca/files/traductionspecfa.pdf 39 L’Université de Saint-Boniface demande à ses étudiants d’année préparatoire de suivre des cours en humanités, sciences et sciences sociales : http://ustboniface.ca/page.aspx?pid=473 37 150 Tableau 39 – Répartition par année des étudiants inscrits dans les universités offrant des programmes d’une durée de quatre ans Par ailleurs, le tableau de la répartition par année des réponses issues des universités offrant un programme d’une durée de trois ans fait apparaître (tableau 40) que quatre étudiants ont déclaré être en quatrième année. L’examen du détail de leurs réponses indique qu’il s’agit dans un cas d’une étudiante en maîtrise qui a suivi un cours de baccalauréat, et dans un autre d’une étudiante européenne en échange. Ces deux questionnaires ont également été neutralisés. Tableau 40 – Répartition par année des étudiants inscrits dans les universités offrant des programmes d’une durée de trois ans Quant aux deux derniers cas, aucun indice ne permet de déterminer s’il s’agit d’une erreur de saisie ou d’étudiants suivant un cursus à temps partiel qui pourrait expliquer un allongement de leur scolarité. Ils ont été reclassés dans la catégorie « 3e année ». Enfin, 25 étudiants n’ont pas répondu à toutes les questions. Ces réponses, même partielles, ont été conservées, à l’exception de cinq cas pour lesquels seule la première partie, portant sur l’identité du répondant, avait été renseignée. Ainsi, après retraitements, le corpus sur lequel portera notre analyse comporte 357 réponses dont le détail figure sur le tableau 41. La ligne 151 vierge de l’Université de Concordia a été supprimée pour que la lecture des tableaux soit facilitée. Tableau 41 – Origine des répondants au questionnaire après retraitement du corpus 2.4.2. Précautions méthodologiques Certaines caractéristiques du corpus retraité nécessitent la mise en œuvre de précautions méthodologiques afin d’éviter des biais statistiques. Du fait de la surreprésentation des étudiants de l’Université Laval, nous procéderons pour certaines questions à une analyse séparée de leurs réponses. En effet, la majorité de ces étudiants étant en deuxième ou troisième année, la probabilité est grande qu’ils aient suivi un, voire plusieurs de nos cours, dans lesquels les modalités d’évaluation ne reflètent pas toujours les pratiques que nous avons pu observer lors de l’étude menée auprès des enseignants. Par ailleurs, celle-ci a également mis en évidence une spécificité de cette université, à savoir la prépondérance de la correction numérique. Par ailleurs, deux universités présentent des particularités quant au mode d’enseignement : le programme de l’Université de Québec à Trois-Rivières (UQTR) est offert entièrement à distance, et celui de l’Université de Saint-Boniface (USB) est hybride. Parmi les répondants de cette dernière, 25 % étudient en présentiel et 75 % en ligne. Les caractéristiques de cette population, notamment en ce qui a trait au mode de remise des travaux ainsi qu’aux procédures d’évaluation, justifient une analyse distincte pour certaines questions. 152 2.5. Données démographiques Comme le montre le tableau 42, la répartition de la population par année d’étude est relativement homogène, ce qui permettra d’analyser l’évolution de la perception des étudiants au cours de leur formation. Le poids des étudiants de première année est légèrement supérieur pour l’Université Laval, où il atteint 43,2 %. Tableau 42 – Répartition par année d’étude La féminisation du métier de traducteur ressort clairement de la répartition hommes/femmes de l’échantillon (tableau 43). Cette proportion apparaît représentative de la réalité du marché du travail au Québec, puisque les femmes constituent 81 % de l’échantillon dans une récente enquête (ATAMESL, 2014 : 6) portant sur les professions langagières et où 81 % des répondants déclarent travailler en traduction. Tableau 43 – Répartition des répondants par sexe Cependant, cette écrasante majorité masque des écarts notables entre les universités. Par exemple, 24 % des répondants de l’Université Laval sont de sexe masculin, ce qui est représentatif de la réalité que nous pouvons observer dans les classes. En revanche, ce taux est inférieur à 10 % pour l’UdO, l’USB et l’UQO. Nous ne disposons cependant pas de données permettant de déterminer si ces pourcentages correspondent à la composition réelle des cohortes ou à la démonstration d’un intérêt plus grand pour notre étude chez les étudiantes. 153 3. L’évaluation : la perception des étudiants Si la perception de l’évaluation par les étudiants universitaires a souvent été abordée par la recherche (Robinson et coll., 2013; Lizzio et Wilson, 2013; Hamon, 2013, pour ne citer que les plus récentes), la seule étude spécifique à l’enseignement de la traduction est celle de Martínez Melis (2001) évoquée précédemment. Cependant, outre son caractère très ciblé – n’ont été interrogés que les étudiants d’une seule université espagnole – et le fait que les conditions de travail des traducteurs ont considérablement évolué depuis le début des années 2000, ce questionnaire ne comportait que huit questions, dont la moitié concernait la comparaison entre le thème et la version. Dans notre étude, la perception de l’évaluation par les étudiants a été abordée à travers 22 questions. 3.1. Une vision positive du concept d’évaluation Les répondants devaient indiquer leur degré d’assentiment vis-à-vis de quatre assertions quant au rôle joué par l’évaluation en tant qu’outil de repère, que ce soit pour l’apprenant ou l’enseignant, et comme outil d’apprentissage. Le tableau 44 résume ces réponses. Tableau 44 – Degré d’accord des étudiants vis-à-vis de quatre assertions La constatation la plus évidente qui ressort de ces données est la vision positive ou très positive que les étudiants ont du concept d’évaluation : 50,98 % d’entre eux considèrent qu’il s’agit d’un excellent moyen de se situer dans ses apprentissages. Cependant, une 154 légère ambivalence apparaît quant à l’utilité de l’évaluation pour l’enseignant : seuls 27,73 % des répondants affirment que celle-ci permet à l’enseignant de situer l’apprenant dans ses apprentissages. Les commentaires rédigés par les étudiants apportent un éclairage sur cette différence de perception. Ainsi, il en ressort que deux aspects pourraient expliquer ce sentiment : d’une part, le fait qu’il soit difficile pour l’enseignant d’individualiser le suivi, et d’autre part, le manque de rétroaction. L’évaluation sert surtout à l’enseignant à savoir où en est l’ensemble du groupe pour avoir une idée de l’orientation à donner aux cours suivants, mais je ne pense pas que l’évaluation serve à vérifier où chaque étudiant en particulier en est rendu. Sert à l’enseignant à savoir où j’en suis s’il assure un suivi ce qui bien souvent n’est pas le cas. Pour des cours en ligne, difficile d’évaluer lorsque le prof n’apparaît pas sur le forum pendant 3 semaines et qu’on demande une révision d’examen sans retour de réponse. Par ailleurs, l’évaluation constitue un outil d’apprentissage pour plus de 84 % des répondants. Même si la proportion des réponses « tout à fait d’accord » est largement inférieure que pour l’assertion précédente (29,41 % contre 50,98 %), cela met en évidence le rôle potentiellement positif que les apprenants confèrent à l’évaluation. Les commentaires qui viennent affaiblir cette perception concernent principalement la rétroaction, que les étudiants jugent parfois déficiente. Les évaluations bien faites avec des commentaires pertinents et des suggestions d’amélioration penchent plus vers l’apprentissage que l’importance de la note, mais malheureusement elles sont rares. Souvent les commentaires sont minimes, les erreurs peu ou pas expliquées. L’évaluation peut être un outil d’apprentissage si une rétroaction détaillée est donnée par le professeur, ce qui n’est malheureusement pas souvent le cas, en raison de la confidentialité du matériel d’examen, ce qui est tout à fait compréhensible, cela dit. L’évaluation est un outil d’apprentissage à condition que la correction soit accompagnée d’une rétroaction. Les profs sont tellement terrorisés par le plagiat qu’on ne reçoit, pour certains, qu’une note. Pas de commentaires, pas de retour. En résumé, le concept d’évaluation est perçu de façon favorable, voire très favorable, par les étudiants. Cette perception apparaît indépendante de l’université d’origine et des modalités d’enseignement. Le sexe ne constitue un critère discriminant que dans la fonction comparative de l’évaluation, puisque 25,86 % des hommes (contre 15,72 % des femmes) y 155 voient un excellent moyen de se situer par rapport aux autres (tableau 45), ce qui pourrait refléter un esprit de compétition plus développé chez eux. Tableau 45 – Perception de la fonction comparative de l’évaluation selon le sexe 3.2. Une vision principalement sommative de l’évaluation Dans l’autre question portant sur leur perception de l’évaluation, il était demandé aux étudiants de classer par ordre d’importance cinq mots-clés associés à l’idée d’évaluation en leur attribuant un coefficient de un (le plus important) à cinq (le moins important). Le tableau 46 présente, dans l’ordre décroissant d’importance, le classement issu des réponses des étudiants. La colonne « classement moyen » fournit l’indice d’importance du mot-clé sur une échelle de un à cinq, du moins important au plus important. Tableau 46 – Mots-clés associés par les étudiants au concept d’évaluation 156 L’omniprésence de l’examen mise en avant par Martínez Melis (2001 : 150) et dans les résultats de l’étude menée auprès des enseignants, ainsi que celle de la note par Allignol (2007 : 73) trouvent leur écho ici, puisque ces deux notions sont citées soit en première, soit en deuxième position, et ce, dans des proportions comparables. Les concepts d’apprentissage et de stress obtiennent également des résultats proches, mais bien en retrait de ceux des deux premiers mots-clés. Enfin, la question de l’objectivité, pourtant souvent citée par les traductologues comme une des pierres angulaires de l’évaluation, apparaît en dernière position, ce qui confirme une des conclusions de l’étude menée auprès des enseignants. Les modalités d’enseignement (en présentiel ou à distance) ne constituent pas un critère discriminant, mais l’analyse des réponses par université met en évidence la spécificité de l’Université Laval. En effet, si l’on constate une attitude comparable entre ces étudiants (tableau 47) et ceux des autres universités (tableau 48) pour les mots-clés « notes », « apprentissage » et « stress », l’évaluation est nettement plus fortement associée au concept d’examen (46,40 % contre 28,02 %) chez les premiers. Le recensement des procédures d’évaluation mené auprès des enseignants n’a cependant pas mis en évidence une prépondérance particulière de cette modalité d’évaluation au sein de cette université. Tableau 47 – Mots-clés associés au concept d’évaluation par les étudiants de l’Université Laval 157 Tableau 48 – Mots-clés associés au concept d’évaluation par les étudiants des autres universités Par ailleurs, la question de la subjectivité de l’évaluation apparaît comme négligeable pour les étudiants de l’Université Laval (seulement 10,40 % d’entre eux la jugent importante ou très importante), tandis que cette proportion s’élève à 25,86 % pour les étudiants des autres universités. Parmi les facteurs sociodémographiques susceptibles d’expliquer cet écart figurent l’âge, l’avancement dans le cursus et le sexe. Nous ne disposons pas de données pour le premier critère et il n’existe pas de différence statistique significative en ce qui concerne le second. Quant au troisième, il apparaît (tableau 49) que les hommes sont plus sensibles à la question de la subjectivité de l’évaluation que les femmes. Tableau 49 – Importance relative de la subjectivité en fonction du sexe Cependant, le poids relatif des hommes étant, parmi les répondants de l’Université Laval, deux fois supérieur à celui des autres universités (24,00 % contre 12,07 % du total des répondants), le critère de la différenciation par le sexe devrait au contraire renforcer l’écart 158 constaté quant à la question de la subjectivité. Ce sont donc, comme le montre le tableau 50, davantage les réponses des femmes qui sont à l’origine de cet écart. Tableau 50 – Importance relative de la subjectivité en fonction du sexe chez les étudiants de l’Université Laval Ainsi, la composition sociodémographique de l’échantillon, loin de justifier l’écart constaté, aurait même dû entraîner une constatation inverse. Nous émettons donc l’hypothèse que certaines des pratiques d’évaluation mises en œuvre à l’Université Laval pourraient expliquer ce phénomène. Cette hypothèse sera examinée au chapitre VI. Par ailleurs, les étudiants de l’université Laval présentent une autre spécificité, puisque leurs réponses à la question « Avez-vous déjà entendu parler de la différence entre l’évaluation sommative et formative? » sont positives dans une proportion nettement plus grande que celle des répondants issus des autres universités (tableaux 51 et 52). Tableau 51 – Connaissance de la distinction sommatif/formatif chez les étudiants de l’Université Laval 159 Tableau 52 – Connaissance de la distinction sommatif/formatif chez les étudiants des autres universités Cet écart est peut-être lié à la politique active de l’Université Laval en matière de développement de l’évaluation formative. En effet, celle-ci constitue un axe essentiel (et obligatoire) dans la préparation des plans de cours hébergés sur la plateforme numérique de l’Université, et fait l’objet d’une mention explicite dans le Règlement des études40. 3.3. Évolution de la perception pendant le cursus Il apparaît que l’avancement dans le cursus constitue un critère discriminant de la perception des étudiants. Ainsi, la perception de la fonction diagnostique de l’évaluation diffère selon l’année d’étude : la proportion d’étudiants pour qui l’évaluation constitue un très bon repère de leurs apprentissages passe de 59,15 % pour les premières années à 37,61 % pour les finissants (tableau 53). Tableau 53 – Perception de la fonction repère de l’évaluation selon l’année d’étude Article 287 du Règlement des études de l’Université Laval, consulté le 13/10/2014 à l’adresse http://www2.ulaval.ca/fileadmin/Secretaire_general/Reglements/reglement-des-etudes-03062014.pdf 40 160 Cette évolution apparaît logique, puisque les étudiants novices sont en recherche de repères au début de leur formation, besoin qui tend à s’atténuer au fur et à mesure qu’ils prennent confiance en eux. Les réponses à l’assertion « l’évaluation me sert à me comparer aux autres » montrent une évolution identique. On constate aussi qu’alors que 35,21 % (tableau 54) des étudiants de première année associent étroitement évaluation et apprentissage, cette proportion chute à respectivement 27,36 % et 22,02 % pour les années suivantes. Tableau 54 – Évolution selon l’année d’études de l’association du mot-clé « apprentissage » au concept d’évaluation La chute des opinions très favorables quant à l’utilité de l’évaluation comme outil d’apprentissage est encore plus marquée, comme le montre le tableau 55 : alors que 35,92 % des étudiants débutants sont tout à fait d’accord avec cette assertion, cette proportion passe à 21,10 % chez les finissants. Tableau 55 – Perception de l’évaluation comme outil d’apprentissage, selon l’année 161 On constate donc un certain désenchantement des étudiants vis-à-vis de pratiques pourtant perçues a priori favorablement. Cette évolution, qui apparaît être indépendante des modalités d’enseignement et du sexe, a pour corollaire une remise en cause en fin de cursus du caractère objectif de l’acte d’évaluation. La perception d’une subjectivité de l’évaluation, présente en première année, mais atténuée durant la seconde, remonte ainsi de manière significative en fin de parcours, jusqu’à dépasser celle des débutants (tableau 56). Tableau 56 – Évolution de l’association du mot-clé « objectivité » au concept d’évaluation Ici encore, les réponses fournies par les étudiants de l’Université Laval présentent des résultats différents de la moyenne. En effet, on ne constate pas d’évolution notable quant à la subjectivité du processus d’évaluation (tableau 57). Tableau 57 – Évolution de l’association du mot-clé « objectivité » au concept d’évaluation chez les étudiants de l’Université Laval 162 Quant à la perception de l’évaluation comme un outil d’apprentissage, si la proportion des étudiants de l’Université Laval entièrement d’accord avec cette affirmation connaît une chute en deuxième année, elle remonte de façon significative au cours de la troisième (tableau 58). Tableau 58 – Évolution de la perception de l’évaluation comme un outil d’apprentissage chez les étudiants de l’Université Laval 3.4. Conclusion : prégnance de l’évaluation sommative et rôle central de la rétroaction En conclusion, l’évaluation jouit d’une perception particulièrement positive chez les étudiants au début de leur formation, ce qui constitue à notre avis une information porteuse d’espoir dans le cadre de notre projet de développement. Cependant, il semble qu’une certaine désillusion s’installe au fur et à mesure de leur avancement dans le cursus, ce qui se reflète dans la remise en cause progressive de l’objectivité de l’évaluation et de l’utilité de celle-ci en tant qu’outil d’apprentissage. Dans les deux cas, les commentaires des étudiants dénoncent l’insuffisance ou l’absence de rétroaction de la part des enseignants. La rétroaction, dont l’importance a été largement évoquée par Scallon (2000), apparaît donc également comme un élément central en didactique de la traduction. Par ailleurs, tout comme celle des enseignants, la vision que les étudiants ont de l’évaluation relève d’une approche majoritairement sommative : l’examen et la note sont dans une très large proportion étroitement associés à l’acte d’évaluer. 163 4. Les étudiants et leurs travaux La troisième partie du questionnaire visait à appréhender les pratiques de remise des travaux aux étudiants et l’usage que ces derniers font de leurs copies. 4.1. Le papier, mode privilégié de remise des travaux aux étudiants D’après les résultats de l’étude menée auprès des enseignants dispensant des cours de transfert linguistique en présentiel, 56,67 % d’entre eux (Tableau 31 – Modes de remise des travaux des étudiants en présentiel) demandent toujours ou souvent à leurs étudiants de remettre une copie imprimée de leurs travaux et 66,67 % leur rendent leur copie corrigée sur papier. Du point de vue des étudiants, ce serait en fait 76,41 % de leurs travaux qui leur seraient remis de cette façon (tableau 59)41. Cet écart d’environ 10 % pourrait s’expliquer par la conversion très récente de certains enseignants à la correction numérique, qui n’aurait donc pas encore pu modifier la perception des étudiants. Tableau 59 – Typologie des modes de remise des travaux par les enseignants aux étudiants (en présentiel) Ces chiffres totaux masquent cependant des différences notables entre les universités (tableau 60). Par exemple, près de trois quarts des étudiants des universités de Moncton, Sherbrooke et Ottawa reçoivent toujours leur copie sur papier. À l’inverse, l’imprimante ne fonctionne en tout temps que pour seulement 6 % de ceux de l’Université de Montréal et 19 % de ceux de l’Université Laval. La surreprésentation de l’Université Laval étant à peu près identique dans les deux échantillons, l’usage massif de la correction numérique par les enseignants de cette université n’introduit pas de biais dans cette comparaison. 41 164 Tableau 60 – Répartition par université de la remise des travaux sur papier L’effet miroir jouant ici à plein, les étudiants de l’UL et de l’UdeMtl sont les plus nombreux à remettre leurs travaux par voie électronique, que ce soit par courriel ou dépôt sur un site Internet : ils sont respectivement 44,27 % et 23,53 % (tableau 61) à procéder souvent ou toujours de la sorte. En revanche, cette pratique est inexistante pour 59,09 % des étudiants de l’UdeMct et de l’UdO. Enfin, les étudiants de l’UQO sont les seuls à ne jamais ou rarement remettre leurs travaux autrement que sur papier. Tableau 61 – Répartition de la remise des travaux par voie électronique 165 En l’absence de données antérieures, il est impossible de déterminer si la typologie des modes de remise des travaux est en évolution rapide. Cependant, notre expérience au sein de l’Université Laval nous porte à croire qu’une fois le virage vers le numérique entamé, la tendance est difficilement réversible, notamment en raison de la pression des étudiants, pour qui la remise par voie électronique ne présente que des avantages. 4.2. Modalités de remise des travaux aux étudiants La remise des travaux pour les étudiants en présentiel intervient de façon générale dans le cadre d’un cours (tableau 62). Cependant, près de 10 % des étudiants déclarent recevoir généralement leurs travaux avant le cours. L’analyse des réponses met en évidence que leurs travaux leur sont en l’occurrence toujours remis par voie électronique, ce qui facilite la possibilité d’une remise préalable. À l’inverse, 13,73 % des apprenants ne reçoivent leur copie qu’après le cours. Dans environ un cas sur deux, la distribution se fait au début de la séance. Tableau 62 – Modes de remise des travaux aux étudiants en présentiel Ainsi, plus de 37 % des étudiants en présentiel déclarent recevoir leurs travaux soit à la pause, soit à la fin du cours ou même postérieurement à celui-ci. Les raisons évoquées par les étudiants dans leurs commentaires sont principalement liées au déficit d’attention qui peut suivre la remise des copies et au souhait de l’enseignant d’éviter les questions. Les professeurs préfèrent souvent attendre la fin du cours pour remettre les travaux pour éviter que les étudiants soient distraits et interrompent la leçon avec des questions ad hoc. 166 Souvent ils préfère42 attendre de les remettre puisqu’ils sont d’avis que le fait de recevoir notre copie va nous distraire et nous empêcher d’écouter la présentation. Je crois qu’ils ont raison. Les profs veulent que l’on reste pour le cours, donc nous remettent les copies d’examens, de travaux à la fin du cours. Certains professeurs remettent les copies à la fin d cours, pour ne pas se faire déranger par les questions durant le cours. La première de ces hypothèses (le déficit d’attention) est confirmée par la réponse des étudiants à la question « En cours, pendant la correction d’un devoir ou d’un examen, quel est votre principale occupation? ». Il s’avère que seule une minorité des étudiants en présentiel à qui les copies sont remises au début du cours ont pour activité principale d’écouter l’enseignant (tableau 63), les autres s’absorbant dans la lecture des commentaires figurant sur leur copie ou se livrant même à des comparaisons avec leurs voisins. Tableau 63 – Principale activité des étudiants lors de la remise de copie en classe Ce comportement, qui nous apparaît inévitable dans cette configuration, entraîne donc une baisse plus ou moins forte de l’attention des étudiants pendant une partie du cours, ce qui nous semble être préjudiciable tant à l’enseignement qu’à l’apprentissage, dans la mesure où les enseignants consacrent une partie de leur cours à la rétroaction de l’évaluation et que les apprenants ont la possibilité de poser des questions à cette occasion. Cependant, la remise différée présente elle aussi des inconvénients : Tous les commentaires rédigés par les étudiants ont été retranscrits intégralement sans qu’aucune modification ou correction des fautes d’orthographe et de grammaire n’y soit apportée. 42 167 Les enseignants remettent parfois les copies après avoir commenté les erreurs, ce qui est très stressant et au fond je n’écoute pas ce qu’ils ont à dire parce que tout ce que je veux c’est ma note, après ils peuvent parler, mais pas avant. Enfin, l’analyse des réponses des étudiants en enseignement à distance (tableau 64) fait apparaître une spécificité non évoquée par les étudiants en présentiel : selon près de 20 % des répondants, il arrive que les travaux ne soient jamais remis à leurs auteurs. Cette situation ne semble pas résulter d’une politique universitaire, mais plutôt d’un choix des enseignants concernés, que l’un d’eux justifie comme suit : Il n’y a pas de corrigé pour les examens, car c’est du sommatif, donc pas de rétroaction. Ils n’ont même pas les copies. Il y a trop d’étudiants, je n’ai pas envie d’y passer du temps et il y a un risque de diffusion du texte des examens. L’évaluation n’est pas une occasion d’apprentissage. Tableau 64 – Modes de remise des travaux aux étudiants à distance Même si ces pratiques ne concernent qu’une minorité d’enseignants, les nombreux commentaires des étudiants, dont seuls certains sont retranscrits ci-dessous, prouvent qu’elles sont mal vécues par les apprenants. Certains professeurs ne nous donnent qu’une note ou un corrigé. Les travaux sont corrigés dans des délais parfois inacceptable et ne sont pas toujours remis. Certains professeurs ne remettent jamais les travaux corrigés. Il est donc important de conserver une copie dans nos dossier pour fin de comparaison avec le corrigé offert par le professeur. Par contre, comme le résultat de certains exercices peuvent varier, ne pas avoir sa propre copie de corrigée ne permet pas de savoir si notre réponse aurait passée. Les travaux ne me sont pas retournés (cours en ligne). On me fournit seulement mes résultats d’évaluation. 168 Les travaux oui, mais pas tous les examens, ce qui renforcent le caractère « inutile » de certains examens. Si je ne peux avoir accès à ma copie, comment puis-je comprendre mes erreurs, et, ainsi, m’améliorer? Nous partageons sans réserve ce dernier commentaire. Priver un étudiant de sa copie, et donc de la possibilité de comprendre ses erreurs, nous apparaît comme un summum antipédagogique, qui n’est justifiable par aucune préconisation universitaire, mais qui masque plutôt à notre avis une volonté de recyclage des sujets d’examens année après année. 4.3. La note, paramètre incontournable Indépendamment du mode d’enseignement, du sexe, de l’année d’étude ou de toute autre variable, la note constitue le paramètre incontournable pour tous les étudiants, qui sont 90 % à s’y intéresser prioritairement (tableau 65). Au regard des constatations des traductologues et des enseignants en traduction déjà évoquées, ainsi que de la prévalence de la note dans le système éducatif dont nous avons fait mention aux chapitre I et II, ce comportement apparaît des plus logiques. Ni l’auteur de ces lignes, ni probablement ses lecteurs, ne démentiront cette réalité expérimentée par tout un chacun. Tableau 65 – Centres d’intérêt des étudiants lors de la remise de travaux, par ordre chronologique L’étudiant standard, après avoir pris connaissance de sa note, lit les commentaires, puis s’intéresse à la nature des erreurs qu’il a commises, avant de s’interroger sur les points qu’il a perdus. Cependant, si le classement moyen de ces trois éléments est contenu dans un 169 intervalle restreint, surtout pour les deux derniers, l’analyse des données révèle quelques différences. Ici aussi, l’année d’étude constitue le principal critère discriminant, puisque les étudiants débutants s’intéressent davantage à la nature des erreurs commises, alors que cette activité arrive en dernière position chez les finissants (tableau 66). Tableau 66 – Chronologie de l’auto-analyse de la nature des erreurs par année d’étude Cette différence de comportement s’explique probablement par la connaissance encore approximative chez les débutants des marques de correction, dont les finissants ont acquis l’habitude. Les étudiants de deuxième et troisième année se concentrent donc davantage sur la lecture des commentaires après la découverte de la note (tableau 67). Tableau 67– Chronologie de la lecture des commentaires par année d’étude En conclusion, les procédures de remise des travaux aux étudiants et les comportements de ces derniers à cette occasion restent encore marqués par la tradition, même si l’informatisation des procédures, qui n’en est encore qu’à ses débuts dans certaines universités, devrait s’amplifier. La remise des copies au début du cours, pratique encore majoritaire dans l’enseignement en présentiel, constitue une source de dispersion de 170 l’attention, qui pousse d’ailleurs certains enseignants à en différer la distribution, ce que nous considérons comme contre-productif en terme pédagogique. 5. La rétroaction vue par les étudiants Le mode d’enseignement (en présentiel ou à distance) apparaît clairement comme le critère discriminant dans le jugement que les étudiants posent sur la rétroaction qui leur est donnée. 5.1. Clarté et quantité des commentaires, talons d’Achille de la rétroaction En réponse à une question précédente (en page 163) portant sur l’évaluation comme outil d’apprentissage, plusieurs étudiants avaient mis en avant le manque ou le peu de commentaires rédigés sur leur copie par les enseignants. Les étudiants à distance se déclarent cependant légèrement plus satisfaits que leurs homologues en présentiel, puisque la moyenne de la colonne « Évaluation moyenne » s’élève à 2,97 pour les premiers (tableau 68), contre 2,80 pour les seconds (tableau 69). Tableau 68 – Perception des commentaires et annotations figurant sur les copies (étudiants à distance) 171 Tableau 69 – Perception des commentaires et annotations figurant sur les copies (étudiants en présentiel) Cette différence est principalement due au critère de clarté, classé en première position chez les étudiants à distance, mais en dernier chez ceux en présentiel. La méthode d’annotation des copies, numérique pour les uns et majoritairement manuelle pour les autres, constitue bien un motif réel de satisfaction d’un côté et de frustration de l’autre. Le sentiment positif des premiers ne porte cependant que sur la forme, puisque la possibilité de déchiffrer des commentaires ne garantit pas leur compréhension. Ainsi, près de 20 % des étudiants à distance se déclarent peu ou pas satisfaits de la clarté des commentaires et annotations. Quant aux étudiants en présentiel, plus d’un tiers sont dans ce cas, et seuls un peu plus de 10 % d’entre eux se déclarent très satisfaits, tandis que les commentaires négatifs abondent. Je sais que ça dépend du professeur, de sa caligraphie et de son système personnel de notation, mais le 3/4 du temps ce n’est vraiment pas clair. Des fois c’est même pratiquement illisible. Les étudiants se font pénaliser quand ils remettent un travail illisible (comme un examen par exemple), mais quand on essaye de déchiffrer les corrections c’est très frustrant de ne pas comprendre. Il arrive fréquemment que les commentaires (ou même les abbréviations) soient dans une écriture si illisible qu’ils sont tout à fait incompréhensibles. Pour les copies papier que j’ai reçu, les commentaires étaient tellement mal écrit que je n’arrivais même pas a lire, donc au final ça ne servait pas à grand chose... Il semblerait que les professeurs sont comme les médecin : ils barbouillent au lieu d’écrire. Ce n’est pas l’explication qui est difficile à comprendre, mais plutôt la façon dont elle est écrite. La calligraphie de certains professeurs est parfois illisible. Sinon, la clarté et la pertinence des commentaires sont biens en général. 172 Au-delà de l’aspect calligraphique, la quantité insuffisante de commentaires constitue un grief partagé par les étudiants indépendamment du mode d’enseignement (32,75 % en présentiel et 31,82 % à distance). C’est d’ailleurs cette partie du questionnaire qui a de loin suscité le plus de réactions, presque toujours négatives, de la part des étudiants. Cette session j’ai deux cours, un professeur corrige clairement et l’autre nous donne une note, mais nous n’avons aucune idée pourquoi nous avons perdu des points. Il y a rarement de commentaires sur les copies corrigées. Commentaires le plus souvent absents; Notes parfois données sans même un soulignement ou une marque de reconnaissance d’erreur; subjectivité de l’évaluation; interprétations obscures des critères de correction. Le plus souvent, il y a si peu de commentaires qu’il est difficile de comprendre nos erreurs, donc difficile il est difficile d’apprendre de nos erreurs. Ils sont parfois complètement absents et ruinent par leur absence l’occasion d’apprendre et de faire mieux en plus de donner le sentiment que la correction était très subjective. Cependant, plusieurs commentaires soulignent l’hétérogénéité des pratiques en la matière et séparent le bon grain de l’ivraie, ce qui contribue, au vu de l’analyse détaillée des réponses des étudiants en question, à ce qu’environ la moitié des répondants se soient déclarés « d’accord » avec l’insertion portant sur le caractère suffisant en quantité des commentaires. Ça dépend des profs! Certains inscrivent beaucoup de détails, d’autre ne font que souligner sans rien écrire de plus. Cette réponse change grandement d’un professeur à l’autre. En dépit des problèmes liés à la clarté et à la quantité des commentaires, les étudiants voient la rétroaction comme un moyen d’aide à la compréhension de leurs erreurs et à la prévention de leur récidive : plus de 70 % se déclarent d’accord ou tout à fait d’accord avec l’assertion « Les commentaires et annotations m’aident à comprendre mes erreurs », et 78 % avec l’assertion « Les commentaires et annotations m’aideront à éviter de répéter mes erreurs » (tableau 70). 173 Tableau 70 – Perception des étudiants quant à l’utilité des commentaires et annotations 5.2. Une rétroaction en classe souvent limitée à des commentaires oraux Nous avons interrogé les étudiants sur les moyens de rétroaction des travaux mis en œuvre en cours par les enseignants, outre les traditionnels commentaires inscrits sur les copies, ceux apportés oralement à la classe ou la mise à disposition des étudiants d’une traduction proposée par l’enseignant. Comme le montre le tableau 71, la moitié des enseignants n’utilisent pas d’autres techniques que celles précédemment citées, un tiers procèdent à l’envoi électronique des documents complémentaires et un peu plus de 21 % remettent aux étudiants des documents papier pendant le cours. L’emploi de matériels multimédias reste peu courant. Enfin, certains enseignants présentent des traductions tirées des copies des étudiants. Tableau 71 – Moyens complémentaires de rétroaction mis en œuvre par les enseignants (enseignement en présentiel) Cependant, il apparaît que l’utilisation de la vidéo provient presque exclusivement de l’Université Laval, où nous sommes d’ailleurs le seul enseignant à y avoir recours. L’analyse des réponses issues des autres universités où l’enseignement se fait en présentiel 174 (tableau 72) fait ainsi apparaître que plus de six enseignants sur dix pratiquent une rétroaction uniquement orale et qu’à peine un quart procèdent à l’envoi ou à la remise de documents complémentaires. Tableau 72 – Moyens complémentaires de rétroaction mis en œuvre par les enseignants (enseignement en présentiel sauf Université Laval) Enfin, dans le cas spécifique de l’enseignement à distance, plus de la moitié des étudiants déclarent recevoir des documents par voie électronique (tableau 73). L’utilisation d’un forum permet également d’obtenir des informations sur leurs travaux (réponses « Autre » du tableau). Le recours à la vidéo, outil parfaitement adapté à l’enseignement en ligne, est également cité par un quart des étudiants. Tableau 73 – Moyens complémentaires de rétroaction mis en œuvre par les enseignants (enseignement à distance) 5.3. Évaluation et subjectivité Le sujet de l’objectivité de l’évaluation, déjà abordé ici (en page 158), a fait l’objet d’une question séparée placée juste après celle portant sur les commentaires et annotations qui, comme nous venons de le voir, a suscité chez les étudiants des réactions dans lesquelles le 175 lien entre la clarté des explications et le sentiment de subjectivité est clairement mis en évidence. Ceci est confirmé par les réponses à une question portant directement sur l’objectivité de l’évaluation : 68,18 % des étudiants à distance (tableau 74) considèrent que celle-ci est plutôt objective, contre 56,69 % de ceux en présentiel (tableau 75). Tableau 74 – Caractérisation de l’évaluation chez les étudiants à distance Tableau 75 – Caractérisation de l’évaluation chez les étudiants en présentiel Sachant, au vu des réponses à la question précédente, que la clarté de la forme constitue la principale explication des différences constatées entre l’appréciation des étudiants à distance et celle des étudiants en présentiel, il nous paraît logique de conclure que le plus grand sentiment d’objectivité ressenti par les premiers est directement imputable à la lisibilité des commentaires reçus. Par ailleurs, plusieurs étudiants soulignent la difficulté de définir précisément le concept d’objectivité en traduction et certains soulignent la présence inéluctable d’une part de subjectivité. La traduction elle-même est subjective, car il y a plusieurs possibilités de traduction. Il n’y a pas une seule traduction passe-partout! Il est, à mon sens, impossible d’éviter une part de subjectivité lors de la correction de travaux ou examens en traduction. Certains professeurs me semblent corriger de façon plus objective que d’autres, mais de façon générale, je crois que dans le domaine langagier les évaluations ne peuvent pas vraiment être autrement que subjectives. 176 La nature même de la traduction rend les évaluations subjectives, puisqu’il y a toujours plus qu’une « bonne réponse », ce n’est pas comme en maths, où 2+2 fera toujours 4... Bien qu’évalués par des professionnels, nos travaux de traduction comportent toujours une part de subjectivité, tant pour celui qui les produit que celui qui les évalue. Ces prises de position rejoignent celles de Campanale (2001 : 7) et de Lee (2006 : 415). Néanmoins, si les étudiants acceptent une certaine part de subjectivité inhérente à la pratique même de la traduction, ils n’en attendent pas moins que les enseignants fassent preuve d’ouverture et qu’ils acceptent de se remettre en cause le cas échéant. Il est difficile d’être objectif en traduction et je le comprend et l’accepte. Par contre, certains enseignants sont plus ouverts aux discussions et aux suggestions des étudiants et à corriger la note s’il y a lieu que d’autres. 5.4. Comportement postérieur à la rétroaction Malgré l’importance attachée à la note, il s’avère qu’une très large majorité des étudiants conservent leur copie pour consultation ultérieure (tableau 76). Selon les commentaires reçus, ils s’en servent principalement pour s’y référer lors de travaux ou d’examens ultérieurs. En revanche, seuls 2 % des apprenants déclarent revenir sur leur copie dans un but didactique. Ainsi, une fois l’évaluation terminée, l’objet qui en résulte (la copie corrigée) perd tout intérêt pour la quasi-totalité des étudiants. Tableau 76 – Comportement des étudiants en présentiel postérieurement à la réception de leur copie Ces comportements sont homogènes au sein de la population des étudiants en présentiel, indépendamment de l’université d’origine, de l’année d’étude ou du sexe, à une exception près : ce sont uniquement des femmes qui retravaillent sur leur copie corrigée. 177 Cependant, si les copies ne sont pas directement rendues aux étudiants d’un cours, ce qui est le cas le plus fréquent pour l’examen final ou les travaux de fin de session, près de la moitié ne se déplacent pas pour aller récupérer leurs travaux (tableau 77) à l’endroit qui leur est indiqué (kiosque de dépôt, bureau de l’enseignant, etc.). Une des raisons invoquées est la distance entre le domicile et le lieu d’enseignement, mais les étudiants qui poursuivent leurs études à la session suivante ne vont pas pour autant récupérer leurs copies plus tard. Tableau 77 – Comportement des étudiants en présentiel lorsque les copies ne sont pas remises en classe La principale raison invoquée par les étudiants pour ce désintérêt vis-à-vis de leurs travaux corrigés, dont nous avons vu qu’il constitue une source compréhensible d’insatisfaction et de frustration chez les enseignants, concerne la note. C’est encore ce paramètre incontournable qui joue un rôle central dans le comportement des étudiants. Si j’avais une très mauvaise note ou que ma moyenne avait chuté drastiquement, j’irais voir ce qu’il en est, mais si je suis satisfaite de la note, je m’en contente. Tout dépend de la note que je peux avoir. Si celle-ci est vraiment faible, je vais chercher ma copie pour essayer de comprendre. En effet, si la note est satisfaisante, je ne chercherai pas à en modifier outre mesure la nature. Mais si la note s’avère franchement mauvaise, j’irai très certainement chercher ma copie pour y trouver des explications. Si la note est bonne, je ne vais généralement pas chercher ma copie. Je ne vais généralement pas chercher ma copie dans cette situation, sauf si ma note est plus faible que ce à quoi je m’attendais. J’irai la chercher si ma note me surprend beaucoup. 178 5.5. Conclusion : la rétroaction, une attente plus qu’un outil La subjectivité de l’évaluation des traductions, qu’elle soit faite dans un objectif professionnel ou didactique, constitue un sujet récurrent en traductologie. Cependant, comme l’a exprimé fort à propos une étudiante dans son commentaire, la traduction, contrairement aux mathématiques par exemple, n’est pas une science exacte. Cette caractéristique est visiblement bien comprise par les étudiants et l’idéal d’objectivité n’apparaît pas comme une revendication centrale. Par ailleurs, la comparaison des réponses entre l’enseignement en présentiel et l’enseignement à distance met en évidence qu’un seul paramètre, la lisibilité des commentaires, peut déplacer de façon non négligeable le curseur sur l’échelle de l’objectivité perçue. La passivité relative des étudiants constitue une autre caractéristique marquante de leur attitude face à la rétroaction. Même s’ils sont conscients de son importance et demandeurs d’une rétroaction de qualité, l’usage qu’ils en font est limité – surtout dans le temps – et témoigne d’une certaine passivité. Certes, plus de 80 % conserveront quasi religieusement les travaux qui leur sont remis directement, mais moins de la moitié feront l’effort d’aller récupérer les fruits de leurs travaux les plus importants (docimologiquement parlant, mais aussi en termes de temps investi) de la session, les copies corrigées des examens finaux et des travaux de fin de session. Ils se contenteront donc en la circonstance de la seule note. 6. Stress et évaluation Nous avons tous, sauf rares exceptions, ressenti un jour les symptômes suivants décrits par Humphrey (2003 : 17) : accélération du rythme cardiaque, transpiration, estomac noué, déglutition difficile, etc. Selon lui, « more than 90 percent of college students [are] stressed by such factors as tests and examinations. » Le stress apparaît donc comme étant un élément intrinsèquement lié au processus d’évaluation. Selon une étude menée au Canada auprès de 33 000 étudiants par l’American College Health Association (2013 : 55), 79,5 % déclarent en ressentir à des degrés divers, dont 40,9 % qui affirment que cela n’a que peu ou pas d’effet sur leurs apprentissages ou leurs performances académiques. Ce sont ainsi 38,6 % des étudiants canadiens qui éprouvent des difficultés d’apprentissage liées au stress. 179 6.1. Stress et apprentissage de la traduction : une absence de spécificité Pour ce qui est du cas spécifique de l’enseignement de la traduction, environ 53 % des étudiants déclarent subir beaucoup ou énormément de stress (tableau 78). Tableau 78 – Stress ressenti par les étudiants en traduction Le stress est ressenti par tous, indépendamment du mode d’enseignement. L’expérience, qui pourrait constituer un facteur d’amélioration, n’agit pas comme un critère discriminant, puisque les étudiants de deuxième année apparaissent même légèrement plus stressés que ceux de première année (tableau 79). Tableau 79 – Stress ressenti par les étudiants en traduction selon l’année d’étude Les commentaires des étudiants font ressortir différentes sources de stress, par exemple la pondération importante des examens, les variations de niveau de difficulté des textes à traduire ou l’angoisse d’un problème informatique. Lorsqu’une évaluation vaut 45% de la note il y a quand même un peu de pression. En traduction, je trouve que c’est du hasard. On peut tomber sur un texte dans nos cordes et avoir une bonne note, ou tomber sur un texte incompréhensible et difficile. C’est toujours stressant. 180 Des exercices à choix multiple avec une partie pour des phrases à traduire pour lesquels on vous donne trois heures pour 1.8 minute par question avec un système « en ligne » qui ne fonctionne pas toujours, c’est très stressant. Mon bacc se donnant en ligne et mes examens se faisant entièrement sur internet depuis mon ordinateur, ma plus grande source de stress est de voir si le wi-fi/mon ordi va lâcher ou non en plein milieu d’examen. Il existe cependant une réelle inégalité face au stress : les femmes y sont beaucoup plus sujettes que les hommes, comme l’indiquent à la fois l’étude pancanadienne citée précédemment et les réponses des étudiants en traduction. Si 68 % des hommes déclarent n’être que peu ou pas stressés, 57 % des femmes confient l’être beaucoup ou énormément (tableau 80). La composition de notre échantillon, qui comporte 84 % de femmes, explique la différence de niveau de stress constatée par rapport à l’étude pancanadienne, où la proportion de femmes n’est que de 68 %. Tableau 80 – Stress ressenti par les étudiants en traduction selon le sexe Ainsi, l’apprentissage de la traduction ne représente pas une source de stress plus importante que pour d’autres disciplines. Cependant, la forte féminisation de la population étudiante en traduction fait du stress un élément qui doit à notre avis être pris en compte dans l’enseignement de cette matière. 6.2. La note, principale source de stress La note se trouvant au cœur des préoccupations des étudiants, il est logique qu’elle constitue la première source de stress : 81 % des étudiants ont peur ou très peur de recevoir une mauvaise note (tableau 81). Les craintes liées à la gestion du temps et à un sentiment d’incompétence concernent également près de 55 % des étudiants. 181 Tableau 81 – Origines du stress ressenti par les étudiants Le sexe constitue ici aussi logiquement un facteur discriminant, puisque pour quatre des propositions soumises aux étudiants, la proportion de « tout à fait d’accord » chez les femmes est supérieure de 80 à 93 % à celle constatée chez les hommes. Cependant, on note l’inverse pour ce qui est du sentiment de ne pas progresser, tout à fait partagé par 14,81 % des hommes contre 9,51 % des femmes. Aucun élément de l’étude ne nous permet d’apporter une explication à cette spécificité. Par ailleurs, si aucune variation du niveau de stress ne peut être imputée à l’avancement dans le cursus, il apparaît que les sources de stress évoluent au fil de la formation. Certaines de ces évolutions sont intuitivement compréhensibles, par exemple la peur de ne pas avoir le temps de finir une épreuve en temps limité, qui diminue logiquement avec l’expérience (de 56,39 % pour les débutants à 48,54 % pour les finissants), ou la peur d’avoir une mauvaise note, qui s’amenuise au fur et à mesure de la formation (de 88,72 % à 77,67 %). Le sentiment de ne pas être bon tend en revanche à se renforcer et plus de 23 % des étudiants de troisième année éprouvent ce sentiment d’incompétence (tableau 82), qui est sans doute à mettre en relation avec la question de la confiance en soi évoquée par Froeliger (2004). Leclerc et coll. (2010 : 33-34) sont également d’avis que la réussite dans un domaine précis requiert que l’individu possède les aptitudes requises pour réussir la tâche entreprise et qu’il en soit conscient. Cette conscience de ses aptitudes permet alors à l’individu d’avoir un plus grand contrôle lorsqu’il 182 entreprend une tâche. Ses perceptions lui permettent de choisir des stratégies pertinentes pour réussir la tâche, d’évaluer ses chances de succès ou d’échec et d’acquérir un sentiment de compétence. Tableau 82 – Sentiment d’incompétence exprimé par les étudiants, par année d’étude Le sentiment d’être jugé augmente dans la même proportion (tableau 83) et ce sont donc plus de 35 % des étudiants de troisième année qui vivent l’évaluation comme un jugement au sens négatif du terme. Nous ne pouvons que spéculer sur les motifs de l’évolution de cette perception : augmentation du niveau de difficulté des textes à traduire? Baisse de la tolérance des enseignants vis-à-vis de certaines fautes, d’orthographe ou de grammaire notamment? Quoi qu’il en soit, le fait que plus d’un tiers des finissants expriment ce ressenti indique que le processus d’évaluation, loin de jouer un rôle d’apprentissage, peut même devenir dans certains cas contre-productif. Tableau 83 – Sentiment d’être jugé exprimé par les étudiants, par année d’étude 183 6.3. L’individualisation de la rétroaction, un outil antistress Nous avons vu précédemment que la clarté et la quantité des commentaires constituaient aux yeux des étudiants deux éléments clés de l’évaluation en didactique de la traduction et cristallisaient une part importante de leur mécontentement en la matière. Les explications complémentaires des enseignants constituent donc un apport essentiel dans le processus de construction des connaissances chez les étudiants. Cependant, en corollaire du stress qu’ils éprouvent, presque trois quarts des étudiants en présentiel, lorsqu’ils ne comprennent pas les commentaires figurant sur leur copie, n’osent pas interroger l’enseignant durant la correction en classe. Presque la moitié d’entre eux choisissent de lui adresser leurs questions à la pause ou en dehors du cours, tandis que 22,30 % préfèrent consulter leurs amis (tableau 84). Tableau 84 – Comportement des étudiants en cas d’incompréhension des commentaires figurant sur leur copie Ici encore, le sexe s’avère un critère fortement discriminant : presque la moitié des hommes déclarent demander des explications à l’enseignant pendant le cours, alors qu’à peine plus de 20 % des femmes osent le faire (tableau 85). Elles sont deux fois plus nombreuses que les hommes à consulter leurs amis, et environ la moitié privilégient un contact individuel avec l’enseignant. 184 Tableau 85 – Comportement des étudiants en cas d’incompréhension des commentaires figurant sur leur copie, selon le sexe Pour près de la moitié des femmes, l’individualisation du contact avec l’enseignant constitue donc le remède privilégié pour lutter contre le stress lié à l’évaluation. Cependant, la durée des pauses, l’augmentation de la taille des groupes d’apprenants et la disponibilité des enseignants ne permettent pas toujours, voire de moins en moins, d’assurer la qualité et l’efficacité de cette rétroaction complémentaire. Comme le souligne une étudiante, « dans une classe de plus de 100 personnes, ça ne sert à rien d’aller voir l’enseignant, tout le monde se jette dessus ». Enfin, l’expérience confère de l’assurance aux étudiants puisque si les étudiants de première année ne sont que 19,23 % à demander des explications en cours, ce pourcentage monte à 31,11 % pour les finissants (tableau 86). Tableau 86 – Comportement des étudiants en cas d’incompréhension des commentaires figurant sur leur copie, selon l’année d’étude 185 La conjugaison des deux paramètres discriminants que constituent le sexe et l’année d’étude permet d’arriver à la conclusion suivante : seules 12,20 % des étudiantes de première année osent demander des explications pendant le cours lorsqu’elles ne comprennent pas les commentaires qui figurent sur leur copie (tableau 87). Or, c’est bien lors de cette première année, où sont dispensés les cours de méthodologie et la plupart des cours de traduction générale, que les apprentis traducteurs acquièrent et affinent leur méthode de travail et que se prennent les bonnes – et les mauvaises – habitudes. Au-delà des aspects personnels, le manque de confiance en soi que révèle cette réticence à prendre publiquement la parole au sujet de l’évaluation constitue à notre avis un écueil important dans la progression des apprentissages. Tableau 87 – Comportement des étudiantes en cas d’incompréhension des commentaires figurant sur leur copie, selon l’année d’étude 7. Évaluation et employabilité L’université et le monde du travail entretiennent des relations parfois ambiguës. Il n’est pas dans notre objectif de prendre position dans le débat qui oppose les partisans d’une indépendance totale de l’institution universitaire et les tenants d’une prise en compte des conditions réelles d’exercice des métiers pour lesquels les étudiants seraient formés. Cependant, il nous semble qu’au Canada, l’enseignement de la traduction en milieu universitaire relève d’une logique professionnalisante, avis spontanément partagé par la majorité des enseignants que nous avons interrogés. Dans ce contexte, nous avons demandé aux étudiants leur sentiment quant à l’adéquation des processus d’évaluation en vigueur à l’université aux exigences des entreprises et cabinets de traduction. 186 Près de 21 % des étudiants de l’échantillon déclarent avoir déjà passé un test d’embauche en vue d’un stage ou d’un emploi dans le domaine de la traduction. Ainsi, environ 44 % des étudiants de troisième année ont vécu cette expérience, ce qui nous semble relativement peu dans le cadre d’un baccalauréat professionnalisant (tableau 88). En effet, même si les stages ne font généralement pas partie intégrante du cursus de formation, nous sommes d’avis que le simple fait d’être confronté à une épreuve de recrutement représente une excellente occasion de prendre réellement contact avec la réalité du marché du travail et des attentes des recruteurs. Tableau 88 – Répartition par année des étudiants ayant passé un test d’embauche L’analyse par sexe met en évidence une légère surreprésentation des hommes dans la population ayant passé des tests d’embauche, puisque 56 % des hommes inscrits en troisième année ont vécu cette situation. Une explication pourrait en être un niveau de confiance en eux plus élevé que chez les femmes, en corollaire des données obtenues sur la question du stress. L’opinion des étudiants quant à l’adéquation des examens universitaires en tant qu’outils préparatoires aux tests d’embauche qu’ils ont subis est assez contrastée : 41,67 % d’entre eux considèrent avoir été bien préparés (tableau 89), tandis que la majorité sont de l’avis inverse au regard des paramètres suivants : la longueur des textes, leur nature et leur degré de difficulté (plusieurs réponses étaient possibles). 187 Tableau 89 – Opinion des étudiants quant à l’adéquation des examens en tant qu’outils préparatoires aux tests d’embauche Il est à noter que les réponses des étudiants à distance mettent en évidence une satisfaction largement supérieure quant à leur degré de préparation par rapport aux étudiants en présentiel. 188 Chapitre V : détermination des facteurs clés de succès en évaluation didactique de la traduction La définition des facteurs clés susceptibles de permettre la mise en place de procédures d’évaluation didactique efficaces, c’est-à-dire qui constituent un véritable outil d’apprentissage, correspondent au quatrième objectif spécifique énoncé en introduction de cette thèse. Pour ce faire, nous recenserons les principaux éléments et enseignements issus d’une part de notre cadre théorique, et d’autre part des études menées auprès des enseignants et des étudiants. Nous compléterons cette analyse grâce à l’éclairage apporté par des entretiens réalisés auprès de personnes responsables du recrutement au sein d’entreprises privées œuvrant dans le secteur de la traduction. 1. Principaux enseignements issus du cadre théorique Il ressort de notre analyse du cadre théorique une déconnexion entre d’une part, le sujet de réflexion permanente que constitue l’évaluation didactique au sein des sciences de l’éducation, et d’autre part la situation de « long fleuve TROP tranquille », pour reprendre l’expression de Fiola et Bastin (2008 : 13), qui prévaut dans l’enseignement de la traduction. Ainsi, rares sont encore les voix qui s’élèvent pour réclamer ou proposer un renouvellement des pratiques en matière d’évaluation, à l’instar du constat dressé par Echeverri (2008) quant aux méthodes pédagogiques. Cependant, Kiraly (2000) est d’avis que l’enseignement de la traduction constitue un terreau fertile pour l’évaluation formative et aurait tout à gagner à adopter une approche socioconstructiviste, qui pourrait bien mieux répondre aux caractéristiques des apprenants que ne peuvent le faire les méthodes traditionnelles. Dans cette optique, l’auto-évaluation, qui constitue le pendant didactique de l’activité d’autorévision pratiquée par les traducteurs pigistes, présente un intérêt pédagogique certain. Alors que les pratiques d’évaluation sont traditionnellement axées sur le produit fini, Gile (2005) et Collombat (2009) ont mis en évidence tout l’intérêt d’une démarche orientée processus en début de formation. Une telle démarche favoriserait grandement le développement ultérieur des compétences des apprenants tout en évitant la mise en œuvre 189 de procédures d’évaluation anxiogènes, dont les effets pervers ont également été évoqués par Lee-Jahnke (2001), Froeliger (2004) et Gardy (2011). 2. Principaux enseignements issus de l’étude menée auprès des enseignants L’évaluation didactique représente à la fois une part importante de la charge de travail des enseignants en traduction et un enjeu auquel une large majorité d’entre eux sont sensibles. Quatre enseignants sur dix y voient même un outil d’enseignement primordial. Cependant, elle constitue également une source de stress pour un tiers d’entre eux, et plus particulièrement pour les femmes. Ce stress est principalement lié à la peur de mal faire, ce qui démontre indirectement l’importance attachée à l’évaluation. Celle-ci demeure également un acte individuel, voire solitaire, au sujet duquel peu d’enseignants acceptent de communiquer. La plupart ignorent complètement les pratiques de leurs collègues de département, même si une minorité d’universités ont édicté des consignes générales, parfois méconnues et presque toujours facultatives, quant aux procédures à mettre en œuvre. Par ailleurs, les pratiques en matière d’évaluation didactique sont profondément marquées par la tradition. Alors que les conditions d’exercice du métier de traducteur ont considérablement évolué depuis le début du 21e siècle, les modalités pratiques d’évaluation n’ont quant à elles pas fondamentalement changé par rapport à celle observée par Waddington à la fin du siècle dernier. Sur le fond, l’examen constitue toujours la modalité d’évaluation par excellence, ce qui est compréhensible au regard du caractère professionnalisant du baccalauréat en traduction au Canada. Cependant, dans plus de la moitié des cas, l’examen ne consiste qu’en la seule traduction d’un texte, même dans les cours de traduction générale pour lesquels l’objectif affiché est de permettre à l’étudiant de mettre au point, puis d’affiner, sa méthode de travail. Ainsi, l’approche orientée produit est encore privilégiée par une majorité d’enseignants au détriment de l’approche orientée processus, et ce, indépendamment de l’avancement dans le cursus. Seuls quatre enseignants sur dix s’aventurent hors des sentiers battus que constituent les traditionnels examens et devoirs à la maison. Sur la forme, malgré le développement des plateformes numériques d’enseignement, pour sept des huit universités de notre échantillon où l’enseignement se fait en présentiel, sept 190 enseignants sur dix exigent toujours de leurs étudiants des travaux imprimés, et 30 % des examens se tiennent encore sur table. Tous les enseignants ont recours à l’analyse des erreurs comme méthode d’évaluation des traductions, qu’environ un tiers complètent par une approche holistique. La matérialisation des marques de correction sur les copies se fait soit selon un barème de correction inspiré de Delisle, soit selon le Sical III. Dans le premier cas, un étudiant de 2014 ne serait pas désarçonné si l’une de ses copies était corrigée selon la méthode vécue par Vinay en 1930. Par ailleurs, bien plus que la notion de subjectivité, qui n’a jamais été évoquée par les enseignants, ce sont celles de cohérence et d’équité qui régissent l’approche de correction généralement constatée, c’est-à-dire la double lecture des copies. Enfin, la comparaison entre les données recueillies et celles de Waddington met en évidence que la longueur des textes d’examen et le temps accordé pour leur traduction sont similaires à ceux qui prévalaient au siècle dernier, alors même que 70 % des examens se passent désormais sur ordinateur et que les étudiants ont alors accès à Internet pour les aspects terminologiques et lexicographiques, et à des correcticiels pour l’aspect linguistique. Alors que la productivité attendue des traducteurs en exercice est en progression constante, les modifications de contexte induites par les outils technologiques n’ont donc pas encore été prises en compte dans les modalités d’administration des examens. 3. Principaux enseignements issus de l’étude menée auprès des étudiants Dans l’esprit des étudiants, les concepts d’évaluation et de note sont étroitement liés. Cependant, même si cette dernière focalise leur attention, elle ne constitue pas pour autant un obstacle à la reconnaissance de l’aspect formatif de l’évaluation. L’acte d’évaluation de leurs travaux jouit en effet auprès des étudiants en traduction d’un a priori favorable au début de leur formation. Si une large majorité d’entre eux le considèrent comme un outil d’apprentissage à part entière qui s’avère également efficace pour leur permettre de faire le point sur leurs apprentissages, cette perception positive tend à s’estomper au fur et à mesure de leur avancement dans le cursus pour faire place à une certaine désillusion chez les 191 finissants : si près de 36 % des étudiants de première année voient l’évaluation comme un outil d’apprentissage, ils ne sont plus que 21 % dans ce cas en troisième année. Cette évolution regrettable apparaît directement imputable à leur perception de la qualité de la rétroaction reçue, sur le plan tant qualitatif que quantitatif. Par exemple, les étudiants en présentiel pointent du doigt à la fois le peu de commentaires reçus et leur fréquente illisibilité. Quant aux étudiants à distance, ils mettent également en exergue la quantité insuffisante de rétroaction, mais aussi parfois son absence pure et simple, notamment en ce qui concerne les examens. Le lien entre la subjectivité perçue et la lisibilité des annotations ressort des commentaires des étudiants. Le stress lié à l’évaluation, s’il n’est bien sûr pas spécifique à l’apprentissage de la traduction, représente cependant un enjeu particulier dans cette matière en raison de l’importante féminisation qui caractérise ce secteur d’activité et d’apprentissage, et du fait que plusieurs études, dont la nôtre, mettent en évidence que les femmes sont nettement plus sensibles que les hommes à ce phénomène : 57 % des étudiantes de notre échantillon déclarent en ressentir. Tant les modalités d’évaluation en elles-mêmes (prédominance de l’examen) que celles de remise des copies aux étudiants sont génératrices de stress et constituent à notre avis un obstacle à l’atteinte des objectifs assignés à l’acte d’évaluation. Corollaire de ce stress, seules 12 % des étudiantes de première année osent, en classe, demander à l’enseignant des explications quant à la correction de leur copie. Par ailleurs, le sentiment d’incompétence ressenti par les étudiants culmine en troisième année, signe patent des difficultés rencontrées lors des apprentissages. Sur le plan temporel, le moment de la remise des copies en cours cristallise les travers actuels de l’acte d’évaluation : le stress est alors à son maximum, la frustration gagne un tiers des étudiants qui considèrent que les commentaires apportés à leurs travaux sont insuffisants ou illisibles, et moins de 45 % des étudiants prêtent attention à l’enseignant. 4. Résultats du sondage mené auprès d’entreprises du secteur privé Selon les enseignants tenants de l’examen sur table que nous avons interrogés, cette formule permet d’évaluer les compétences « naturelles » des étudiants ainsi que de les préparer aux tests d’embauche. Cependant, si le Bureau de la traduction – qui « embauche 192 le plus grand nombre de traducteurs, d’interprètes et de terminologues au Canada43 » – a recours à cette méthode, il a néanmoins suspendu ses recrutements depuis plusieurs années. Par ailleurs, le Conseil des traducteurs, terminologues et interprètes du Canada (CTTIC) rappelle qu’« Au Québec, la législation sur les ordres professionnels ne permet pas l’agrément par examen44. » Il nous a donc paru judicieux de recueillir auprès d’entreprises45 de traduction établies à Québec ou Montréal et ayant pignon sur rue des informations quant à leurs pratiques en matière de recrutement de stagiaires ou de jeunes diplômés. Des entretiens ont donc été menés en face à face ou par téléphone auprès des entreprises suivantes : Edgar, PricewaterhouseCoopers, TRSB et Versacom. Dans tous les cas, les candidats sont soumis, après une présélection sur dossier, à un test qui consiste en la traduction d’un texte de longueur variable. Dans trois de ces sociétés, ce test se déroule à distance46, mais en temps limité. Les tests se passent le plus souvent à distance. Les candidats travaillent souvent en journée, alors c’est plus facile pour eux. […] On préfère que le test soit fait dans les mêmes conditions dans lesquelles le candidat va éventuellement travailler. Deux textes de 200 à 225 mots sont à faire en 3 h 30. Ils font ça à la maison et on prend un rendez-vous pour être sûr de mesurer le temps. Quant à la quatrième société, elle préfère évaluer les candidats au sein de ses propres locaux, et sans qu’ils aient accès à d’autres ressources électroniques que Word. Ce que je vais regarder essentiellement, c’est la compréhension de l’anglais et une bonne syntaxe. Et puis tous nos tests sont faits sans dictionnaire, sans rien, sans aide. Ce qu’on veut savoir, c’est comment la personne s’en sort. […] On leur donne un texte d’environ 350 mots en une heure, pour voir jusqu’où ils peuvent se rendre. On ne s’attend pas à ce qu’ils terminent. Même si cette rapide enquête ne peut bien sûr prétendre à fournir une image exhaustive des modalités pratiques d’embauche en vigueur au Québec, elle n’en est cependant à notre avis 43 Source : site Internet du Bureau de la traduction, http://www.bt-tb.tpsgcpwgsc.gc.ca/btb.php?lang=fra&cont=162, consulté le 11 juin 2014. 44 Source : site Internet du CTTIC, http://www.cttic.org/certification.asp, consulté le 11 juin 2014. 45 Il s’agit de cabinets de traduction ou de services d’entreprises caractérisés par leur taille et leur dynamisme en matière de recrutement. Ces entreprises ont été sélectionnées à partir de la liste qui figure sur le site de l’OTTIAQ (http://www.ottiaq.org/gestion/upload/publications/services_linguistiques_2013.pdf), ainsi que sur la base de notre connaissance du marché et de ses intervenants. 46 C’est aussi le cas pour les multinationales présentes sur le marché de la traduction telles que SDL et Lionbridge. 193 pas moins représentative d’une volonté des entreprises d’évaluer les candidats dans des conditions d’exercice qui, si elles ne sont pas réelles – toutes ces sociétés utilisent des logiciels d’aide à la traduction –, ne sont pas pour autant déconnectées des réalités informatiques d’aujourd’hui. 5. Facteurs clés de succès en évaluation didactique de la traduction 5.1. La rétroaction D’un point de vue tant théorique que pratique, la rétroaction apparaît comme l’élément central de la réussite de toute méthode d’évaluation didactique en traduction. Son efficacité dépend tout autant de son fond (quantité et pertinence des commentaires) que de sa forme (lisibilité). À cet égard, la correction manuscrite sur support papier cumule les inconvénients, puisque le peu de place disponible pour les commentaires renforce le risque d’illisibilité. 5.2. L’adaptation de l’approche d’évaluation au contexte d’enseignement Dans les cours de transfert linguistique, les méthodes d’évaluation actuellement employées ne varient que peu selon la matière enseignée – traduction générale ou traduction spécialisée – et l’avancement dans le cursus. Dans les deux cas, l’approche orientée produit est le plus souvent privilégiée. Cependant, la recherche a mis en évidence l’importance d’une approche axée sur le processus au début de la formation des futurs traducteurs afin de leur permettre de fonder leurs apprentissages sur une base solide grâce à une méthode de travail adaptée. C’est pourquoi il nous paraît indispensable d’adopter une approche différenciée en fonction des objectifs et du calendrier de chaque cours. 5.3. La faisabilité de la mise en œuvre de l’approche d’évaluation Pour les chargés de cours, la correction des copies peut représenter à elle seule la moitié du temps de travail contractuel, et ce, dans un contexte d’augmentation de la taille des groupes. Il nous apparaît indispensable de prendre en compte ces paramètres lors de l’élaboration de toute méthode d’évaluation. En effet, une approche trop complexe, comme 194 celle que propose par Gouadec par exemple, serait inévitablement vouée à l’échec pour des raisons matérielles, indépendamment de son intérêt théorique. 5.4. L’évaluation, un sujet de communication L’évaluation, dont l’importance est reconnue par une large majorité d’enseignants, constitue cependant encore trop souvent un sujet tabou, que ce soit pour des raisons pratiques (isolement des chargés de cours, qui n’ont pas toujours l’occasion de rencontrer leurs collègues), idéologiques (vision de l’évaluation réduite à son rôle de sanction, revendication de la sacro-sainte liberté académique) ou psychologiques (sentiment d’insatisfaction ou de malaise vis-à-vis des procédures mises en œuvre). Nous sommes d’avis qu’une mise en commun, dans chaque université, des problématiques rencontrées et des succès obtenus ne peut qu’être source d’une réflexion féconde pour tous les enseignants, sans pour autant que ne soit remise en question l’autonomie de chacun dans le choix et la mise en œuvre des modalités concrètes d’évaluation. Cette mise en commun pourrait prendre la forme de réunions départementales, comme c’est le cas à l’Université de Sherbrooke, ou d’une communauté de pratique en ligne, ce qui aurait l’avantage de permettre des échanges interuniversitaires. Par ailleurs, une communication adaptée et positive pourrait permettre d’éviter la perpétuation de la logique reproductiviste qui caractérise souvent l’entrée en fonction d’un nouvel enseignant, puisqu’il est fréquent, d’après certains répondants à notre étude, que le nouvel arrivant s’inspire fortement des pratiques antérieurement en vigueur ou qu’il reproduise le mode opératoire qu’il utilisait dans une autre université. 5.5. La formation des enseignants Un doctorat, en traductologie comme dans d’autres disciplines, confère de facto le droit d’enseigner. Cependant, si la rédaction d’une thèse permet d’évaluer l’aptitude à la recherche, elle n’est garante en rien des connaissances et compétences en pédagogie. De même, l’expertise d’un chargé de cours dans un domaine spécifique de la traduction ne préjuge pas de sa capacité à enseigner. Cette évidence avait déjà été relevée par Kelly : « It will have become clear by now that in my opinion translator trainers require training in 195 order to carry out their task as educators efficiently. […] It is the third major area, that of actual teaching competence, which is found to be lacking » (Kelly, 2005 : 151-151). Ce constat apparaît valable a fortiori pour l’évaluation. Même si cela tient encore du vœu pieux, une formation préalable des enseignants à l’évaluation didactique nous semble être une étape indispensable à l’acte d’évaluation. Conjuguée à la mise en œuvre d’une communication départementale sur le sujet, cette mesure favoriserait la professionnalisation des procédures d’évaluation et leur adaptation aux nouvelles réalités du marché du travail. Elle pourrait également contribuer à diminuer le stress lié à l’évaluation ressenti par les enseignants. Cette formation obligatoire préalable à l’entrée en fonction d’un nouvel enseignant, dispensée par des spécialistes de l’évaluation que toutes les facultés des sciences de l’éducation comptent dans leurs rangs, pourrait prendre la forme d’un séminaire basé sur l’interaction et le partage, intitulé « Le plaisir d’évaluer47 ». 47 Appellation inspirée du cours « Le plaisir de faire apprendre » proposé par le Bureau des services pédagogiques de l’Université Laval : http://www.bsp.ulaval.ca/plaisir.php 196 Chapitre VI : évaluation didactique et technopédagogie La place occupée par les technologies dans l’enseignement de la traduction au Canada n’a pas encore été abordée sous l’angle de la recherche pratique. Cette absence sera comblée par la publication prochaine de deux études menées d’une part du point de vue des enseignants (Cyr, n.d.), et d’autre part de celui des étudiants (Gardy, n.d.). La place des technologies en didactique de la traduction constitue également un domaine encore largement inexploré. Ce chapitre vise à étudier l’apport potentiel des outils multimédias, et plus particulièrement de la vidéo, au processus d’évaluation didactique en traduction, en vue d’améliorer l’efficacité de celui-ci. Cette démarche s’inscrit dans le sixième objectif spécifique défini en introduction. Préalablement à l’exposé des résultats de notre étude, nous préciserons le concept de technopédagogie et ferons le point sur l’état de la recherche sur le sujet, de même que sur la place qu’occupent les technologies dans le domaine de la traduction. 1. Définition de la technopédagogie Les technologies de l’information et de la communication (TIC) qui, selon Narcy-Combes (2005 : 172) ont perdu depuis le début de ce siècle le N (« nouvelles ») qui les précédait, font désormais partie intégrante de l’enseignement universitaire. Bien loin des acétates, qui apparaissaient pourtant comme extrêmement novateurs dans les années 1980, les outils technologiques sous leur forme matérielle ont connu une croissance exponentielle au cours des dernières années grâce aux progrès informatiques et techniques : les laboratoires informatiques, les vidéoprojecteurs et désormais les tableaux blancs interactifs (TBI) font partie intégrante du paysage universitaire. Quant aux applications immatérielles de la technologie, elles se présentent principalement sous la forme d’environnements d’échange et de collaboration (forums, portfolios), et elles facilitent la communication et la gestion de l’apprentissage (courriels et dépôt informatisé des travaux, par exemple). Ces plateformes permettent à l’apprenant, où qu’il soit, d’accéder à une multitude de ressources qui faciliteront et enrichiront son travail. Une revue rapide des sites Internet des principales universités québécoises met ainsi en évidence que 197 des systèmes de gestion de l’apprentissage – souvent désignés par le sigle LMS, pour Learning Management System – sont accessibles directement depuis la page d’accueil de ces institutions, les plus courants étant Moodle et WebCT. Cependant, si ses incarnations concrètes sont utilisées tous les jours par des millions d’étudiants, le terme de technopédagogie est encore peu utilisé et défini. 1.1. Une notion encore peu définie Le terme technopédagogie ne figure dans aucun des dictionnaires de l’éducation que nous avons consultés, même les plus récents. Legendre (2005 : 1368) ne fait mention que de technologie éducative et Raynal et Rieunier (2014 : 476) de technologie de l’éducation, ces deux termes datant de plusieurs décennies. Hormis Le grand dictionnaire terminologique (GDT) de l’Office québécois de la langue française, les autres dictionnaires et bases de données les plus couramment utilisés ne fournissent pas non plus, étonnamment, de définition du terme technopédagogie. Peut-être celui-ci est-il assez bien formé et ses composantes suffisamment connues pour qu’une définition apparaisse superflue. Néanmoins, une fois le terme adjectivé et adossé à « outils », le flou semble s’installer. Sur le site Internet de l’Université de Moncton, il est dit que « les infrastructures d’enseignement utilisées dans l’enseignement des cours ont été conçues de manière à favoriser l’apprentissage, les salles de classe étant dotées des plus récents outils technopédagogiques, tandis que les laboratoires d’enseignement disposent d’appareils sophistiqués et modernes48 ». On trouve également sur le site de la Faculté des sciences de l’administration de l’Université Laval une offre de formation destinée à présenter aux enseignants les « outils techno-pédagogiques » (que, par souci de concision, nous désignerons désormais par le sigle OTP) mis à leur disposition par la Faculté. Or, il n’est fait mention dans la liste des sujets abordés que de logiciels ou d’éléments immatériels (figure 16). 48 Site consulté le 11 novembre 2013 à l’adresse http://www.umoncton.ca/umce-decanat/node/1 198 Figure 16 – Présentation d’un atelier de formation aux OTP La comparaison de ces deux contextes amène deux commentaires : - les graphies diffèrent (avec ou sans tiret), - dans le premier cas, il semble que le syntagme « outils technopédagogiques » renvoie à des éléments matériels, tandis que dans le second, il n’est fait mention que de logiciels et autres éléments immatériels. Pour ce qui est de la graphie, une recherche ciblée sur Internet met en évidence que les deux variantes sont relativement peu utilisées : 14049 occurrences pour le terme sans tiret contre 57 pour celui avec tiret. Cependant, la logique voudrait que la construction de ce terme réponde aux mêmes règles que celle des substantifs formés de manière similaire (technopôle, technostructure, etc.) et déjà lexicalisés dans Le Petit Robert, c’est-à-dire sans tiret. C’est d’ailleurs cette graphie qui a été choisie par le GDT et que nous adopterons désormais de façon uniforme. 1.2. La définition du Grand dictionnaire terminologique La seule définition – issue d’une source réputée fiable – que nous avons pu trouver du terme technopédagogie est celle que propose le GDT : « science qui étudie les méthodes d’enseignement intégrant les nouvelles technologies de l’information et de la 49 Utilisation de la fonction de recherche avancée de Google menée le 22 juin 2013. 199 communication.50 » Cette définition, qui réduit la technopédagogie à un rôle d’étude d’ellemême, ne nous semble pas adaptée dans notre contexte. Nous préférons donc combiner celle que propose Mialaret de la pédagogie, qui « constitue la manière dont l’enseignant va organiser les différents processus cognitifs naturels (apprentissage, mémoire, traitement,...) pour les rendre optimaux » (1979 : 322), aux éléments du Petit Robert pour le sens du préfixe techno-, pour définir la technopédagogie comme suit : La technopédagogie constitue la manière dont l’enseignant va, à l’aide de moyens technologiques d’information et de communication, organiser les différents processus cognitifs naturels pour les rendre optimaux. Les outils technopédagogiques sont donc constitués de tous les éléments technologiques matériels et immatériels qui permettent d’organiser les différents processus cognitifs naturels pour les rendre optimaux. (Gardy, 2011 : 96) Les rares autres définitions que nous avons trouvées sur Internet ne nous semblent pas satisfaisantes. En effet, la première est plus proche d’une mise en contexte que d’une définition, alors que les lacunes syntaxiques et stylistiques de la seconde lui ôtent une grande part de sa crédibilité. La technopédagogie sous-tend une réflexion et un judicieux arrimage entre la pédagogie et la technologie. Ce terme renvoie à des pratiques qui considèrent à la fois les aspects pédagogiques (ex : méthodes d’enseignement et d’apprentissage, motivation, compétences à développer chez les étudiants, etc.) et les aspects technologiques (ex : utilisation de l’ordinateur, du web, des tableaux blancs interactifs, etc.). (CEDIT, n.d.) La techno-pédagogie est une sorte de bilinguisme, un pied dans les besoins humains et des processus d’apprentissage, et l’autre dans la technologie et tout son potentiel. (Slade, n.d.) Ce sont pourtant ces définitions qui apparaissent en premier lorsqu’on lance une recherche du syntagme définition technopédagogie sur Internet, preuve qu’aucune définition claire et précise n’a encore été indexée par les principaux moteurs de recherche. 50 Grand dictionnaire terminologique en ligne, consulté le 12 avril 2012 200 1.3. Les représentations concrètes de la technopédagogie En résumé, les outils technopédagogiques, qui constituent la concrétisation du concept de technopédagogie, peuvent revêtir deux formes, soit matérielle, soit immatérielle. Sous leur forme matérielle, les OTP regroupent tous les équipements informatiques (ordinateurs, serveurs, vidéoprojecteurs, TBI, tablettes, télévoteurs, etc.) destinés, dans une visée pédagogique, à collecter, trier, stocker, transmettre ou utiliser des informations. Sous leur forme immatérielle, les OTP regroupent toutes les applications qui permettent notamment : - de trouver des informations à visée pédagogique, - de faciliter l’accès à l’information au sein des universités, - de faciliter la gestion de l’apprentissage, - d’évaluer les apprentissages, - de collaborer et d’échanger des informations entre enseignants et étudiants. 2. Le potentiel cognitif des technologies 2.1. Les modèles d’apprentissage Depover, Karsenti et Komis (2007 : 35) estiment qu’il est nécessaire, pour cerner le potentiel cognitif des TIC, de prendre en compte le modèle d’apprentissage dans lequel leur utilisation s’inscrit. Le modèle béhavioriste, qui est basé sur la transmission des connaissances, s’attache à rendre cette transmission la plus efficace possible tout en contrôlant ses effets sur l’apprenant. Pour Salomon et coll. (1991 : 3), il s’agira dans ce cas d’apprendre de l’ordinateur plutôt que d’apprendre avec l’ordinateur. Dans l’approche cognitiviste, où l’apprenant participe activement à son apprentissage, celui-ci utilise ses structures cognitives pour s’approprier des connaissances nouvelles. Contrairement au modèle béhavioriste, où l’apprentissage repose sur une copie des connaissances, l’approche cognitiviste considère que celles-ci émanent d’un processus de reconstruction par l’apprenant. Cependant, d’après Depover, Karsenti et Komis (2007 : 36), « pour voir réellement reconnu le potentiel cognitif des TIC, il [a fallu] attendre le développement des approches interactionnistes, qui fondent l’apprentissage sur les échanges entre l’individu et son environnement matériel mais aussi humain. » 201 Dans cette perspective constructiviste, les dispositifs technologiques liés à l’apprentissage ne sont plus centrés sur la transmission de contenus, mais ils ont plutôt pour objectif d’engager l’apprenant dans des processus cognitifs. La dimension humaine reste donc primordiale, et l’usage de la technologie, réfléchi. Depover, Karsenti et Komis (2007 : 15) notent que la mise en œuvre de ces modèles « s’est traduite par l’émergence d’approches nouvelles de l’enseignement dans lesquelles le rôle prépondérant de l’apprenant était explicitement reconnu ». C’est dans cette optique que nous proposerons des outils d’évaluation formative adaptés à l’enseignement de la traduction. 2.2. Les liens entre apprentissages et technologies Depover, Karsenti et Komis (2007 : 13) recensent trois approches d’analyse des liens entre apprentissage et les TIC : - la première repose sur l’idée que l’usage qui est fait par les enseignants des technologies dépend de leur conception de l’apprentissage; - la deuxième confère aux technologies une fonction de vecteur de changement. Leur introduction crée un déséquilibre cognitif qui contribue à favoriser l’évolution des pratiques et le passage à des modèles d’apprentissage qui privilégient l’implication des apprenants; - la troisième approche conjugue et nuance les deux précédentes en reconnaissant aux technologies un potentiel de changement sur les pratiques, mais qui ne pourra s’exprimer que si le contexte est favorable. Pour ce faire, il est nécessaire d’agir sur le milieu en accompagnant le changement afin de lever les principales résistances. C’est cette troisième approche que nous adoptons en reconnaissant explicitement que le potentiel cognitif TIC ne peut s’exprimer pleinement qu’avec la participation d'acteurs humains prêts à s’engager. 2.3. La théorie du double codage L'idée d'exploiter les ressources multimédias de l'ordinateur pour offrir à l'apprenant des possibilités multiples d'accès à l'information n’est pas nouvelle et constitue une caractéristique évidente de la plupart des logiciels à vocation didactique. L’utilisation du 202 multimédia permettrait de transmettre l'information plus efficacement en vertu de la théorie selon laquelle il existe un lien entre la pluralité des modes de communication (visuels et auditifs : images, sons, texte, etc.) et l’efficacité de l'apprentissage. Cette théorie du double codage, issue de recherches en neurosciences, a été proposée par Paivio (1971 et 1990), qui confère à l’activité d’imagerie des effets bénéfiques sur la mémoire verbale. Pour expliquer ces effets facilitateurs sur la rétention des informations, Paivio avance que deux sortes de systèmes interviennent dans la mémorisation : d’une part un système d’imagerie mentale, basée sur une « sémantique de la ressemblance » (Denis et coll., 1993, cités par Molinari, 2002 : 144) liée à notre perception de l’environnement, et d’autre part le système verbal qui résulte de notre expérience du langage. La figure 17 illustre ce modèle. Figure 17 – Le modèle du double codage de Paivio, présenté par Molinari (2002) Cette théorie a été reprise par Mayer (2001, 2009), Mayer et Gallini (1990) et Mayer et Anderson (1992) pour proposer un modèle cognitif de l’apprentissage multimédia, dont l’objectif est de décrire la relation entre des explications verbales et des animations visuelles. Dans ce modèle, trois types de processus sont mis en œuvre : - les processus de sélection, qui interviennent dans la construction d’une part d’une base textuelle, et d’autre part d’une base imagée; - les processus d’organisation, qui permettent la formation de deux représentations mentales, basées respectivement sur le texte et sur l’image. 203 - Le processus d’intégration de ces deux modèles, qui se fait par l’activation simultanée des éléments et des relations contenus dans chacun des modèles. L’apprentissage est facilité lorsque les illustrations et les informations verbales correspondantes sont présentées simultanément. Ainsi, Depover, Karsenti et Komis (2007 : 26-27) concluent que « la présentation simultanée d'informations à partir d'un texte oral et d'une animation ou d'un film conduit à un approfondissement de l'apprentissage parce qu'elle favorise les liens entre les deux systèmes de codage ». 3. Technopédagogie : état de la recherche Notre objectif ici n’est pas d’étudier en détail la situation de la technopédagogie en milieu universitaire, mais plutôt de recenser les principales difficultés et possibilités qui y sont liées. En effet, Endrizzi (2012 : 1) affirme qu’« il ne s’agit plus de savoir s’il est pertinent de les [les technologies numériques] utiliser dans un contexte formel d’éducation ou de formation (et donc de penser avec ou sans). Il s’agit de réfléchir aux conditions optimales d’une intégration réussie. » Le développement de la recherche est cependant récent, puisque Ungerleider (2002 : 7) regrettait que trop peu d’études soient menées et que Zhao et Frank (2003 : 809-810) faisaient remarquer le manque de recherches rigoureuses qui permettraient de connaître les impacts réels des technologies sur l’apprentissage. 3.1. Les difficultés spécifiques au domaine de recherche Tamim et coll. (2011 : 5) considèrent que depuis les premières méta-analyses de Kulik et coll. (1980), qui avaient mis en évidence que les performances des apprenants n’étaient pas meilleures lorsque des technologies étaient utilisées, aucune étude n’a permis d’évaluer de façon nette l’impact réel des technologies sur l’apprentissage, alors même que l’importance qu’elles ont acquise dans le système éducatif est sans commune mesure avec la situation qui prévalait en 1980. Selon Charlier (2011 : 31), plusieurs facteurs peuvent expliquer cette situation : - les recherches ont été souvent centrées sur l’aspect technologique sans que l’analyse des besoins pédagogiques ait été suffisante; 204 - elles ont souvent été mises en œuvre par des chercheurs sans la collaboration de praticiens; - elles n’ont pas tenu compte des conditions de mise en place des innovations. Par ailleurs, Endrizzi (2012 : 11) avance que « les recherches souffrent souvent d’un parti pris qui teinte plus ou moins les résultats d’évangélisme, de catastrophisme ou de scepticisme », selon les convictions technophiles ou technophobes de leurs auteurs : certains chercheurs affirment que la technologie joue un rôle clé dans les apprentissages, tandis que d’autres soutiennent que la pédagogie doit primer sur la technologie. Cependant, Endrizzi (2012 : 21) estime que « la variance contextuelle, c’est-à-dire les caractéristiques organisationnelles, pédagogiques et matérielles, est insuffisamment prise en compte, empêchant la mise en évidence de résultats probants ». Lebrun (2011 : 2) a également identifié trois facteurs propres à fausser les résultats : - l’adoption d’une technologie ne suffit pas à changer la pédagogie; - la comparaison de deux situations pédagogiques, l’une avec et l’autre sans technologies, ne permet pas de prendre en compte les différents usages induits par l’utilisation d'une technologie; - les effets en termes de compétences sont difficilement mesurables, puisque la notion de réussite reste fondamentalement multicritériée et qu’elle ne dépend pas seulement de la façon dont l’enseignement est conçu. Enfin, Albero (2011 : 16) avance que « l’émiettement de la recherche sur les technologies en éducation […] produit un ensemble de travaux et d’enquêtes qui s’ignorent réciproquement et s’additionnent sans cumuler ». C’est pourquoi Charlier (2011 : 28) plaide « pour des recherches plus ambitieuses, interdisciplinaires, menées en réseaux ». 3.2. L’évolution de la population étudiante En 2009, d’après une étude de l’Organisation de Coopération et de Développement Économiques (OCDE), plus de 85 % des Canadiens âgés de 15 ans avaient accès à Internet à l’école, et plus de 95 % à leur domicile (Pedró, 2012 : 55). Il semble logique que ces chiffres soient valables pour les jeunes adultes qui arrivent à l’université en 2014. Cette même étude indique une moyenne d’utilisation de deux heures par jour chez les adolescents 205 de 15 ans, et ce, seulement pour le domicile. Les outils numériques constituent donc un élément essentiel de leur vie, sur le plan personnel comme scolaire. En effet, Dahlstrom (2012 : 19) confirme que « students generally agree that technology helps them achieve their academic outcomes (75%), prepares them for future educational plans (74%), and prepares them for the workforce (63%) ». Par ailleurs, Consiglio et coll. (2011 : 10-11) constatent que les étudiants universitaires souhaitent de plus en plus pouvoir accéder aux ressources technopédagogiques de façon autonome et tendent à délaisser les services documentaires plus traditionnels, notamment les bibliothèques. Selon l’étude de Fusaro et Couture (2012 : 22) menée pour le compte de la Conférence des recteurs et des principaux des universités du Québec (CREPUQ), les étudiants québécois privilégient ainsi la recherche documentaire en ligne pour préparer leurs travaux écrits, et les outils qu’ils utilisent le plus sont le courriel et les logiciels de présentation et de traitement de texte. Ils apprécient par ailleurs de pouvoir télécharger les supports d’apprentissage pour en organiser le contenu à leur convenance. Cependant, même si les étudiants plébiscitent l’utilisation des technologies, ils ne souhaitent pas, d’après Dahlstrom (2012 : 3), que le modèle de l’enseignement en présentiel soit remis en question. Pour eux, la qualité de l’enseignement prime sur l’environnement technologique. D’ailleurs, s’ils sont critiques quand les enseignants n’utilisent pas les fonctionnalités élémentaires des plateformes d’enseignement, ce que nous avons d’ailleurs pu constater lors de l’étude menée auprès des étudiants en traduction, ils considèrent qu’un usage inapproprié est pire que pas d’usage du tout. J'ai du mal à comprendre qu'en 2013 (au niveau universitaire en plus) il y a encore des professeurs qui ne se servent pas du portail électronique. La majorité de mes enseignants ne maîtrisent pas le Portail des cours. Certains exigent que l'examen soit fait à la main! Par ailleurs, certaines recherches indiquent chez les jeunes de la génération Y un affaiblissement de l’intelligence verbale au profit de formes d’intelligence plus « visuospatiales » (Endrizzi, 2012 : 12). Cependant, Pedró (2012 : 151) estime que « there is not enough research evidence to demonstrate that technology attachment or connectivity has critical effects on cognitive skills development », et que seules des études longitudinales pourraient confirmer ces présomptions. Ellis et Goodyear (2010), pour qui rien à ce jour ne 206 permet d’affirmer que les processus cognitifs des natifs du numérique diffèrent de ceux des générations antérieures, partagent cet avis. 3.3. La résistance au changement Dans le contexte de l’enseignement en présentiel, encore majoritaire dans les universités au Canada, la responsabilité de l’enseignement est entièrement dévolue au professeur, qui bénéficie de la liberté académique tant pour le contenu que pour l’organisation de son cours. Cependant, comme l’indique Marchand (1998 : 14), En enseignement médiatisé, l’enseignant n’est plus la source exclusive du savoir. Il devient un facilitateur de savoir et n’est plus le réseau principal d’information. L’enseignement devient plus interactif et se déplace en laissant une part plus grande à l’apprenant plutôt qu’au maître. Ce mode d’utilisation interactif oblige le professeur à connaître les nouvelles technologies, à les apprivoiser, à varier les approches pédagogiques pour faciliter les modes d’apprentissage. Marchand (1998 : 14) est donc d’avis que cette médiatisation de l’enseignement se heurte à une résistance de la part de certains enseignants, car « la formation initiale des professeurs les dispose plus à la permanence qu’au changement ». Selon Barker (1993 : 125), les enseignants qui résistent au nouveau paradigme créé par cette évolution opèrent un tri sélectif parmi ses composantes pour ne conserver que celles qui sont compatibles avec l’ancien paradigme et ignorent les autres. Cette prise en compte partielle les empêcherait d’envisager des solutions originales aux problèmes posés par la nouvelle situation. Ces changements, qui interviennent dans un contexte économique difficile qui se traduit notamment par une augmentation de la taille des groupes et une forte pression budgétaire, peuvent être mal vécus par les enseignants. « La résistance au changement devient alors la réponse à cette situation » (Marchand, 1998 : 15). Par ailleurs, sur le plan institutionnel, si le mode de vie des étudiants d’aujourd’hui et certains de leurs comportements radicalement différents de celui des générations précédentes ont contribué à modifier leurs perceptions et leurs attentes, le développement, puis l’explosion des technologies numériques ont aussi eu des effets sur le fonctionnement de l’enseignement supérieur. Albero et Charignon (2008 : 15) notent que les universités ont dû évoluer pour s’adapter aux bouleversements induits par ces technologies, qui sont désormais de plus en plus au cœur de la stratégie des établissements qui visent à gagner en 207 efficacité et à trouver leur place dans la mondialisation. Cependant, si les progrès de l’informatique ont exercé une influence importante sur les services administratifs des universités (notamment en ce qui a trait aux services d’admission, d’inscription, de facturation, etc.), Endrizzi constate qu’ils n’ont pour autant pas remis en cause l’enseignement traditionnel : « les équipes dirigeantes [des universités] n’imaginaient pas que l’enseignement puisse être transformé » (Endrizzi, 2012 : 6). L’irruption de la technopédagogie n’a donc pas encore entraîné de changement de paradigme dans les approches d’enseignement. Les causes de cette résistance au changement ne seraient pas liées à une incapacité des acteurs à s’adapter, mais plutôt dues aux fondements mêmes de la tradition universitaire. De même, Albero (2011 : 12) est d’avis que le modèle traditionnel de l’enseignement universitaire, basé sur une logique de transmission de la connaissance, est « encore prégnant dans l’institution » et que « l’omniprésence de ces marqueurs traditionnels », principalement les critères d’évaluation des professeurs et la considération moindre accordée à l’enseignement dans la hiérarchie de leurs activités, « permet de comprendre l’origine des forces qui font obstacle à sa transformation en profondeur » (2011 : 13). Albero et Charignon (2008 : 56) et Endrizzi (2012 : 16) considèrent que la professionnalisation du savoir enseigner à l’université est un chantier en cours, et que le manque, voire l’absence, de valorisation de cette fonction dans la carrière des enseignants constitue un frein fondamental à leur engagement dans une réflexion pédagogique et l’adoption de nouvelles méthodes. Romainville (2006 : 32) regrette également l’absence de reconnaissance du caractère « professionnel » de l’acte d’évaluation. Cependant, on constate une évolution rapide de la perception des enseignants quant à l’utilisation des outils technologiques. Ainsi, Lebrun (2011 : 08) a mis en évidence en 2007 chez les enseignants « une nette diminution par rapport à 2001 de la perception des TIC considérés comme un obstacle ». Albero et Charignon (2008 : 55) relèvent que désormais, les enseignants estiment que l’apprentissage doit bénéficier des possibilités offertes par les technologies numériques, mais que l’accompagnement du personnel enseignant demeure cependant primordial. En résumé, les difficultés d’adaptation des modèles traditionnels d’enseignement face à la révolution numérique creusent, selon Ito et coll. (2009 : xii), un fossé grandissant entre 208 l’université et les attentes et pratiques des étudiants. Albero (2011 : 12) avance que « les relations entre pédagogie et technologies continuent de faire problème […] en particulier en lettres et en sciences humaines et sociales. » Charlier (2011 : 30-31) propose de faire de ce fossé un axe de recherche en s’intéressant à la façon dont les technologies induisent de nouvelles façons d’apprendre, et de privilégier trois autres axes de recherche : - des recherches de type méta-analyses visant à confirmer que l’on apprend mieux ou moins bien avec ou sans telle ou telle technologie; - des recherches visant à mieux comprendre les changements associés aux usages des technologies et les conditions de ces changements afin que l’on puisse favoriser leur développement; - des recherches dans lesquelles le chercheur crée et expérimente des dispositifs innovants. C’est dans ce cadre précis que s’inscrit notre démarche de rechercheaction, au cours de laquelle nous aurons recours à l’utilisation de la vidéo. 4. Évaluation et technopédagogie 4.1. État de la recherche L’utilisation des outils technopédagogiques dans le processus d’évaluation a connu ces dernières années une croissance liée au « développement même de la formation par Internet, qui […] requiert des modes d’évaluation adaptés. » (Audet, 2011 : 8). Cette croissance est elle-même liée aux progrès technologiques. Les environnements d’apprentissage en ligne comportent ainsi tous des outils d’aide à l’évaluation et à la réalisation d’activités en réseau. Par ailleurs, les fonctionnalités offertes par le Web 2.0, comme les blogues, les réseaux sociaux et les wikis, multiplient les scénarios pédagogiques réalisables en ligne et les possibilités de collaboration des étudiants. Ces outils sont également de plus en plus conviviaux, ce qui permet aux enseignants de garder la maîtrise du processus : « What is changing is usability. Where previously much of the preparatory work had to be done by third party or other technically expert staff, programs are increasingly providing end-user academics with the tools to implement their own eassessment » (Ripley et coll., 2009 : 2). 209 Si les OTP sont désormais incontournables sous leur forme matérielle (vidéoprojecteurs, TBI et bientôt iPad51) en salle de cours, ce sont sous leurs multiples déclinaisons immatérielles et logicielles qu’elles apparaissent le plus utiles dans un contexte d’évaluation. Audet (2011) a recensé les principaux OTP utilisés en évaluation, dans une étude menée pour le compte du REFAD (Réseau d’enseignement francophone à distance du Canada). Il est en effet logique que la recherche sur ce thème soit axée sur l’enseignement à distance, puisque les TIC ont par essence vocation à occuper une place prépondérante dans l’évaluation des apprentissages dans le contexte de cette modalité d’enseignement. Cependant, il apparaît que les outils et processus utilisés dans ce cadre sont pour la plupart applicables à une situation en présentiel. Pour autant, l’utilisation des TIC à des fins d’évaluation des travaux des apprenants universitaires qui étudient en présentiel reste un domaine à défricher. Pour preuve, les travaux d’Endrizzi (2012), de Depover, Karsenti et Komis (2007) ou d’Albero (2011), pour n’en citer que quelques-uns, n’abordent pas du tout ce sujet. Il en est fait mention dans une autre étude menée par Karsenti et coll. (2007), mais le domaine reste clairement sous-exploré par la recherche. En effet, l’usage des OTP dans l’enseignement en présentiel est généralement abordé exclusivement sous l’angle de la rétroaction par courriel, comme le montre la formulation des résultats de cette étude pourtant récente : Les TIC semblent améliorer le feedback (rétroaction) reçue du formateur universitaire de façon relativement timide. En effet, ce sont seulement 11,4% des étudiants questionnés qui se disent « tout à fait d’accord » avec cet énoncé, un peu comme si ils n’étaient pas pleinement satisfaits de l’usage fait du courriel [notre présentation] par les formateurs universitaires. (Karsenti et coll., 2007 : 43) 4.2. Rappel des caractéristiques de l’évaluation formative Les OTP peuvent être utilisés en évaluation dans un contexte sommatif aussi bien que formatif. Cependant, comme il a été expliqué aux chapitre I et II, l’opposition fréquemment faite entre les aspects formatif et sommatif de l’évaluation nous semble devoir être dépassée. En conséquence, l’évaluation formative dont il sera question dans cette partie pourra être illustrée par des exemples basés sur des modalités d’évaluation sommative. Selon Foresman (2010), plusieurs universités américaines ont déjà introduit l’usage à grande échelle de l’iPad dans certains programmes. 51 210 Les principales caractéristiques de l’évaluation formative, que nous avons détaillées au chapitre I, peuvent être résumées par un réseau de concepts : Figure 18 – L'évaluation formative sous forme de réseau conceptuel Selon Scallon, la rétroaction se situe au cœur du principe de régulation (2000 : 27), qui est lui-même l’élément clé (2000 : 22) de sa définition de l’évaluation formative. Audet (2011 : 11), sur la base des récents travaux de Butcher, Swithenby et Jordan (2009) et Boud et coll. (2010), est d’avis que la rétroaction « permet de faire de toute évaluation, même au départ essentiellement sommative, un outil formateur ». 4.3. La classification d’Audet Audet (2011) propose une classification en quatre catégories des OTP utilisables dans un contexte d’évaluation : - les questionnaires et simulations à fin d’évaluation, - les activités d’évaluation en ligne, - les outils de soutien à l’évaluation, - les outils de détection du plagiat et de la tricherie. 4.3.1. Les questionnaires et simulations à fin d’évaluation Les outils et logiciels de cette catégorie permettent non seulement – par rapport à la situation antérieure où tout devait être fait manuellement – un gain de temps considérable 211 dans la préparation, l’administration et la correction des tests soumis aux apprenants, mais ils répondent également au critère de flexibilité du contexte pédagogique de la figure 18. Ainsi, Audet (2011 : 83) note qu’il est possible de modifier à n’importe quel moment le contenu d’un test d’évaluation en ligne pour l’adapter à une situation donnée. Une telle flexibilité n’est pas possible avec le papier. 4.3.2. Les activités d’évaluation en ligne Certaines activités d’évaluation en ligne (les portfolios, par exemple) relèvent d’une informatisation d’un procédé existant sous une forme manuelle, et d’autres (les blogues, wikis et forums) représentent de véritables innovations sur le plan pédagogique. L’intérêt du portfolio (ou « dossier d’apprentissage ») dans une approche formative à l’école a été mis en évidence par Doyon et Juneau (1996 : 7-19) et son utilisation rationnelle a été préconisée par Simon et Forgette-Giroux (1994 : 31). Par ailleurs, son utilisation à l’université dans le contexte de l’enseignement de la traduction est recommandée par Kelly (2005 : 138). C’est alors l’apprenant, et non l’enseignant, qui choisit les éléments qui mettent en évidence son apprentissage. Cette pratique correspond donc à trois des critères présentés dans la figure 3.5 : l’autoévaluation, la responsabilisation de l’apprenant et la continuité du processus, puisqu’un portfolio s’inscrit dans la durée. 4.3.3. Les outils de soutien à l’évaluation Les logiciels et outils de soutien à l’évaluation présentent également plusieurs aspects propices au développement de l’évaluation formative grâce à la rétroaction. Avant de présenter ces outils, il convient de faire état de la situation actuelle. 4.3.3.1. La situation actuelle La façon la plus courante de corriger des travaux et de transmettre une rétroaction à l’apprenant demeure aujourd’hui l’écriture sur sa copie, au stylo rouge, d’annotations qui apparaissent « dans l’aire scripturale habituellement réservée aux commentaires : marge, en-tête, bas de page » (Halté, 1984 : 18). Ces commentaires portent généralement soit sur le 212 fond (structuration de la pensée, par exemple), soit sur la forme (erreurs de langue et de présentation). Les inconvénients de cette méthode ont été soulignés par plusieurs études. Par exemple, selon Stannard (2008), « Feedback is often misunderstood by students. It is often unclear what the tutor has written or corrected. ». Fregeau (1999) et Cohen et Calvacanti (1990 : 155) ont mis en exergue que les apprenants considéraient que les commentaires portant sur la forme étaient généralement incohérents, confus, parfois même contradictoires, et négatifs. Selon ces auteurs, la majorité des apprenants ne cherchent alors pas à comprendre la cause de leurs erreurs. La rareté, voire l’absence, de commentaires positifs constitue également une source de frustration. Quant aux commentaires portant sur le contenu, Leki (1990 : 62) avance que les apprenants y réagissent principalement de trois façons : - en ne les lisant pas du tout; - en les lisant, mais sans les comprendre, parfois parce qu’ils n’arrivent tout simplement pas à les déchiffrer; - en les lisant et en les comprenant, mais sans savoir comment en faire usage ultérieurement. On constate que ces éléments rejoignent les données qualitatives recueillies auprès des étudiants dans le cadre de la présente recherche (chapitre IV, 5). Face à ces écueils qui jalonnent le processus de la rétroaction écrite, Williams (2003) recommande que les enseignants adoptent une nomenclature claire et précise des commentaires, qu’ils la communiquent et l’expliquent aux apprenants, qu’ils forment ceuxci à la façon de faire bon usage de cette rétroaction, et enfin qu’enseignant et apprenant se rencontrent pour un échange direct qui permettra de lever d’éventuelles ambiguïtés. Cette approche nous semble très louable, et applicable pour les trois premiers éléments cités, mais Williams n’aborde pas la question de la faisabilité des rencontres individuelles au vu des évidentes contraintes de temps que celles-ci entraînent, dans un contexte où l’augmentation de la taille des groupes (il n’est question ici que de l’enseignement de la traduction) devient la norme, d’après les informations recueillies auprès des enseignants que nous avons interrogés (voir chapitre III, 2.11.). 213 4.3.3.2. Les OTP de rétroaction textuelle Le développement des plateformes de cours au sein des universités permet notamment le dépôt en ligne des travaux. Après avoir téléchargé les travaux de leurs étudiants, certains enseignants les évaluent directement à l’écran à l’aide d’outils de rétroaction textuelle, principalement à l’aide de la fonction commentaires de Word (figure 19). Figure 19 – Utilisation de la fonction Commentaire de Word Il existe également quelques logiciels spécialisés, notamment Markin (figure 20) et Turnitin (figure 21), qui combinent par exemple la possibilité de créer un code de correction personnalisé (ce qui facilite l’annotation de la copie) et d’insérer des commentaires, et qui permettent d’obtenir automatiquement des éléments statistiques quant aux types d’erreurs commises. Figure 20 – Capture d’écran du logiciel d'annotation Markin52 52 Source : http://www.cict.co.uk/markin/features.php, page consultée le 01/02/2014 214 Figure 21 – Capture d’écran du logiciel Turnitin53 Ces outils présentent plusieurs avantages : - les annotations sont claires et lisibles; - ce à quoi elles se rapportent est aisément identifiable, du fait des liens qui relient les commentaires à un endroit spécifique de la copie; - chez l’utilisateur averti, la productivité au clavier est supérieure à celle de l’écriture manuelle; - l’aspect écologique n’est pas négligeable, puisque les copies ne sont à aucun moment imprimées. Le logiciel Markin présente des avantages supplémentaires : - l’utilisation des icônes du code de correction permet d’économiser un peu de temps; - les commentaires peuvent être sauvegardés et réutilisés sur d’autres copies où figurent les mêmes erreurs; - tant l’apprenant que le correcteur bénéficient des enseignements issus de la production automatique de statistiques d’erreurs, qui peuvent leur permettre de réguler respectivement leur apprentissage et leur enseignement. Cependant, ces deux solutions ne sont pas exemptes d’inconvénients : en effet, sauf pour les experts en dactylographie, la saisie de commentaires demeure une activité chronophage. 53 Source : http://turnitin.com/fr/features/grademark, page consultée le 01/02/2014 215 Par ailleurs, dans le cas de Word, et dans une certaine mesure pour Markin, il ne s’agit que de la mécanisation d’une activité auparavant manuelle. L’apport de la technologie reste donc marginal. 4.3.3.3. Les OTP de rétroaction sonore D’autres enseignants ont choisi de mettre en œuvre des OTP faisant appel à d’autres sens que la vue pour améliorer l’efficacité de la rétroaction. Ainsi, Roberge (2006) a expérimenté dès 1991 la rétroaction sur cassette audio en plus de la correction papier. Selon elle, les principaux avantages de cette méthode du point de vue de l’apprenant sont les suivants : - l’apprenant assiste en temps réel à l’évaluation de son travail; - il peut réécouter à loisir la cassette; - il peut noter les commentaires qui lui semblent les plus pertinents et optimise de ce fait ses chances de les garder en mémoire; - la relation affective entre enseignant et apprenant est consolidée; ce procédé « humanise » l’acte d’évaluation (Gardy, 2011 : 97) et l’apprenant est alors moins soumis à l’aspect clinique du jugement de l’évaluateur. 4.3.3.4. Les OTP de rétroaction multimédia Même si sa diffusion est apparemment restée confidentielle, la rétroaction sonore a représenté un bouleversement dans la pratique traditionnelle de la correction textuelle. Cependant, le recours à des outils multimédias, dont Stannard (2008) a été le précurseur, apparaissait inévitable au vu des possibilités toujours plus nombreuses offertes par les dernières générations de logiciels. Il n’existe pas à notre connaissance d’outil multimédia qui ait été créé spécifiquement à des fins d’évaluation des apprentissages, mais il est fréquent que des produits commerciaux conçus pour le grand public soient utilisés dans ce but « en les détournant parfois, pour les adapter et faciliter leur intégration en contexte scolaire » (Depover, Karsenti et Komis, 2007 : 41). Les exemples à cet égard ne manquent pas : Word, Skype et des logiciels de montage vidéo comme Snagit ou Camtasia. Le concept de la rétroaction multimédia étant à la base de nos recherches, elle sera détaillée plus loin. 216 4.3.4. Les outils de détection du plagiat et de la tricherie 4.3.4.1. La malhonnêteté scolaire La malhonnêteté scolaire est définie par Hard, Conway et Moran (2006 : 1059) de la façon suivante : providing or receiving assistance in a manner not authorized by the instructor in the creation of work to be submitted for academic evaluation including papers, projects and examinations (cheating); and presenting, as one's own, the ideas or words of another person or persons for academic evaluation without proper acknowledgement (plagiarism). Si la malhonnêteté scolaire n’est évidemment pas une nouveauté de notre siècle, elle constitue désormais un réel défi en raison de l’utilisation croissante des outils informatiques et de la disponibilité grandissante de sources d’information sur Internet. Dans une étude menée au Canada par Christensen Hugues et McCabe (2006 : 10), 53 % des étudiants au premier cycle admettent avoir commis un acte de tricherie grave dans le cadre d’un travail écrit, et 18 % lors d’un examen. Audet (2011 : 56) considère que « le problème est clairement important et [qu’] il semble en voie d’accroissement ». Audet recense plusieurs approches de lutte contre la malhonnêteté scolaire : - la prévention, qui passe par l’information des étudiants et des enseignants; - la formation des étudiants à l’éthique et à la recherche; - l’adaptation des modes d’évaluation, tant sur le fond que dans leurs modalités d’administration; - la détection, réalisée manuellement ou à l’aide de logiciels spécialisés; - la sanction des étudiants mis en cause. 4.3.4.2. Les outils de détection de la malhonnêteté scolaire Selon Audet (2011 : 72), le plagiat peut être détecté même en l’absence d’outils spécialisés, en se fondant sur des caractéristiques du travail évalué : expressions ou vocabulaire inhabituels, écarts de style, idées sans enchaînement logique, etc. Les moteurs de recherche comme Google constituent des outils intéressants, mais de plus en plus d’institutions ont recours à des logiciels ou équipements spécialisés. Ainsi, « en Ontario, toutes les écoles 217 publiques doivent maintenant utiliser le logiciel de détection Turnitin54, un des […] plus couramment employés. » (Audet, 2011 : 73). Lors de la remise d’un travail par un étudiant, le logiciel vérifie automatiquement son originalité et affiche un pourcentage de similarité par rapport à des écrits existants sur Internet. Dans les établissements universitaires qui enseignent la traduction, la plupart des laboratoires où se déroulent les examens sont également utilisés pour l’apprentissage des langues étrangères et sont dotés de logiciels permettant la visualisation et la prise en main à distance, par le poste maître, des ordinateurs des apprenants. Ces technologies, dont l’objectif premier n’est pas la détection de la malhonnêteté scolaire, peuvent néanmoins être utilisées dans ce but. 4.4. La rétroaction didactique multimédia La rétroaction didactique multimédia telle qu’elle est actuellement utilisée fait généralement appel à la combinaison d’une source textuelle et d’une source vidéo, d’où l’appellation de rétroaction vidéo (RV). Il est tout d’abord nécessaire de lever une ambiguïté quant à la définition de cette pratique. En effet, Baribeau (1996) et Tochon (1996) ont tous deux traité de la RV en tant que support d’analyse de la pensée de l’enseignant en cours d’intervention. Nous proposons donc la définition suivante, dérivée de celle de Raynal et Rieunier (2012 : 227) : « la rétroaction vidéo sert, grâce à l’utilisation de moyens multimédias, à informer l’apprenant de la qualité de son apprentissage et à lui indiquer des moyens de développer ses compétences de façon autonome » (Gardy, 2011 : 98). 4.4.1. La genèse de l’utilisation de la rétroaction vidéo à des fins d’évaluation L’utilisation des logiciels de capture d’écran à des fins de formation (principalement pour la prise en main d’outils informatiques, sous la forme de didacticiels) n’est pas récente et a connu un développement rapide avec l’essor d’Internet. Cependant, ce n’est qu’en 2007 que Stannard (2008) a réalisé un premier test de RV à des fins d’évaluation formative. Il a pour 54 Ce logiciel offre aussi des fonctionnalités d'évaluation, présentées au paragraphe 4.3.3.2 218 ce faire « détourné » de sa fonction première Camtasia, un logiciel de capture et de montage vidéo. Le processus de rétroaction a été le suivant : - envoi électronique de leurs travaux par les étudiants; - annotation des copies directement à l’écran grâce aux outils graphiques du logiciel; - rétroaction audio-vidéo simultanée à l’annotation; - envoi des fichiers vidéo aux étudiants en lieu et place des copies papier. Fondée sur les principes du double codage présenté précédemment, la recherche-action de Stannard a suscité un réel engouement et la pratique de la RV a été reprise au Québec par Lavoie (2010) et Gardy (2011). 4.4.2. Les apports de la rétroaction vidéo Stannard (2008) résume ainsi les principaux enseignements de cette première expérience du point de vue de l’étudiant : - l’appréciation des aspects visuel et sonore de la rétroaction au lieu de l’écrit seul, - l’appréciation de la quantité de rétroaction fournie, - l’appréciation de la possibilité de pouvoir réécouter à loisir la vidéo. Du point de vue de l’enseignant : - la rétroaction très positive de la part des étudiants, - l’importance de la préparation et la nécessité d’une prélecture des copies pour éviter les blancs lors de l’enregistrement vidéo, - la quantité de l’information apportée : « You can speak around 200 words in a minute so a two minute video could be as much as 400 words » (Stannard, 2008), - le temps nécessaire au traitement des vidéos après l’enregistrement : les opérations de compression et d’envoi peuvent être très longues en fonction de la durée de la vidéo et de la puissance de l’ordinateur, - la nécessité d’une méthodologie quant au contenu de la vidéo et à la teneur de la rétroaction. Nos propres tests menés en 2010 auprès d’étudiants en traduction (Gardy, 2011 : 98-101) ont confirmé les conclusions de Stannard et mis en évidence la courbe d’expérience qui a permis de résoudre rapidement les écueils techniques et méthodologiques évoqués, 219 notamment grâce au développement rapide de la puissance des matériels et logiciels utilisés. 5. Traduction et technopédagogie La traduction est sans doute l’un des domaines qui a été le plus bouleversé ces dernières années par l’avènement des outils informatiques. Jusque dans les années 1970-1980, cette activité multimillénaire s’exerçait exclusivement grâce au papier, que ce soit pour prendre connaissance du texte source, pour le traduire ou pour faire des recherches documentaires ou terminologiques. Comme le rappelle Scarpa (2010 : 244), tous les traducteurs professionnels travaillent désormais sur un support numérique auquel est associée une plateforme informatique leur permettant de répondre aux exigences d’un marché qui demande aux traducteurs de traduire de grandes quantités de texte dans une variété de formats, le plus rapidement et au moindre coût possible, sans pour autant compromettre la qualité. Cette assertion ne concerne sans doute pas la majorité des traducteurs littéraires, mais d’après Vande Walle (2007), cité par Scarpa (2010 : 85), 99 % des documents traduits en Europe en 2006 étaient des textes pragmatiques. Il semble probable que cette proportion soit aussi valable pour le continent nord-américain. Outre le fait d’avoir « changé radicalement la façon de travailler et même de penser des traducteurs » (Scarpa, 2010 : 345), les technologies ont également donné lieu à la création de nouveaux marchés, le principal étant la localisation des logiciels et des sites Internet. Ces (r)évolutions technologiques ont suscité nombre de prises de position et de recherches sur des sujets aussi divers que la traductique (L’Homme, 2008), la traduction automatique ou la localisation, parfois – voire souvent – sur un mode défensif ou critique, comme le montrent ces assertions sociopolitiques de Pym et de Hamon : International capitalism has an interest in keeping the mobility of labor at levels lower than the mobility of capital. This ensures the continued asymmetries of the localization model. (Pym, 2004 : 23) Les technologies ont d’abord été conçues à des fins commerciales comme des appâts pour de potentiels apprenants consommateurs. Hamon (2013 : 547) Cependant, ces sujets dépassent largement le cadre de notre étude et ne seront donc pas abordés ici. 220 5.1. Technologie et enseignement de la traduction L’enseignement de la traduction a progressivement pris en compte le fait technologique, mais Bastin et Fiola (2008 : 12) avancent qu’il n’est « pas certain que ces technologies [de l’information et de la communication] fassent partie des préoccupations didactiques inéluctables ». Cette litote masque à la fois des pratiques pédagogiques qui, d’après Echeverri (2008 : 67), « n’ont pas beaucoup changé au cours des cinq dernières décennies » et un intérêt encore relativement peu marqué des traductologues pour ce sujet. Avant de recenser ces contributions, nous dresserons un état des lieux de la place des technologies dans la traduction professionnelle. 5.1.1. La place des technologies dans la traduction professionnelle Poeiras (2005 : 36) affirme que les technologies permettent aux traducteurs d’accroître leur productivité de 20 à 80 %. Pour L’Homme (2008 : 2), ce n’est pas seulement la façon de travailler qui a été modifiée, mais aussi la nature des textes à traduire : le traducteur est désormais appelé à travailler sur des fichiers PDF ou PowerPoint, des sites Internet ou des documents multimédias de divers formats. Il utilise également des outils créés spécifiquement pour les langagiers : les concordanciers55 et bitextes56, les mémoires de traduction57, les logiciels d’extraction terminologique58, les logiciels de gestion de projet de localisation59 et les logiciels de gestion de projet spécialisés en traduction60. Plusieurs études ont été menées quant à l’utilisation des outils technologiques par les traducteurs, notamment celle de eCoLoRe en 2003, dont les résultats ont été rapportés par Un concordancier est un outil (logiciel ou en ligne) qui permet d’exploiter des textes électroniques en vue d’obtenir « des indications précieuses sur l’usage d’un terme en contexte » (L’Homme, 2008 : 20). Un concordancier peut être unilingue, bilingue ou multilingue. 56 Un bitexte est un document bilingue où sont alignés, phrase à phrase ou paragraphe à paragraphe, des textes originaux et leur traduction (L’Homme, 2008 : 20). 57 Une mémoire de traduction est un outil d’aide à la traduction « qui recherche des correspondances entre les phrases d’un texte à traduire et un répertoire de phrases bilingues » (L’Homme, 2008 : 174). 58 Un extracteur terminologique est un logiciel qui permet d'extraire automatiquement une liste de termes à partir d'un corpus de textes. 59 La localisation correspond au processus de traduction de l'interface utilisateur d'un logiciel d'une langue vers une autre ainsi qu'à l’adaptation du produit à la culture locale. 60 Les systèmes de gestion de projets de traduction gèrent l'ensemble du processus de traduction et de localisation d'un texte, depuis la réception du fichier à traduire jusqu'à la facturation du client. 55 221 Wheatley (2003), et celles de Fulford et Granell-Zafra (2004) et de Lagoudaki (2006). Par souci de simplification et conformément à l’usage qui en est fait dans les études citées, l’appellation « mémoire de traduction » telle qu’elle est utilisée dans cette partie fait référence aux logiciels offerts sur le marché qui conjuguent différentes fonctionnalités (mémoire de traduction, gestion de la terminologie, gestion de projet, etc.) 5.1.1.1. L’étude de eCoLoRe Wheatley n’indique pas le nombre de traducteurs qui ont été interrogés, mais il précise que « As regards volume of response, this was considered to be quite low » (2003). Cette étude, principalement centrée sur l’usage des mémoires de traduction, a apparemment surtout suscité l’attention des germanophones, puisque l’allemand constitue la langue cible de 78 % des répondants. Les principaux domaines d’activité sont la traduction technique (58 %) et la traduction commerciale et financière (57 %). Quant au statut professionnel, il s’agit très majoritairement de traducteurs autonomes (84 %), dont 57 % déclarent travailler seuls et 43 % en sous-traitance. Presque les deux tiers (64 %) des répondants déclarent utiliser une mémoire de traduction, mais seuls 29 % (voir figure 22) font mention d’une utilisation quotidienne et 15 % d’une utilisation hebdomadaire. Ce sont donc seulement 44 % de ces traducteurs qui peuvent à notre avis être considérés comme des utilisateurs actifs, tandis que 36 % n’ont pas du tout recours aux mémoires de traduction. Figure 22 – Fréquence d’utilisation des mémoires de traduction (source : étude eCoLoRe) 222 La comparaison des profils sociodémographiques de ces deux groupes relativement homogènes en termes de nombres ne fait apparaître aucune différence significative : les répartitions par tranches d’âge et d’expérience en traduction sont très proches dans les deux cas. Cependant il apparaît que le domaine d’activité constitue un critère segmentant, puisque 76 % des utilisateurs déclarent traduire des textes techniques, contre 52 % seulement des non-utilisateurs. À l’inverse, seuls 4 % des premiers cités ont une activité de traduction littéraire, contre 27 % des seconds. Les raisons qui poussent les traducteurs à adopter l’utilisation d’une mémoire de traduction relèvent principalement de motivations internes (voir figure 22). Les répondants mettent en avant - les gains de productivité (75 %), - la simplification de la gestion terminologique (74 %), - l’amélioration de la cohérence de leurs travaux (70 %), - la simplification du contrôle de la qualité (55 %). Figure 23 – Facteurs d’adoption d’une mémoire de traduction (source : étude eCoLoRe) Cependant, des facteurs externes peuvent aussi intervenir, notamment les exigences du donneur d’ordre (41 %). La signification exacte du terme necessity (par opposition à client requirement), qui apparaît à la figure 23, n’est pas explicitée par Wheatley, bien que ce critère soit cité par plus de la moitié des répondants. 223 Autant les facteurs militant en faveur de l’adoption d’une mémoire de traduction apparaissent clairs à leurs utilisateurs, autant ceux qui incitent les traducteurs à ne pas franchir le pas (figure 24) sont exprimés de façon moins tranchée, à l’exception de celui du coût, qui représente un frein majeur pour 51 % de cette catégorie de répondants (d’où un doute exprimé à 34 % quant à la rentabilité à terme de l’investissement). Hormis le critère financier, le manque de formation constitue un obstacle pour 38 % d’entre eux, suivi des difficultés d’apprentissage (34 %). Un tiers de ces répondants invoquent aussi leur méconnaissance des apports potentiels de cet outil. Par ailleurs, 35 % considèrent qu’il n’est pas adapté à leurs besoins, chiffre qui est à rapprocher des 27 % qui déclarent œuvrer en traduction littéraire. Enfin, cette volonté de ne pas utiliser de mémoire de traduction ne découle pas d’un problème de compétences en informatique, puisque 77 % du total des répondants jugent leurs compétences bonnes ou excellentes, les autres les considérant suffisantes à l’exercice de leur pratique. Figure 24 – Facteur de refus d’adoption d’une mémoire de traduction (source : étude eCoLoRe) Quant à la formation, seuls 3 % déclarent l’avoir suivie lors de leurs études universitaires, tandis que 54 % ont appris de façon autonome en utilisant les didacticiels ou l’aide en ligne proposés par les concepteurs des logiciels. Il ressort de cette étude que l’utilisation de mémoires de traduction apportait, aux yeux de leurs utilisateurs en 2003, des gains significatifs en termes de productivité et d’efficacité. En revanche, le coût de l’investissement initial et les doutes quant à sa rentabilité, ajoutés aux craintes liées à la formation, freinaient l’adoption de ces outils par une majorité de traducteurs autonomes. 224 5.1.1.2. L’étude de Fulford et Granell-Zafra Cette étude a été menée auprès de traducteurs autonomes du Royaume-Uni en 2004. Ses auteures ont recueilli les réponses de 391 traducteurs œuvrant principalement (74 %) du français et de l’allemand vers l’anglais, surtout en traduction spécialisée (dans l’ordre d’importance : économique, commerciale, technique, scientifique, juridique) et pour une large majorité (71 %) diplômés de l’enseignement supérieur en traduction. Les principaux outils technologiques utilisés par ces traducteurs sont : - les logiciels de traitement de texte (99 %), - la messagerie électronique (93 %), - les moteurs de recherche (85 %), - les dictionnaires et glossaire en ligne (79 %), - les banques de données (59 %). Outre ces outils classiques, 24 % ont recours à des logiciels de gestion de la terminologie, 28 % à des mémoires de traduction et 2 % à des solutions de localisation. Les utilisateurs de ces produits présentent un profil différent de la moyenne : ils sont un peu plus jeunes, plus diplômés et plus productifs. Néanmoins, la quasi-totalité des répondants plébiscitent les TIC, notamment pour les activités de communication et de recherche terminologique. Les bénéfices qu’ils en retirent sont, dans l’ordre décroissant, un gain de temps, l’amélioration des services rendus à leurs clients, l’amélioration de leur productivité en tant que traducteurs et l’amélioration de la communication avec leurs clients. Cependant, la plupart des répondants, tout particulièrement ceux qui ne les utilisent pas, ne sont pas convaincus de l’utilité des outils d’aide à la traduction. Fulford et Granell-Zafra (2005 : 11) sont d’avis que cette position est davantage liée à une méconnaissance des possibilités offertes par ces logiciels qu’à un rejet fondé sur une analyse des fonctionnalités réelles des produits en question. En résumé, les statistiques d’utilisation des mémoires de traduction fournies par cette étude menée au Royaume-Uni sont très proches de celles observées par Wheatley en Allemagne à la même époque, ce qui, en l’absence de données chiffrées quant à l’étendue de cette dernière, en valide indirectement les résultats. 225 5.1.1.3. L’étude de Lagoudaki Cette étude, la plus complète et la plus formalisée de celles présentées ici, a été menée en 2006 auprès de 874 professionnels langagiers issus de 54 pays, dont 90 % de traducteurs. Presque les trois quarts des répondants sont des travailleurs entièrement autonomes ou traduisant en sous-traitance pour des cabinets. Figure 25 – Typologie professionnelle des répondants (Lagoudaki, 2006 : 9) Pour la plupart (68 %), ces langagiers disposent d’un diplôme universitaire en lien avec leur activité. Ce chiffre corrobore les informations issues de l’étude menée par Fulford et Granell-Zafra. Cependant, les caractéristiques démographiques des deux groupes étudiés diffèrent significativement sur un aspect, celui de l’âge des répondants (voir tableau 90). Tableau 90 – Comparaison démographique des répondants dans les études de Lagoudaki et de Fulford et Granell-Zafra En effet, alors que la représentation de la tranche de 30 à 49 ans est identique dans les deux cas, les jeunes professionnels de 20 à 29 ans sont surreprésentés dans cette étude par 226 rapport à celle de Fulford et Granell-Zafra, où la proportion de langagiers de plus de 50 ans est sensiblement plus importante. Selon nos estimations, l’âge moyen des répondants de l’étude de 2006 s’élève donc à environ 41 ans, contre 48 ans pour l’étude de 2004. Cette différence sensible sera à prendre en compte lors de l’analyse comparée des résultats. Presque tous les répondants (soit 94 %) jugent leurs compétences en informatique bonnes ou excellentes (figure 26), ce qui représente une différence de 17 % par rapport à l’étude de Wheatley (2003). Cette hausse pourrait refléter une évolution de la confiance des langagiers vis-à-vis de l’utilisation des TIC, mais aussi s’expliquer par la pondération plus forte de jeunes adultes dans la présente étude. Figure 26 – Compétences informatiques déclarées par les répondants (Lagoudaki, 2006 :11) Cette confiance affichée par les praticiens constitue, selon Lagoudaki, une condition nécessaire à l’adoption des mémoires de traduction par le plus grand nombre. L’amélioration continue des vitesses de connexion à Internet joue également un rôle important dans l’implantation de nouveaux outils qui peuvent être gourmands en bande passante. Seuls 5 % des répondants déclarent ne disposer que d’une connexion par modem analogique, limitée à 56 K, alors qu’ils étaient 68 % dans l’étude de Fulford et GranellZafra, à peine deux ans auparavant. Ces évolutions contribuent peut-être à expliquer le développement foudroyant de l’utilisation des mémoires de traduction. En effet, le taux de pénétration de cette catégorie d’outils a presque triplé en l’espace de deux ans, passant de moins de 30 % à plus de 82 % (voir figure 27). Cependant, aucune corrélation n’a été mise en évidence entre l’âge ou l’expérience d’une part, et le taux d’adoption des mémoires de 227 traduction d’autre part. Le rajeunissement de la pyramide des âges des répondants par rapport à l’étude précédente ne semble donc pas constituer un facteur important. Figure 27 – Taux de pénétration des mémoires de traduction (Lagoudaki, 2006 : 15) Lagoudaki avance une autre explication, à savoir la forte proportion de traducteurs techniques (61 %) au sein de l’échantillon observé, puisque selon elle, « there is a strong correlation between the particular text type and the use of TM systems » (2006 : 16). Cependant, cette proportion est presque identique à celles indiquées dans les deux études précédentes. La définition de la traduction technique pouvant parfois prêter à confusion, il est difficile de juger de la validité de cet argument. En revanche, l’argument du coût, qui dans l’étude de Wheatley représentait la principale barrière à l’utilisation d’une mémoire de traduction, n’apparaît plus qu’en troisième position en 2006, preuve de la démocratisation de l’outil. Il est vraisemblable que la baisse des prix engendrée par la multiplication de l’offre puisse en partie expliquer l’adoption croissante des mémoires de traduction par les langagiers. 228 Tableau 91 – Facteur de refus d’adoption d’une mémoire de traduction (Lagoudaki, 2006 : 17) L’inadéquation de l’outil aux besoins spécifiques du langagier constitue désormais le principal facteur de refus d’adoption. Cependant, 71 % des non-utilisateurs ne ferment pas la porte à une future acquisition. En effet, l’inadéquation en question est surtout liée à des questions techniques, en l’occurrence des documents source fournis sur papier (38 %) et des formats de fichier incompatibles (28 %). Ce changement d’attitude des langagiers par rapport aux études des années précédentes se reflète dans la modification du contexte d’achat : alors qu’en 2003, l’acquisition d’une mémoire de traduction était majoritairement (51 %) due à des contraintes externes, cette décision relève désormais largement d’un choix personnel, notamment pour 77 % des traducteurs (figure 28). Figure 28 – Contexte d’achat d’une mémoire de traduction (Lagoudaki, 2006 : 19) 229 Par ailleurs, la fréquence d’utilisation de l’outil a également fortement évolué : alors qu’en 2003, seuls 29 % des traducteurs y avaient recours quotidiennement, ce sont, à peine trois ans plus tard, 65 % des langagiers (figure 29) qui l’utilisent pour au moins 75 % de leurs travaux. Les bénéfices qu’ils en retirent sont les mêmes que ceux évoqués par Wheatley, et légèrement plus marqués : gains de productivité (86 %), amélioration de la cohérence terminologique (83 %) et amélioration de la qualité des travaux (70 %). Figure 29 – Fréquence d’utilisation d’une mémoire de traduction 61 (Lagoudaki, 2006 : 20) En revanche, le contexte de formation à l’utilisation de l’outil n’a lui guère évolué : l’autoformation est encore majoritaire. Tout au plus peut-on constater une timide hausse du pourcentage d’utilisateurs formés lors de leurs études universitaires, qui passe de 3 % en 2003 à 7 % en 2006. 5.1.1.4. Conclusion L’analyse comparée de ces trois études, que pourtant peu de temps séparent les unes des autres, met en évidence le développement foudroyant de l’usage des mémoires de traduction, y compris chez les traducteurs autonomes. En plus de permettre des gains de productivité, ces outils ont modifié les méthodes de travail des traducteurs. Même s’il n’existe pas de mise à jour récente de l’étude de Lagoudaki (2006), il serait étonnant que cette tendance ne se soit pas au moins maintenue. Il nous semble donc que si la formation 61 Ces pourcentages sont calculés par rapport au volume total des travaux. Par exemple, 27 % des répondants utilisent une mémoire de traduction pour tous leurs contrats. 230 des traducteurs salariés aux outils technologiques employés par des entreprises ou des cabinets peut incomber à ces derniers, le rôle de l’université dans la formation technologique des étudiants en traduction, dont la plupart se destinent au travail autonome, devrait être clairement défini et, si nécessaire, repensé. Cette réflexion devra nécessairement aborder les aspects liés à l’évaluation. 5.1.2. La place des technologies dans l’enseignement de la traduction La place des technologies dans l’enseignement de la traduction peut être considérée de deux façons : leur utilisation, tant par les enseignants que les apprenants, à des fins d’enseignement ou d’apprentissage de compétences traductives, et leur enseignement en tant qu’objet (outils de TA, de TAO, de localisation ou de sous-titrage). Nous établirons donc un état des lieux de la place qu’occupent actuellement les technologies dans l’enseignement de la traduction, avant de présenter l’état de la recherche sur ce sujet. 5.1.2.1. L’utilisation des technologies par les étudiants La plupart des outils informatiques utilisés quotidiennement à l’université par les apprentis traducteurs dans le cadre de leur apprentissage des processus de traduction font partie de ce que Scarpa (2010 : 347) nomme « la technologie de base » : les applications de traitement de texte, les dictionnaires, les banques de données terminologiques, les moteurs de recherche, les correcticiels et le courriel. Même s’ils n’ont pas été conçus spécifiquement pour les traducteurs, ni pour les apprenants, ces outils ont considérablement modifié les méthodes de travail des étudiants, comme l’a fait l’introduction progressive des plateformes d’enseignement, que nous pouvons ajouter à la liste dressée par Scarpa. D’après Dahlstrom (2012 : 9), qui a mené une étude auprès de 100 000 étudiants universitaires du premier cycle, leurs attentes ont également évolué : « Students expect their instructors to use technology to engage them in the learning process […]. 64% of students agree/strongly agree that technology elevates the level of teaching. » Au nombre des OTP souhaités par les étudiants figurent principalement (voir figure 30) : 231 - les ressources éducatives libres : des outils de ce genre sont déjà à la disposition des langagiers, par exemple les capsules linguistiques de l’Office québécois de la langue française (OQLF)62 ou du Bureau de la traduction63. - les simulations et jeux éducatifs : selon Dahlstrom (2012 : 12), « Game-based learning and simulations are avenues for IT to change the educational experience, making it more immersive and integrative and capitalizing on students’ “digital native” experiences since technology has always been a part of their lives ». - les LMS (Learning Management System), ou plateforme d’apprentissage : tous les établissements d’enseignement de la traduction que nous avons interrogés disposent d’un LMS, mais certains cours n’ont pas encore été intégrés. - les livres et manuels scolaires électroniques : en 2010, seuls 24 % des étudiants indiquaient utiliser de tels outils, mais cette proportion a bondi à 70 % en 2012 (Dahlstrom, 2012 : 19). La plus récente version de La traduction raisonnée (Delisle, 2013) est également la première à être offerte en version électronique64. - les vidéos : pour l’instant, ce média n’est apparemment pas utilisé, ou très peu, en enseignement de la traduction. Dahlstrom (2012 : 19) indique que « the vast majority [of students] say that technology helps them achieve their academic outcomes and prepares them for the future ». Il souligne cependant les besoins en formation exprimés par les apprenants : un tiers (35 % au Canada) estiment ne pas disposer des compétences nécessaires en la matière lors de leur entrée à l’université. Ce pourcentage est cependant en baisse par rapport aux études précédentes. 62 http://www.oqlf.gouv.qc.ca/actualites/capsules_hebdo/index_capsule.html. Page consultée le 10/02/2014 http://www.noslangues-ourlanguages.gc.ca/bien-well/fra-eng/index-fra.html. Page consultée le 10/02/2014 64 Sa sortie étant très récente (décembre 2013), il est encore trop tôt pour dire quelle sera la popularité de l'édition électronique. Ce seront sans doute les exigences des enseignants quant aux modalités de déroulement des examens qui décideront de l'arbitrage entre les deux versions. 63 232 Figure 30 – Souhaits des étudiants quant à l’utilisation des OTP (Dahlstrom, 2012 : 11) 5.1.2.2. L’utilisation des technologies par les enseignants Hamon (2013 : 343) relève qu’il n’existe à ce jour aucune cartographie des usages pédagogiques des technologies en didactique de la traduction. D’après ses observations, « à première vue, les usages semblent majoritairement orientés sur le présentiel enrichi ». 233 Guidère (2010 : 120) confirme que « la pédagogie de la traduction n’a pas encore intégré de façon satisfaisante les technologies de l’information et de la communication ». Ces assertions sont corroborées par les entretiens que nous avons menés avec les enseignants, dont les pratiques font généralement appel à l’utilisation des outils de base décrits précédemment, ainsi qu’à celle du logiciel de présentation PowerPoint et de matériels de vidéo projection. Toutefois, le tableau noir et la craie sont encore parfois utilisés de façon exclusive dans certains cours. Cependant, des expériences novatrices ont été menées, notamment par Kelly (2005) et Vandaele (2003, 2011). Vandaele a été la première enseignante de traduction à utiliser, à l’Université de Montréal, la plateforme WebCT, qui offrait déjà à l’époque la plupart des fonctionnalités proposées par les versions actuelles des LMS. Selon ses conclusions, « WebCT permet de répondre, avec une efficacité supérieure aux moyens pédagogiques traditionnels, à des objectifs spécifiques de la matière enseignée » (2003 : 376), notamment grâce à la souplesse et à la créativité pédagogiques permises par l’outil, et à la possibilité de simuler un environnement se rapprochant du monde professionnel (courriels, pièces jointes, respect des délais, etc.). Vandaele s’affirme « convaincue que l’utilisation raisonnée des NTIC dans l’enseignement de la traduction devrait permettre de répondre avec davantage de pertinence aux besoins diversifiés des étudiants » (2003 : 377). 5.1.2.3. Les technologies en tant que sujet d’enseignement Au Canada, tous les programmes universitaires de premier cycle de traduction de l’anglais vers le français offrent des cours portant sur les outils technologiques du langagier (voir tableau 92). 234 Tableau 92 – Enseignement des outils informatiques des langagiers (source : sites Internet des universités) Si certaines universités mettent l’accent sur la formation des étudiants aux technologies qu’ils auront à employer dans leur vie professionnelle, notamment en leur dispensant dans un premier temps un cours d’introduction à ces outils au début de leur formation, puis un (voire deux) cours de perfectionnement, plus de la moitié des établissements n’offrent qu’un seul cours pour tout le cursus. À une exception près, ces cours revêtent un caractère obligatoire. Nous ne disposons cependant pas d’informations relatives aux contenus enseignés. Technologies et enseignement de la traduction : l’état de la recherche 5.1.3. 5.1.3.1. Technologies et didactique des compétences traductives Hamon (2013 : 342) estime que « les technologies conçues en tant que support et moyen spécifiques pour l'enseignement-apprentissage des connaissances et de la compétence traductives constitue [sic] un champ minoritaire en traductologie qui reste donc à défricher et déchiffrer ». Guidère (2010 : 119) arrive à la même conclusion : L'intégration des technologies de l'information et de la communication dans la formation des traducteurs demeure timide et parfois inexistante, alors même que les TIC font partie intégrante de l'univers social et professionnel des apprenants […] une véritable didactique de la traduction intégrant la révolution technologique reste à penser. 235 Cette assertion de Guidère est corroborée par les travaux de Marchand, qui a mené une analyse comparative des principaux manuels utilisés en pédagogie de la traduction. Elle en conclut que « l’activité de traduction semble encore isolée de son environnement technologique. En effet, les outils technologiques […] sont des sujets rarement abordés par les auteurs » (Marchand, 2011 : 142). Il est à noter que la plus récente version de La traduction raisonnée (Delisle, 2013), dont la date de parution est postérieure à l’étude de Marchand, comprend deux nouveaux chapitres portant sur la traductique et les ressources de la bureautique. Cependant, l’auteur se limite à présenter ces outils sans aborder la question des effets qu’ils peuvent exercer à la fois sur le contexte didactique et sur l’évolution du métier de traducteur. Guidère (2010 : 120) avance que cette situation est liée au fait que la branche technologique de la traductologie, la traductique, « est davantage tournée vers le traitement automatique du langage et vers la traduction automatique que vers l’enseignement et la didactique de la traduction ». Nous n’avons recensé qu’une seule tentative d’évaluation de l’effet de l’utilisation des TIC sur l’apprentissage des compétences traductives. Cette recherche-action, menée par Hamon (2013), avait pour objectif d’évaluer les effets de l’introduction des TIC dans une situation d’enseignement de la traduction, dans un contexte d’innovation tant pour les enseignants que pour les étudiants. Elle s’est déroulée en Italie, dans le cadre d’un enseignement universitaire de la traduction du français vers l’italien, et a consisté à analyser les pratiques pédagogiques ayant lieu dans trois cours différents. Le caractère innovant de la situation étudiée résidait dans l’introduction de l’utilisation de la plateforme Moodle et le recours à un système de vidéoprojection permettant la visualisation par tous d’un document Word et des recherches documentaires menées sur Internet. Les méthodes didactiques employées par les enseignants impliqués dans le projet sont par ailleurs restées identiques à ce qu’elles étaient avant l’introduction d’OTP : « Pour les trois cours de traduction, les enseignants revisitent en présentiel, avec le recours aux TICE, un exercice traditionnel » (Hamon, 2013 : 523). Ainsi, l'apport des technologies fait l'objet […] de remarques positives lorsqu'il s'agit des effets des TICE [Technologies de l’Information et de la Communication pour l’Éducation) sur la méthode de travail et les résultats somatifs [sic], en termes de qualité globale de la méthodologie de travail des étudiants et en termes de qualité des traductions effectuées en fin de parcours. (Hamon, 2013 : 514) 236 Les enseignants qui ont participé à ces recherches attribuent les progrès constatés chez les étudiants à plusieurs facteurs, notamment : - l’effet de convergence de l’écran lors de tâches collectives où les documents sont vidéoprojetés, ce qui facilite la participation et la concentration des étudiants; - l’environnement informatisé, qui reproduit en partie celui de l’activité professionnelle du traducteur. Cette mise en situation constitue un élément motivant pour les apprenants; - l’amélioration de la qualité des recherches documentaires menées en ligne. Quant aux étudiants, ils « attribuent aux tâches TICE qui leur ont été proposées une amélioration globale de leur méthodologie de travail […] à la quasi-unanimité » (Hamon, 2013 : 528). Cependant, si les situations technopédagogiques proposées par Hamon ne sont pas dénuées d’intérêt, leur caractère innovant n’apparaît pas de façon très nette. En effet, elles font appel à des outils et à des procédures déjà largement banalisées dans le contexte canadien : Il nous paraît intéressant de souligner l'intérêt d'une utilisation couplée du traitement de texte, d'Internet dans sa dimension documentaire, et dans sa dimension communicative/collaborative. La pratique de la traduction argumentée peut être optimisée avec le recours au traitement de texte, vidéoprojeté à l'ensemble de la classe qui facilite les opérations suivantes : - traçage et mise en évidence des phénomènes discursifs par les fonctions d'édition du traitement de texte ; - catégorisation graphiquement formalisée des éléments saillants du texte source et du texte cible (idiomaticité ou rendu du texte cible, implicites culturels présents dans le texte source) ; - possibilité d'aller vérifier des sources documentaires externes (Internet) ; - possibilité d'archiver et mettre à disposition des textes traduits annotés après leur examen collectif ; - possibilité de poursuivre un débat à partir d'un élément spécifique en recourant aux forums des plate-formes d'apprentissage. (Hamon, 2013 : 347-348) Par ailleurs, les modalités de cette recherche ne permettent pas de déterminer ou d’estimer la part attribuable aux OTP dans les progrès constatés chez les apprenants, qui peuvent tout aussi bien être dus aux approches pédagogiques mises en œuvre par les enseignants ou à des différences dans leurs méthodes d’évaluation. 237 En conclusion, beaucoup reste donc à faire en matière de recherche quant à l’intégration de la technopédagogie en didactique de la traduction et à l’évaluation de ses apports potentiels, à la fois en tant qu’outil et qu’objet d’enseignement. 5.1.3.2. Didactique des technologies d’aide à la traduction La question de l’enseignement des outils technologiques d’aide à la traduction a suscité de nombreux travaux, notamment ceux d’Arrouart (2003), de Durieux (2005), de L’Homme (2008) et de Bowker (2008 et 2009). Pour Bowker (2008 : 42), « it would be unthinkable for any training program for translators not to include some kind of introduction to the use of translation technologies ». Elle s’interroge cependant quant à l’efficacité des formations dispensées, sur la base des études menées par Wheatley (2003) et Granell-Zafra (2005), où le manque de formation était évoqué comme un obstacle à l’adoption de logiciels d’aide à la traduction par les traducteurs. Cependant, l’étude de Lagoudaki (2006) a mis en évidence que cette barrière était surtout psychologique. Bowker (2008 : 43) a recensé plusieurs paramètres qui complexifient l’enseignement des outils technologiques d’aide à la traduction : - l’attitude des apprenants et des enseignants vis-à-vis des technologies, - l’hétérogénéité de leurs niveaux de compétence en la matière, - l’hétérogénéité de leurs besoins et préférences en matière de formation, - le manque d’intégration des outils technologiques dans les cours de transfert linguistique. Cependant, l’étude de Dahlstrom (2012 : 22), la plus récente en la matière, met en évidence que de plus en plus d’étudiants (deux tiers d’entre eux en 2012) estiment posséder, lors de leur arrivée à l’université, les compétences nécessaires en matière de technologie. Par ailleurs, celles-ci semblent être acquises de plus en plus tôt, selon un étudiant cité par Salaway et coll. (2008 : 52) : « The youngsters are catching up faster than we can go. My 11-year-old brother is teaching me about technology ». Quant aux compétences des enseignants, elles sont jugées satisfaisantes par les étudiants : « students reported that most or all of their instructors effectively use technology to impact academic success » (Dahlstrom, 2012 : 22). Toutefois, il ressort que si une large majorité des enseignants en 238 traduction s’accordent à dire qu’il est essentiel d’inclure dans les curriculums l’enseignement des outils spécialisés et que 87,5 % (ECoLoTrain, 2006 : 13) d’entre eux s’estiment aptes à le faire, presque tous jugent nécessaire de perfectionner leurs compétences en la matière. Pour Bueno Garcia, « une formation spécifique dans les nouvelles technologies s’impose » (2005 : 273). Il apparaît donc que parmi les difficultés recensées par Bowker quant à l’enseignement des outils technologiques d’aide à la traduction, c’est bien celui de la méthode d’enseignement qui présente le principal défi, en raison d’un manque d’intégration à deux niveaux : - le morcellement de l’apprentissage de ces outils. Ils sont présentés aux étudiants séparément les uns des autres (par exemple les extracteurs de terminologie d’un côté, et les mémoires de traduction de l’autre), ce qui en facilite la compréhension, mais prive les apprenants d’une vision globale du processus : « it does not allow students to appreciate fully how the performance and use of these tools can be affected by − and affect − translation practice » (Bowker et Marshman, 2009 : 67). - Le cloisonnement entre les cours d’enseignement des outils technologiques et ceux de transfert linguistique. Cette décontextualisation produit le même effet que le morcellement de l’apprentissage. The resulting gap between theory and practice does not provide students with an accurate picture of how they are likely to work — and in fact may be expected or required to work — in many professional contexts. (Bowker et Marshman, 2009 : 67) Ce sont donc à leur avis des modifications profondes des contextes d’enseignement (curriculums, approches pédagogiques et gestion des matériels informatiques notamment) qui devrait être apportées. À l’inverse, Arrouart (2003), même si elle considère elle aussi comme impératif d’offrir aux apprentis traducteurs une formation à ces outils, adopte une approche plus critique de leur rôle et de leur place, comme le montre le vocabulaire65 qu’elle utilise au sujet des mémoires de traduction. C’est pourquoi elle est d’avis que la formation universitaire relativement aux mémoires de traduction doit d’abord et avant tout être de nature informative. L’étudiant doit apprendre comment une MT « mirage », « poudre aux yeux », « folles dépenses » et « aveuglement » font partie des qualificatifs qu’elle accole aux mémoires de traduction (Arrouart, 2003 : 477-478). 65 239 fonctionne (sur quels principes informatiques elle repose), comment on l’utilise (description générale), quelles sont ses possibilités et limites. Arrouart (2003 : 478). Elle avance en effet qu’en raison d’une obsolescence rapide, « d’ici cinq ans peut-être, ces logiciels auront été remplacés par d’autres ». La durée de la formation d’un étudiant en traduction n’excédant que rarement trois ans, il nous semble que cet argument, valable pour n’importe quel autre outil informatique, est irrecevable et n’est pas de nature à remettre en question la nécessité d’un enseignement qui prépare efficacement les futurs traducteurs aux réalités du marché du travail. Hamon (2013 : 343) remarque que d’une façon générale, les traductologues adoptent une prise de position qui envisage le rôle des technologies en tant que fin et non en tant que moyen, ce qui est à son avis révélateur de craintes liées à un hypothétique remplacement de la composante humaine par l’ordinateur. Par exemple, Durieux rappelle que « l’outil informatique ne peut en aucun cas se substituer à la maîtrise de la mise en œuvre d’une méthode de travail humaine rigoureuse » (2005 : 45). Pour Delisle, « nul besoin de préciser, en terminant, que toutes ces aides à la traduction ne sont que des "aides" et qu’elles ne dispensent aucunement de l’aptitude à traduire » (2013 : 163). Enfin, Biggs et Tang (2007 : 214) soulignent que l’utilisation d’outils technopédagogiques pourrait même présenter le risque d’un retour à une approche purement transmissionniste de l’enseignement de la traduction : « simply using new technologies does not make teaching and learning either innovative or more effective ». Ces avertissements, principalement destinés à alerter les apprenants au sujet des limites des outils informatiques, reflètent à notre avis une position encore parfois ambivalente des traductologues vis-à-vis des outils technologiques. Il apparaît en effet, au vu des résultats des travaux de Dahlstrom (2012) sur la perception que les étudiants universitaires ont des technologies éducatives, que ces derniers font preuve de discernement quant à leur utilisation : « skill development for students is more important than new, more or better technology » (2012 : 22). 5.2. Technologie et évaluation en enseignement de la traduction La litote de Bastin et Fiola sur les « préoccupations didactiques inéluctables » (2008 : 12) vaut également pour l’utilisation des OTP dans le domaine de l’évaluation en traduction. 240 Ainsi, une des rares initiatives de recherche dans ce domaine est celle de la revue TTR, qui a publié en 2008 un volume en deux numéros intitulé « La formation en traduction : pédagogie, docimologie et technologie ». Cependant, sur les trois articles consacrés au volet technologique, un seul aborde la problématique de l’évaluation, en proposant des outils en ligne d’auto-évaluation et d’évaluation par les pairs. Dans cet article, Robinson, López Rodríguez et Tercedor (2008) présentent une expérience de refonte de leur méthode d’évaluation selon les préconisations de Kiraly (2000), dans laquelle ils ont rendu optionnel l’unique examen pratique et accordé une pondération prépondérante à des activités rarement notées telles que la participation (20 %), le travail collaboratif (30 %) et le dossier d’apprentissage (10 %). Les auteurs ont également introduit l’utilisation d’une plateforme d’échanges, d’un logiciel d’annotation du texte source, d’un logiciel de questionnaire et d’un logiciel de sélection aléatoire des équipes. Cette initiative ne représente cependant pas une innovation marquante dans l’utilisation des OTP, d’autant plus que la méthode d’annotation utilisée ne fournit pas des résultats d’une grande lisibilité (figure 31). Figure 31 – Méthode d’annotation informatisée du texte source (Robinson, Lopez Rodriguez et Tercedor, 2008) En 2005, Kelly soulignait que l’usage des technologies pour l’évaluation des étudiants apparaissait peu pertinent en didactique de la traduction : « Electronic assessment or computer-assisted assessment is normally most easily applied where assessment takes the form of mutliple choice questions, and thus has perhaps less application to translator training than other aspects of education technology. » (Kelly, 2005 : 87-88). Les avantages qu’elle voyait à l’utilisation d’OTP étaient principalement liés à deux fonctions : la soumission des travaux des étudiants par des moyens électroniques semblables à ceux qu’utilisent les traducteurs en exercice (c’est-à-dire le courriel), et les fonctions de 241 commentaires et de suivi des modifications de Word. Huit ans plus tard, et malgré les progrès considérables de la technologie et sa démocratisation, il est toujours pour Hamon « difficile, voire impossible d'imaginer par exemple des évaluations effectuées en ligne pour la traduction » (Hamon, 2013 : 349). Comme dans le cas de l’intégration des technologies dans la didactique de la traduction, il apparaît donc souhaitable d’aborder sans a priori l’apport potentiel des technologies au processus d’évaluation des travaux des apprenants. 6. Étude de l’apport potentiel de la rétroaction vidéo 6.1. Présentation de la recherche et du corpus Si l’on observe depuis une quinzaine d’années un regain d’intérêt pour l’évaluation en didactique de la traduction, comme en témoignent entre autres les travaux de Waddington (2000), Martínez Melis (2001), Kelly (2005), Gile (2005) ou Collombat (2009), force est de constater que les apports potentiels des outils technopédagogiques au processus d’évaluation n’ont pas encore été étudiés. Nos travaux s’inscrivent dans la lignée de ceux de Waddington (2000) et de Stannard (2008), et s’appuient comme les leurs sur une approche de recherche expérimentale. Il s’agira donc d’apporter un soin particulier à la description du contexte et des conditions dans lesquelles se sont déroulés nos travaux. 6.1.1. Objectif de la recherche Sur la base des travaux de Paivio (1971, 1990) et Mayer (2001, 2009) sur la théorie du double codage, de Stannard (2008) sur les apports de la rétroaction vidéo en didactique des langues, et de Froeliger (2004) sur les mécanismes de la confiance en soi, nous formulons l’hypothèse de recherche que l’utilisation de moyens multimédias en évaluation didactique de la traduction peut améliorer la qualité des apprentissages. L’objectif de cette recherche est donc de vérifier la validité de cette hypothèse. Cette étude est menée indépendamment de celle qui vise à proposer de nouvelles modalités d’évaluation, car notre objectif est ici de mettre en évidence l’apport de la technologie dans un contexte traditionnel. Dans le but de faciliter notre analyse, l’utilisation de la vidéo constitue donc ici la seule variable. 242 En termes plus spécifiques, notre étude vise d’une part à estimer de façon concrète les effets de la rétroaction vidéo de leurs travaux sur l’apprentissage des apprenants, et d’autre part à recueillir l’opinion de ces derniers quant à l’utilisation de cet outil, notamment en ce qui a trait aux aspects psychologiques du processus d’évaluation. En effet, la perception des apprenants vis-à-vis du mode d’évaluation de leurs travaux et de leurs progrès constitue à notre avis, au regard des résultats de l’étude présentée au chapitre IV, un élément fondamental de l’efficacité de l’évaluation didactique. Pour ce qui est des effets de la rétroaction vidéo (RV), ils seront déterminés en comparant l’évolution des résultats obtenus par les étudiants du groupe test, qui auront bénéficié de la vidéo, et de ceux des membres du groupe témoin, qui auront reçu une rétroaction traditionnelle. Par ailleurs, l’une des caractéristiques de la recherche-action réside dans l’applicabilité de ses résultats, puisque celle-ci est « axée sur la dynamique du changement, portant à la fois sur sa production concrète et sur l’étude de son processus ou de ses effets » (Goyette et Lessard-Hébert, 1987 : 31). Dans cette optique, il nous apparaît indispensable que les outils mis en œuvre dans notre étude puissent être intégrés par d’autres enseignants dans leurs pratiques d’évaluation. Ce caractère d’utilisabilité doit se traduire par le respect de trois critères : - l’absence de complexité technique des outils technologiques mis en œuvre; - l’optimisation du temps nécessaire à la mise en œuvre de ces outils, particulièrement dans un contexte où l’augmentation de la taille des groupes d’étudiants place les enseignants dans des situations difficiles à gérer; 6.1.2. le caractère raisonnable des coûts engagés pour l’acquisition des outils. Contexte de la recherche Nous présenterons ici le cadre dans lequel se déroule cette recherche, c’est-à-dire le cours qui lui a servi de base, de même que les modalités d’évaluation et de rétroaction mises en œuvre. 243 6.1.2.1. Présentation du cours Le cours d’Introduction à la traduction s’étend sur quinze semaines, à raison d’une séance hebdomadaire de trois heures. Il vise à permettre à l’étudiant d’acquérir une méthode de travail adéquate fondée sur l'assimilation du métalangage fondamental de l’apprentissage de la traduction, l'exploitation efficace des outils et ressources documentaires, le repérage et la caractérisation des principales difficultés récurrentes (notamment les calques), ainsi que la justification des choix de traduction. Nous faisons en effet l’hypothèse que les erreurs liées à des calques, au vu du contexte particulier de contact des langues au Québec, constituent la première source d’erreurs chez les apprentis traducteurs canadiens. En raison de l’effectif inscrit, les 103 étudiants ont été répartis en trois sections, auxquelles nous ferons désormais référence en tant que section A, section B et section C. L’enseignement est assuré par trois chargés de cours aux profils relativement similaires. Les chargées de cours des sections A et B possèdent un baccalauréat en traduction, étudient à la maîtrise en traduction et terminologie et enseignent pour la deuxième fois au baccalauréat en traduction. La première est traductrice autonome depuis huit ans et la seconde travaille depuis cinq ans au Bureau de la traduction du gouvernement fédéral. Traducteur autonome depuis trois ans et titulaire d’une maîtrise en traduction et terminologie, nous assurons l’enseignement de la section C et il s’agit de notre quatrième expérience en la matière. 6.1.2.2. Cohérence et cohésion La cohérence et la cohésion de l’enseignement constituent des paramètres essentiels pour la validité des résultats obtenus, au même titre que la représentativité de l’échantillon étudié. Il aurait d’ailleurs été possible de mener cette recherche au sein d’un seul et même groupe, pour lequel nous aurions effectué l’ensemble des évaluations. Cependant, cette approche présentait plusieurs obstacles. En effet, les sections de ce cours étaient contingentées quand l’étude a été menée, ce qui aurait résulté en un groupe test et un groupe témoin d’environ 15 à 20 sujets chacun, soit ce que Marien et Béaud (2003 : 14) considèrent comme des « micro-échantillons ». Se serait alors posée « la question de la représentativité de ces petits échantillons » (2003 : ii). Procéder à une augmentation de la taille des sections en les fusionnant pour n’en conserver que deux, dans l’optique de faciliter notre recherche, aurait 244 posé un problème éthique, puisque cela aurait affecté la qualité de l’enseignement dans un contexte d’apprentissage méthodologique où la taille du groupe nuit à notre avis à la qualité de l’apprentissage et de la rétroaction. Par ailleurs, pratiquer deux approches d’évaluation différentes dans une même section, alors que les étudiants communiquent entre eux, aurait également pu soulever des interrogations et être mal perçu par les étudiants, ou produire un effet Hawthorne (Depover, n.d. : 3), selon lequel le fait de participer à une expérience valorise les sujets et les incite à être plus performants. C’est pourquoi nous avons choisi de mener notre recherche à l’occasion de ce cours d’introduction à la traduction, en dépit du fait qu’il comporte trois sections. Cependant, nous nous sommes assuré que le contexte d’enseignement était favorable à la minimisation de ce biais potentiel, tant dans sa dimension humaine que sur le plan matériel. Ainsi, notre connaissance des pratiques pédagogiques des enseignantes des sections A et B, de même que les liens de confiance qui nous unissent, ont permis la mise en place d’une atmosphère de coopération pleine et entière. Au cours de réunions préalables à l’étude, nous en avons exposé les objectifs et les paramètres, notamment la nécessité de dispenser de façon concertée un enseignement similaire dans les trois sections. Tous les matériels utilisés dans le cours (présentations PowerPoint, exercices à préparer, textes à traduire, etc.) ont été élaborés en commun. Tous ces aspects pratiques ont été gérés à l’aide du Portail des cours, le LMS spécifique à l’Université Laval, qui présente toutes les fonctionnalités classiques inhérentes à ce type d’outils. Même si l’enseignement est assuré par trois personnes, la plateforme numérique est donc commune : tous les éléments utilisés en cours ou déposés sur le portail et toutes les informations fournies sont identiques pour tous les étudiants des trois sections. 6.1.2.3. Modalités d’évaluation des travaux des étudiants Comme cela a été expliqué précédemment (voir chapitre II), il nous semble essentiel, au début de leur formation, d’évaluer les étudiants sur leur maîtrise du processus de traduction et non sur leurs produits. Dans cette optique, les modes d’évaluation utilisés dans ce cours sont chronologiquement les suivants : 245 - la première partie d’un journal d’apprentissage, dans laquelle l’apprenant doit notamment décrire son style d’apprentissage66 et donner son opinion sur la méthode67 de travail qui lui a été présentée; - un exercice de repérage et de commentaire des difficultés présentées par un texte anglais de 244 mots tiré du site Internet d’une entreprise (voir annexe 5); - la deuxième partie du journal d’apprentissage, où l’apprenant expose ses acquis les plus marquants depuis le début de la session; - une première traduction de ce même texte, accompagnée de la justification des choix traductifs au regard des difficultés recensées lors de la première étape. Les copies issues de ce premier travail constituent la première partie de notre corpus; - une seconde traduction de ce même texte, au regard des commentaires apportés par les enseignants sur la première; - la troisième partie du journal apprentissage, dans laquelle l’apprenant dresse un bilan de ses acquis, des principales forces et faiblesses qu’il a identifiées chez lui, et expose la manière dont sa perception de la traduction a évolué par rapport au début de la session; - un examen de fin de session, qui se déroule en laboratoire, et qui consiste en la traduction d’un texte de 207 mots (voir annexe 6). Les étudiants ont accès à toutes les ressources informatiques ou papier de leur choix, la seule restriction concernant les moyens de communication. Les copies issues de cet examen constituent la seconde partie de notre corpus. Toutes ces activités sont notées. Cependant, leur caractère formatif ne peut être mis en doute, ce qui étaye le fait que nous récusons l’opposition traditionnellement faite entre le sommatif et le formatif. 66 Extrait des instructions données aux étudiants : « Vous devez vous demander comment vous apprenez, à quoi vous reconnaissez que vous apprenez et quelles sont les conditions généralement requises pour un apprentissage réussi ». 67 La méthode en question est celle que préconise par Delisle (2003) dans La traduction raisonnée. 246 6.1.2.4. Méthodes d’évaluation des travaux À l’instar des méthodes d’enseignement qui ont été définies en commun par les trois enseignants, celles qui sont liées à l’évaluation ont également fait l’objet d’une concertation afin de garantir leur homogénéité. Le journal d’apprentissage Le journal d’apprentissage ne donne pas lieu à une correction portant sur le fond ou sur la forme, puisque « l'objectif du travail pour l'étudiant est une meilleure connaissance de soi [et de] ses stratégies d'apprentissage » (Berchoud, 2002 : 143). En revanche, une rétroaction a été donnée sous forme de commentaires publiés sur le portail (figure 32). Son principal objectif est d’apporter à l’étudiant un renforcement positif, un moment de la session où le découragement se fait sentir chez certains. Figure 32 – Exemple de commentaires portés sur un journal d’apprentissage Devoir : repérage et commentaire des difficultés Les consignes fournies aux étudiants dans le plan de cours sont les suivantes : Cette première phase du devoir consiste à repérer les difficultés du texte qui vous est soumis et à définir les stratégies que vous allez utiliser pour les aborder. Ainsi, vous serez amenés à commenter les méthodes et sources que vous pensez a priori utiliser dans vos recherches terminologiques. Vous ne devez pas fournir de traduction à ce stade. Leurs travaux sont évalués en fonction de trois critères : - l’exhaustivité du recensement des difficultés de traduction, - la qualité de la démarche et la pertinence des sources utilisées, - la qualité de la langue. 247 Du fait de la variabilité des perceptions d’un étudiant à l’autre, la notion d’exhaustivité du recensement ne peut être que théorique. Une liste de référence de 14 difficultés présentes dans le texte anglais a donc été établie conjointement par les trois enseignants. Les étudiants ayant cité au moins dix d’entre elles obtiennent la note maximale pour ce critère. Devoir : première traduction Cette deuxième étape du devoir consiste à traduire le texte et à justifier les choix traductifs au regard des difficultés recensées au cours de la phase précédente. Les traductions sont évaluées de façon critériée (respect du sens, qualité de la langue, adaptation au destinataire et qualité de la présentation) sur la base du barème en vigueur au sein du département (voir annexe 3). Cette méthode relève donc d’une analyse des erreurs. Quant aux commentaires, ce sont les critères de qualité de la langue, de la démarche et de la pertinence des sources qui sont utilisés, comme lors de la première étape. Devoir : seconde traduction Il s’agit pour les étudiants d’améliorer la qualité de leur traduction sur la base des commentaires apportés par l’enseignant à la suite de la première version. Cette troisième phase ne consiste qu’en une traduction, qui est évaluée de la même façon que la précédente. Examen L’examen de fin de session, qui consiste en la traduction d’un texte, est évalué selon les mêmes critères que les devoirs. 6.1.2.5. Méthode de rétroaction des travaux Nous nous sommes assuré que les méthodes d’évaluation soient les plus homogènes possible entre les trois sections, afin de pouvoir mieux isoler les effets de la rétroaction. Les copies des sections A et B ont été corrigées manuellement, à l’encre rouge. Celles de la section C ont été évaluées à l’écran, à l’aide d’un stylet numérique de couleur rouge. Le rendu visuel est strictement identique, et une fois imprimée, il est impossible de distinguer une copie corrigée à l’écran d’une autre qui l’a été de façon traditionnelle (voir figure 33). 248 Figure 33 – Exemple de copie corrigée numériquement La rétroaction de la première étape du devoir a été similaire pour les trois sections, c’est-àdire uniquement écrite. Pour ce qui est du premier critère (l’exhaustivité du recensement des difficultés), les enseignants ont commenté les éléments fournis par les étudiants et indiqué le taux d’atteinte au regard de la liste prédéfinie des 14 difficultés majeures, sans préciser la nature de celles qui n’avaient pas été relevées. Quant à la qualité de la langue, elle a été évaluée à l’aide du barème commun aux trois enseignants, qui est par ailleurs utilisé par la plupart des enseignants du département. Enfin, l’appréciation de la qualité de la démarche et de la pertinence des sources utilisées a donné lieu à une note séparée. Comme le montre l’exemple ci-dessous (figure 34), le poids de chaque critère dans la note finale est identique. Figure 34 – Extrait d’une copie de la première étape du devoir Les étudiants ont donc abordé la traduction du texte en ayant bénéficié d’une rétroaction identique pour le travail de repérage des difficultés. Pour les sections A et B, qui constituent le groupe témoin, la rétroaction de la première version de la traduction a été faite de façon traditionnelle, par l’annotation manuscrite des copies à l’aide des codes d’erreur du barème et de commentaires. Pour ce qui est de la section C, les erreurs ont été relevées de la même façon, mais aucun commentaire n’a été inscrit sur les copies. En revanche, chaque étudiant de ce groupe test a reçu une capsule vidéo réalisée de la façon suivante : 249 - correction de la copie à l’écran à l’aide du stylet numérique; - lancement du logiciel Jing, qui permet d’enregistrer tout ce qui se passe sur l’écran de l’ordinateur et la voix du narrateur; - commentaire de la production de l’apprenant; téléversement de la copie et de la capsule vidéo sur le Portail des cours. Ce même processus a été appliqué pour la rétroaction de la deuxième version de la traduction. Cependant, les commentaires vidéo ont alors parfois été fondés sur des éléments externes à la copie, comme l’utilisation d’Internet ou de correcticiels. 6.1.2.6. Caractéristiques des vidéos remises aux étudiants La durée des vidéos remises aux étudiants du groupe test à l’occasion de la première version de la traduction a été en moyenne de 4 min 58 s, la durée maximale d’enregistrement permise par Jing étant de cinq minutes. La longueur moyenne des commentaires s’est élevée à 753 mots. Ces commentaires ont mis en exergue uniquement des éléments internes au texte. Cependant, aucune solution n’a été fournie, afin d’éviter que les étudiants du groupe test ne soient avantagés pour la deuxième version du devoir. Un exemple de rétroaction vidéo de la première partie du devoir peut être visionné à l’adresse suivante : http://youtu.be/7FTp3x5zgJQ. Cette vidéo de 764 mots, représentative de la démarche suivie pour la préparation des autres capsules, est principalement composée des éléments suivants : - 415 mots – soit 54 % du total – de rappels méthodologiques (notamment l’importance du respect des consignes et du choix des outils appropriés, et le rappel d’éléments théoriques vus en cours); - 149 mots (20 % du total) de renforcement positif, par la mise en exergue des aspects réussis du travail de l’apprenant; - 113 mots (15 % du total) de recommandations générales portant plus spécifiquement sur la copie évaluée. En l’occurrence, il s’agit de la mise en évidence de la proportion de points perdus en raison de calques fautifs ainsi que de conseils génériques visant à la prévention de ce type d’erreurs. Il est à noter que 250 cette catégorie d’erreurs s’est avérée la plus fréquente dans les copies évaluées, ce qui confirme l’hypothèse formulée à la page 244. En comparaison, les copies de 27 des 32 étudiants de la section A ne comportaient que les codes d’erreur du barème, les cinq autres travaux ayant bénéficié de deux à 14 mots de commentaires. Quant à la section B, 15 des 28 copies sont dans le premier cas, les 13 autres ayant reçu en moyenne quatre mots de renforcement positif ou de commentaires. La durée moyenne des vidéos réalisées à la suite de la seconde version du devoir s’élève à 4 min 24 s. En effet, si certaines ont atteint la limite des cinq minutes, celles correspondant aux meilleures copies n’ont souvent pas nécessité plus de quatre minutes. Les éléments abordés sont en partie les mêmes que pour la première vidéo (rappels méthodologiques et renforcement positif notamment), mais l’accent est aussi mis sur les erreurs résiduelles présentes sur la copie. Des ressources externes sont également utilisées, que ce soit pour illustrer une recherche terminologique dans une base de données, une recherche documentaire au moyen d’un moteur de recherche ou l’utilisation d’un correcticiel. Un exemple de vidéo, réalisée pour le même apprenant que précédemment, peut être visionné à l’adresse suivante : http://youtu.be/87vMykVwcKQ. Comme pour la première vidéo, le nombre moyen de mots prononcés s’élève à environ 150 par minute, mais ce critère perd de son caractère absolu en raison du recours visuel à des ressources en ligne, dont l’apport qualitatif ne peut être quantifié. Pour ce qui est des groupes témoins, les copies de 28 des 32 étudiants de la section A n’ont reçu aucune annotation autre que les codes de correction, et les quatre autres travaux entre 12 et 20 mots de commentaire, soit une moyenne de 2 mots par apprenant. Quant à la section B, le nombre moyen de mots par copie s’est élevé à 35, répartis de la façon suivante : 21 mots de corrections (indication d’une traduction appropriée), 13 d’explications ou de commentaires et un mot de renforcement positif. Au vu de ces données, on constate donc que l’utilisation de la vidéo constitue bien la variable dépendante de notre étude. 251 6.1.3. Méthodologie de la recherche Selon Depover (n.d. : 3), l’utilisation de la recherche-action, qui consiste généralement à étudier un cas ou un nombre limité de cas particuliers sur une période de temps définie, conduit à mettre en évidence le concept de triangulation. La triangulation repose sur l’idée d’utiliser plusieurs méthodes de collecte de données, en vue d’étudier un phénomène. On peut ainsi saisir toute la richesse et toute la complexité d’un phénomène, mais également améliorer la validité interne de la recherche qualitative en confrontant des données issues de plusieurs sources. Dans cette optique, nous avons choisi de recueillir des données quantitatives, mais aussi qualitatives, afin de pouvoir mesurer les effets de la rétroaction vidéo sur certains paramètres comme la confiance, qui selon Froeliger (2004 : 50) constitue « un facteur essentiel de qualité en traduction ». Nous visons le respect des trois critères de qualité d’une recherche énoncés par De Ketele et Roegiers (2009 : 90) : - la pertinence méthodologique (adéquation de la démarche, des instruments utilisés, choix des acteurs et du contexte); - la validité méthodologique (adéquation suffisante entre, d’une part, les informations que nous déclarons récolter et traiter et, d’autre part, les informations effectivement recueillies et traitées); - la fiabilité au plan méthodologique (les données récoltées et traitées sont-elles suffisamment indépendantes des auteurs de la recherche pour être compréhensibles et reproductibles par d’autres chercheurs?). 6.1.3.1. Échantillonnage L’échantillonnage est constitué d’étudiants de première année au baccalauréat en traduction. Sur le plan statistique, cet échantillon peut être considéré comme homogène. La technique d’échantillonnage est dite « aléatoire simple » (Depover, n.d. : 3), puisque la répartition des étudiants entre les différentes sections résulte d’une procédure d’inscription qui s’apparente à un tirage aléatoire. Cependant, la possibilité qu’une section soit plus forte qu’une autre ne peut pas être écartée a priori. Notre choix s’est porté sur cette population afin que les risques de biais liés à l’habitude de l’évaluation en milieu universitaire soient minimisés, et plus précisément sur les étudiants inscrits au cours d’introduction à la traduction, qui est donné en tout début de formation. 252 Par ailleurs, au cours de cette première session, il s’agit de leur seul cours de traduction, les autres étant liés à des matières connexes (grammaire du français et de l'anglais, lexicologie, outils informatiques, renforcement linguistique en anglais). Ce cours compte 103 étudiants au début de la session, répartis en trois sections de taille équivalente. 6.1.3.2. Méthodologie de recueil des données quantitatives Notre objectif est d’étudier, à travers les résultats obtenus lors du devoir et de l’examen, l’évolution des apprentissages des étudiants du groupe test par rapport à ceux des groupes témoins. Selon De Ketele et Roegiers (2009 : 26), cette démarche relève d’une étude de documents, et plus précisément d’un dépouillement d’archives, « dont l’objet est tout document sélectionné selon une stratégie bien précise et traité comme une donnée de la recherche » (2009 : 27). Notre corpus est donc composé des copies issues de la première traduction du devoir et de l’examen de fin de session. Celles des étudiants des sections A et B nous ont été transmises par leurs enseignantes avant qu’elles ne soient remises à leurs auteurs, afin que nous puissions les photocopier. Ces copies constituent le groupe témoin par rapport auquel seront évaluées les productions du groupe test. Les copies, aussi bien celles du groupe test que celles du groupe témoin, sont recorrigées pour assurer l’homogénéité de l’application du barème de correction entre les groupes. Une analyse de la typologie des erreurs relevées est ensuite effectuée pour les deux groupes, afin de déterminer l’évolution de la nature et de la fréquence de ces erreurs. À cet effet, une liste de neuf risques d’erreur a été préalablement définie, et leur occurrence vérifiée copie par copie. La majorité des copies corrigées se présentant sous forme papier, le dépouillement des données se fait manuellement et les résultats sont reportés sur un tableau Excel qui permet la production automatique de comparaisons et de données statistiques de base (moyenne, médiane, écart-type). 6.1.3.3. Minimisation des biais statistiques Selon Depover (n.d. : 3), l’élaboration du plan de collecte des données constitue « l’occasion d’une réflexion sur les erreurs susceptibles d’invalider les résultats ou du moins de réduire leur validité ». Certaines stratégies ont donc été mises en œuvre dans le 253 but de minimiser le risque d’erreurs et de biais statistiques, tant en amont du processus de collecte et de traitement des données que pendant son déroulement. 6.1.3.3.1. Stratégies mises en œuvre en amont du processus Les stratégies mises en œuvre préalablement à la collecte et au traitement des données ont principalement été fondées sur des actions de communication visant à favoriser l’homogénéité des méthodes et des supports d’enseignement, comme cela a été évoqué précédemment, de même que celle des processus d’évaluation. Les trois enseignants se sont donc réunis pour convenir des modalités précises d’évaluation du devoir, en plus d’échanges fréquents par courriel. Un barème détaillant les principales erreurs rencontrées a été élaboré, puis progressivement enrichi par les enseignants tout au long du processus de correction, ce qui a facilité la mise en œuvre d’une approche homogène. 6.1.3.3.2. Stratégies mises en œuvre durant le processus Tout d’abord, nous nous sommes assuré de l’homogénéité de la population étudiée. Pour ce faire, nous avons écarté de l’échantillon les étudiants allophones (il s’agit principalement d’étudiants présents dans le cadre d’accords d’échanges internationaux), les étudiants inscrits à la maîtrise (ils ont la possibilité de suivre deux cours du baccalauréat pendant leur scolarité), ainsi que ceux qui n’ont pas passé l’examen de fin de session, que ce soit en raison d’un abandon du cours ou d’une indisponibilité ponctuelle. Le tableau 93 fournit le détail de la population étudiée. Tableau 93 – Détail de l’échantillonnage (source : Portail des cours) 254 Par ailleurs, l’homogénéité des critères de correction et de l’application du barème constituant un élément crucial du processus, nous nous sommes efforcé de minimiser les risques liés au contexte de correction énoncés par Roberge (2006 : 7), pour qui « la fatigue qui apparaît au cours d’une longue session de correction peut amener l’enseignant à être moins attentif » (2006 : 7). Pour éviter cet écueil susceptible de provoquer des variations dans l’évaluation des copies, nous nous sommes astreint à répartir le processus de correction en y consacrant quotidiennement des plages horaires fixes de deux heures en seconde partie de matinée68, entrecoupées de pauses toutes les trente minutes. Selon Roberge (2006 : 8), cette procédure facilite « la concentration et la disponibilité intellectuelle avec lesquelles l’enseignant effectue le travail de correction des productions écrites. » La fatigue physique ou intellectuelle peut également placer le correcteur dans un état de « surcharge cognitive », qui est lié au contexte de correction : « l’enseignant dispose généralement de deux semaines pour corriger […] L’enseignant n’est pas toujours dans des dispositions idéales pour lire et corriger ». Selon Roberge, la fatigue et la surcharge cognitive qui en découle expliquent qu’un enseignant omette de corriger des erreurs. Par ailleurs, nous avons anonymisé les copies des étudiants du groupe test pour éviter l’effet Pygmalion, qui selon Roberge a pour effet qu’« un enseignant habitué à recevoir de bonnes copies d’un élève précis […] considère que cet élève produit toujours de bons textes » (2006 : 7). Sur le plan informatique, nous avons utilisé le logiciel Excel et procédé à l’automatisation des calculs de contrôle de cohérence interne des fichiers. Une fois les formules validées, les cellules concernées ont été protégées afin qu’aucune modification accidentelle ne puisse survenir. Nous avons également eu recours aux fonctions de recherche avancée du logiciel Adobe Acrobat pour valider certaines des statistiques obtenues à la suite du relevé manuel des erreurs. Pour ce faire, nous avons téléchargé du Portail des cours l’original des copies constituant le corpus et enregistré ces fichiers Word au format PDF. Ensuite, des recherches ciblées ont été menées sur les fichiers PDF pour recenser de façon automatique et exhaustive toutes les occurrences d’un mot, d’un syntagme ou d’une caractéristique de 68 Nous nous sommes fondé sur le rythme circadien de la vigilance défini par le Dr Pérémarty, spécialisé en médecine du sommeil : http://www.sommeil-mg.net. 255 présentation. La figure 35 présente un exemple de recherche faite sur les copies de la section A, en l’occurrence concernant l’utilisation d’éléments de ponctuation. Figure 35 – Capture d’écran d’une recherche menée dans Adobe Acrobat L’utilisation de cet outil s’est avérée une aide précieuse pour la validation de l’exactitude des données saisies manuellement dans le tableau Excel. 6.1.3.4. Méthodologie de recueil des données qualitatives La perception des étudiants vis-à-vis du mode d’évaluation de leurs travaux et de leurs progrès constitue à notre avis un élément fondamental de l’efficacité de l’évaluation didactique. Nous avons donc soumis aux étudiants du groupe test un questionnaire d’enquête préalablement, puis postérieurement à l’utilisation de la rétroaction vidéo, afin de mesurer l’évolution de leur perception. Ces questionnaires ont été élaborés et administrés selon la même méthode que celle qui a été présentée au chapitre IV. D’autres données ont été fournies spontanément par les étudiants à l’occasion du processus d’évaluation du cours mené par la direction du département. Les éléments quantitatifs recueillis ont été comparés à ceux qui ont été obtenus grâce au questionnaire SurveyMonkey présenté au chapitre IV. 256 6.2. Analyse des données quantitatives du corpus Notre recherche est fondée sur l’analyse de l’évolution des résultats obtenus par les étudiants durant la session universitaire. Notre approche, suivie tant pour le devoir que pour l’examen, consiste d’une part à recenser de façon exhaustive les erreurs commises par les étudiants et à en dresser la typologie, et d’autre part à déterminer l’occurrence d’erreurs liées à des difficultés spécifiques qui ont donné lieu à une présentation en cours durant la session. La grille de correction habituellement utilisée par les enseignants en traduction de l’Université Laval comportant trois catégories (erreurs de transfert sémantique, erreurs de langue, erreurs de présentation) et 39 abréviations (voir annexe 3), nous avons volontairement, pour des raisons d’ordre pratique, restreint cette liste dans le cadre de notre recherche pour ne conserver que les éléments suivants : - sens : toutes les erreurs de transmission du sens du texte source, du glissement le plus bénin au contresens; - ajout ou omission : tout ajout ou omission d’un mot ou d’un membre de phrase, sans pour autant que cela affecte le sens de façon significative. Si tel est le cas, l’erreur est comptabilisée dans la catégorie ci-dessus; - calque : toutes les erreurs résultant d’un calque fautif du texte de départ, qu’il s’agisse d’un mot, d’un syntagme, d’une formulation peu idiomatique en français, d’un problème de structure ou de ponctuation, etc. L’utilisation d’un anglicisme absent du texte de départ rentre également dans cette catégorie; - impropriété : attribution à un mot d’un sens inexact au contraire à l’usage; - mal dit : maladresse ou formulation boiteuse; - orthographe et grammaire : toutes les fautes liées à l’orthographe et à la grammaire (accord, syntaxe, structure); - ponctuation : toutes les erreurs de ponctuation qui ne résultent pas d’un calque; - présentation : toutes les erreurs de présentation (par exemple, l’omission d’une espace insécable avant et après les guillemets) qui ne résultent pas d’un calque. Cette liste, volontairement limitative, ne reflète pas une quelconque pratique. Elle a été élaborée spécifiquement pour cette recherche dans le but de mettre en évidence les effets de la rétroaction vidéo sur la récurrence des erreurs liées à des calques. 257 6.2.1. Analyse des données quantitatives du devoir Le texte du devoir, qui figure à l’annexe 5, est extrait d’un communiqué de presse rédigé en anglais issu du site Internet de la société Nestlé, dans lequel il est question de l’inauguration d’une chaîne de production dans une usine du groupe. Ce site, principalement destiné aux médias et aux investisseurs du monde entier, reflète cependant la nationalité de cette société helvétique, puisque les sommes d’argent qui figurent dans le texte sont converties en francs suisses. Les étudiants ont reçu pour consigne de traduire pour le site Internet de Nestlé Canada. Un lien menant au texte original présent sur le site de Nestlé leur a été fourni et les deux photos qui figurent sur celui-ci leur fournissent des indications quant à certains choix de traduction à effectuer. Ce texte ne présente pas de difficultés d’ordre sémantique majeures. Cependant, des recherches terminologiques poussées sont nécessaires pour trouver la traduction de quelques syntagmes spécifiques à la société, tandis que la formulation de plusieurs passages du texte de départ peut aboutir, en cas de calque, à des erreurs de sens ou à des maladresses d’expression. 6.2.1.1. Données statistiques relatives aux notes Le tableau 94 présente les données statistiques relatives aux notes brutes obtenues par les étudiants pour la traduction du devoir. On constate une forte homogénéité des deux sections qui composent le groupe témoin. En effet, les notes basses et hautes sont très proches, ainsi que la moyenne, la médiane et l’écart-type. En revanche, la moyenne du groupe test est supérieure de plus de trois points et demi à celle du groupe témoin. 258 Tableau 94 – Statistiques des notes brutes du devoir Cependant, la phase de recorrection et d’harmonisation des méthodes d’évaluation des copies a fourni des résultats légèrement différents résumés dans le tableau 95. Tableau 95 – Statistiques des notes retraitées du devoir Ces variations, dont le détail apparaît dans le tableau 96, ont entraîné une baisse de 0,67 point de la moyenne du groupe témoin, et de 1,39 point de celle du groupe test. Dans le premier cas, ces ajustements inférieurs à un point peuvent être considérés comme statistiquement négligeables. Dans le second cas, la baisse, qui est deux fois supérieure à celle du groupe témoin, est principalement imputable à l’attribution, lors de la correction initiale, d’un plus grand nombre de points bonus pour des passages particulièrement 259 réussis. La neutralisation de cette pratique sur les copies du groupe test explique l’évolution des notes. Tableau 96 – Évolution liée au retraitement des notes Le retraitement des copies a également entraîné un net resserrement de l’écart-type entre les groupes. Les différences de moyenne et de médiane, qui se sont également atténuées, s’expliquent par le fait que 21 % des sujets du groupe test ont obtenu une note supérieure ou égale à 80 %, contre seulement 12 % pour le groupe témoin. En résumé, la faiblesse des écarts constatés entre notes brutes et notes retraitées s’explique à notre avis par la qualité du travail préparatoire au processus d’évaluation des copies, ellemême liée à la collaboration étroite des trois enseignants. 6.2.1.2. Recensement des erreurs commises Le recensement des erreurs commises par les étudiants fait apparaître une homogénéité certaine des trois sections, ce qui semble logique au regard de leur composition aléatoire. Comme le montre le tableau 97, le nombre moyen d’erreurs commises par les sujets du groupe témoin s’élève à 25,7, soit 6 % de moins que pour ceux du groupe test (moyenne de 24,2). La répartition par catégorie n’indique pas de différence significative entre les deux groupes. Par ailleurs, les calques fautifs constituent dans les deux cas la principale source d’erreurs, soit respectivement 30 % et 34 % du nombre total. 260 Tableau 97 – Nombre moyen d’erreurs par copie (devoir) Ce constat confirme les observations de Larose (1998 : 17) au sujet de traducteurs en exercice au Canada, pour lesquels « les impropriétés et les calques sont les [erreurs les] plus courantes. On associe ces erreurs à la trop grande littéralité et au manque de connaissance de la LA ». Ces résultats confirment également l’hypothèse énoncée précédemment, qui découle de notre expérience de l’enseignement. Par ailleurs, les impropriétés représentent bien la deuxième source d’erreurs, et ce, pour les deux groupes. 6.2.1.3. Recensement des erreurs liées à des difficultés spécifiques Les neuf difficultés spécifiques dont il est fait état ici figurent parmi celles qui ont été relevées par les enseignants lors de l’analyse du texte qui avait été faite conjointement préalablement à la correction. Elles ont en commun de présenter des risques de calque et répondent à notre avis à deux critères : - leur caractère récurrent : la plupart de ces difficultés apparaissent en effet fréquemment dans les textes à traduire; 261 - leur théorisation : la plupart de ces difficultés sont abordées dans La traduction raisonnée (Delisle, 2003 et 2013). Certaines d’entre elles ont également été discutées en cours préalablement au devoir. Ces difficultés relèvent soit de calques lexicaux, soit de calques syntaxiques. Nous présentons ici les segments de texte d’où sont issues ces difficultés. Les risques de calques lexicaux : - « The opening of a new GBP 5 million (more than CHF 7.5 million) wafer manufacturing line in the United Kingdom » : selon Le dictionnaire des anglicismes, le syntagme ligne de production constitue un anglicisme lexical. - « The completed ‘Line 4’ will be used to make nearly 30 million high-quality wafer sheets per year » : selon Le dictionnaire des anglicismes, l’utilisation de compléter dans cette acception constitue également un anglicisme lexical. - « The state-of-the-art wafer line was officially inaugurated » : le calque de l’anglais aboutit ici à un pléonasme, puisqu’une inauguration est la « cérémonie par laquelle […] on livre au public un édifice, un monument nouveau 69 ». Cette analyse est confirmée par la Banque de dépannage linguistique de l’Office québécois de la langue française, où il est précisé que Les expressions inauguration officielle et inaugurer officiellement sont […] considérées comme des pléonasmes puisque, dans les deux cas, il est question de consacrer ou de livrer au public solennellement un édifice, un monument, un pont, etc. Il suffit donc de dire inauguration ou inaugurer puisque l’aspect officiel ou solennel de l’action est sous-entendu70. Les risques de calques syntaxiques - « Using state-of-the art technology and benefiting from the latest know-how gathered through our Product Technology Centre based in York, and factories across the world, the aim of this investment is to ensure that we deliver the freshest 69 Le Petit Robert 2014 en ligne Banque de dépannage linguistique, http://bdl.oqlf.gouv.qc.ca/bdl/gabarit_bdl.asp?id=2013. Page consultée le 2 janvier 2014 70 262 wafer to our moulding plants » : le calque du participe présent entraîne une anacoluthe, puisque le participe se rapporte au sujet de la phrase principale, « the aim of this investment ». Selon Delisle (2013 : 497), il s’agit là d’un « exemple classique d’une rupture syntaxique ». - « by Paul Grimwood, Chairman et CEO for Nestlé UK et Ireland; David Rennie, Managing Director for Nestlé Confectionery UK et Ireland; Magdi Batato, Group Technical Director; and Francois Pointet, Category Technical Manager » : le pointvirgule est fréquemment utilisé en anglais pour séparer les éléments d’une énumération horizontale, même si selon Metcalfe et Astle (2013 : 185), « in enumerations, semicolons should be used only if commas would cause confusion ». Cependant, cette utilisation n’est pas idiomatique en français à moins que les éléments « séparés par un point-virgule [ne soient] mis en valeur par un numéro ou une lettre d’ordre71 ». - « Employees in York should be really excited » : la traduction calquée de in par la préposition à entraîne une construction fautive en français. Cependant, la prise en compte du contexte et des informations fournies dans l’article permettent d’obtenir des solutions idiomatiques, comme nos employés ou les employés de notre usine. - « earlier this month » : la formulation calquée plus tôt ce mois-ci, même si elle est abondamment utilisée au Canada72, constitue un comparatif elliptique fort peu idiomatique en français. Selon Delisle, le comparatif elliptique « a quelque chose d’agaçant qui rebute un esprit cartésien » (2013 : 417). Cette erreur est évitable grâce à différentes formulations dont le choix sera fonction du contexte : au début du mois, il y a quelques jours ou la semaine dernière constituent des exemples de traductions potentielles. - « With the wafer manufacturing facility at the heart of the operation, the new line will continue to boost Kit Kat production » : selon Delisle (2013 : 455), « Les 71 Le guide du rédacteur en ligne : http://www.btb.termiumplus.gc.ca/redacchap?lang=fraetlettr=chapsect3etinfo0=3.1.2. Page consultée le 2 janvier 2014. 72 Une recherche Google menée le 2 janvier 2014 sur les sites du gouvernement canadien fournit plus de 50 000 occurrences de ce syntagme, tandis qu'un seul résultat apparaît sur les sites du gouvernement français. 263 prépositions with et avec peuvent marquer un rapport causal […] mais la causalité doit être claire et évidente en français, l’anglais étant à cet égard beaucoup moins rigide. » En traduisant littéralement la préposition anglaise, « on crée une ambiguïté et on fait une entorse à la syntaxe française ». - « The completed ‘Line 4’ will be used to make nearly 30 million high-quality wafer sheets per year, for more than a billion Kit Kat bars manufactured each year » : le raisonnement est le même que pour la difficulté précédente. Traduire par « pour plus de » créerait une ambiguïté et le lien logique ne serait pas mis en évidence. Le tableau 98 récapitule la fréquence des erreurs liées à ces difficultés. La fréquence des erreurs a été matérialisée par un code couleur, du vert (fréquence modérée) à rouge (fréquence élevée). On constate que les difficultés relevées ont donné lieu à un calque fautif dans environ la moitié des cas. Cependant, cinq d’entre elles ont été correctement traitées par une large majorité des étudiants, c’est-à-dire entre les deux tiers et les trois quarts de l’échantillon. Deux autres ont posé problème dans la majorité des cas, tandis que les deux dernières ont constitué un obstacle majeur, puisque seulement 12 % des étudiants ont su éviter le calque. À leur décharge, il convient de préciser que ces formulations, pour fautives qu’elles soient, sont néanmoins largement employées dans les médias. 264 Tableau 98 – Statistiques d’occurrence des erreurs par section (devoir) Même s’il serait intéressant de comprendre les mécanismes qui président à la récurrence d’une erreur plutôt que d’une autre, cette question dépasse l’objet de notre étude et nous nous contenterons de constater qu’en dépit de variations minimes entre les sections, il se dégage de ces résultats une incontestable homogénéité vis-à-vis des probabilités de calques fautifs. Nous considérons donc que nous disposons d’une référence intéressante qui facilitera la procédure d’évaluation des effets de la rétroaction vidéo. 6.2.2. Analyse des données quantitatives de l’examen Le texte d’une longueur de 207 mots (reproduit à l’annexe 6) utilisé pour l’examen est issu du site Internet du Globe and Mail, quotidien ontarien réputé pour la qualité de ses articles, tant sur le fond que sur la forme. Il porte sur un sujet d’actualité internationale de 2012, l’approche des élections présidentielles en France. Les étudiants ont reçu pour consigne de traduire à destination d’un public canadien. Un lien menant au texte original leur a été fourni, ce qui leur permet de prendre connaissance de l’intégralité du texte d’origine, long de 669 mots, dont la lecture rapide peut fournir si nécessaire des précisions quant aux éléments à traduire. 265 Ce texte présente des difficultés sémantiques moyennes, mais sa traduction ne requiert pas de connaissance particulière du modèle politique français. En effet, il y est principalement question des effets de la crise de l’euro sur les gouvernements européens. Cette situation, abondamment commentée dans les médias canadiens, avait déjà été abordée au cours de la session à l’occasion d’une traduction à vocation purement formative. Par ailleurs, l’analyse grammaticale du texte anglais permet de lever les doutes qui pourraient subsister à la première lecture quant au sens d’un syntagme ou d’une tournure. 6.2.2.1. Données statistiques relatives aux notes Le tableau 99 présente les données statistiques relatives aux notes brutes obtenues à l’examen par les étudiants. On constate que l’écart entre les résultats de la section A et ceux de la section B s’est légèrement accentué, mais que ceux-ci restent cependant assez homogènes. Quant à l’écart entre les groupes test et témoin, il est légèrement inférieur à celui qui a été constaté pour le devoir, mais s’élève néanmoins à près de trois points. Tableau 99 – Statistiques des notes brutes de l’examen Contrairement à ce qui s’est passé pour le devoir, la phase de recorrection et d’harmonisation a cette fois donné lieu à des écarts relativement importants présentés dans le tableau 100. 266 Tableau 100 – Statistiques des notes retraitées de l’examen Comme en témoigne le tableau 101, la moyenne des notes du groupe témoin est en recul de près de cinq points, alors que celle des notes du groupe test ne baisse que de moins de deux points. Tableau 101 – Évolution liée au retraitement des notes La dispersion des notes dans les deux sections du groupe témoin s’est accentuée, tandis que celle du groupe test est restée quasiment stable. L’analyse des écarts observés après la phase de recorrection nous a permis de mettre en évidence trois facteurs permettant d’expliquer l’évolution des retraitements apportés aux copies des sections A et B : - en raison de la date de l’examen, placé en toute fin de session, les enseignants n’ont pas été en mesure de se réunir pour préparer la correction comme cela avait été le 267 cas pour le devoir. Même si le courriel facilite la communication, nous sommes d’avis que la dynamique issue d’une rencontre « physique » est propice à la fécondité des échanges; - corollaire de ce qui précède, certaines erreurs n’ont pas été recensées dans le barème et d’autres n’ont pas donné lieu à consensus. Ainsi, le calque lexical coupures budgétaires a été accepté pour les étudiants du groupe témoin, mais sanctionné pour ceux du groupe test. Cela a également été le cas pour l’anglicisme critiques, employé dans le sens de détracteurs. À elle seule, l’harmonisation de ces deux erreurs, dont la fréquence chez les étudiants du groupe témoin est mise en évidence par une recherche menée sur cette partie du corpus à l’aide du logiciel Adobe Acrobat (voir figure 36), explique un écart de 1,45 point entre la moyenne brute et la moyenne retraitée, soit presque la moitié de la variation constatée entre groupe test et groupe témoin. Figure 36 – Extraits de recherches menées à l’aide d’Adobe Acrobat - enfin, il est possible que des facteurs physiologiques et psychologiques mis en avant par Veslin et Veslin (1992), par exemple la fatigue, liée en l’occurrence à la fin de session, aient eu des effets négatifs sur l’homogénéité de l’application des éléments du barème. Quant à l'écart constaté à l’examen entre les résultats des groupes test et témoin, il pourrait être imputable à l’effet d’apprentissage lié à la rétroaction vidéo. L’analyse détaillée et la comparaison de la typologie des erreurs relevées sur les copies du devoir et de l’examen fourniront à cet égard des enseignements intéressants qui seront exposés plus loin. 268 6.2.2.2. Recensement des erreurs commises Le recensement du nombre d’erreurs commises par les étudiants fait apparaître, comme c’était le cas pour le devoir, une grande homogénéité des deux sections qui composent le groupe témoin. Pour ces étudiants, les calques fautifs représentent toujours la première source d’erreurs, dans des proportions comparables à celles du devoir. Tableau 102 – Typologie des erreurs par copie (examen) Si l’on constate également une relative stabilité du nombre d’erreurs commises par les étudiants du groupe test, leur typologie a en revanche évolué : le nombre de calques est en recul sensible, passant de 8,3 à 5,8 par copie. Cette diminution de 2,5 calques (voir tableau 103) par copie équivaut à une baisse de 30 %. Par exemple, pour le groupe test, alors que 34 % des erreurs commises lors du devoir étaient imputables à des calques, cette proportion a chuté à 24 % pour l’examen. 269 Tableau 103 – Évolution de la typologie des erreurs examen/devoir Les erreurs d’ordre sémantique sont également moins nombreuses dans les copies du groupe test (4,7 en moyenne contre 6,2 pour le groupe témoin). En revanche, celles qui sont liées à des ajouts ou omissions et à des impropriétés affichent une tendance inverse. Nous reviendrons ultérieurement sur l’analyse de ces évolutions. 6.2.2.3. Recensement des erreurs liées à des difficultés spécifiques Comme pour le devoir, les neuf difficultés spécifiques dont il est fait état ici figurent parmi celles qu’ont relevées les enseignants lors de l’analyse du texte qui avait été faite en commun préalablement à la correction. Elles ont également en commun de présenter des risques de calque et répondent à trois critères : - leur caractère récurrent : la plupart de ces difficultés apparaissent en effet fréquemment dans les textes rédigés en anglais; - leur théorisation : la plupart de ces difficultés sont abordées dans La traduction raisonnée (Delisle : 2003, 2013) et toutes celles d’ordre syntaxique ont été présentées au cours de la session, que ce soit à l’occasion d’une présentation théorique, d’exercices ou de la rétroaction du devoir; 270 - pour certaines, leur présence dans le texte du devoir : comparatif elliptique, participe présent, pléonasme, préposition with. Ces difficultés relèvent soient de calques lexicaux, soit de calques syntaxiques. Nous avons conservé, pour ces deux catégories, une répartition identique à celle du devoir. Nous présentons ici les segments de texte d’où sont issues ces difficultés. Les risques de calques lexicaux : - « Mr. Sarkozy has positioned himself » : selon Le dictionnaire des anglicismes et Le Petit Robert, le verbe se positionner constitue un anglicisme lexical. - « Critics who once derided him » : selon Le Petit Robert, le substantif critique employé pour désigner une personne renvoie à celle « qui juge des ouvrages de l'esprit, des œuvres d'art »73. Son utilisation au sens de détracteur constitue un anglicisme. - « the reflexive French impulse to protest » : le calque de l’anglais aboutit ici au pléonasme réflexe impulsif, comme c’était le cas pour l’inauguration officielle du devoir. Les risques de calques syntaxiques - « In a crisis, Sarkozy emerges strengthened » : la traduction par un comparatif elliptique peut être évitée par l’utilisation d’un adjectif positif (Delisle, 2013 : 418). - « President Nicolas Sarkozy, too, is a more muted and sombre figure » : difficulté identique à la précédente. - « The gloom of the euro-zone debt crisis is casting shadows over France's upcoming presidential election, paralyzing the normally spirited ideological debates » : le calque du participe présent n’entraîne pas forcément ici une formulation fautive ou une anacoluthe, mais l’absence d’une mise en évidence du lien logique (par exemple, à l’aide de ce qui) ou du renforcement du participe présent par un adverbe (par exemple, paralysant ainsi) résulte en une formulation peu idiomatique. - « with Britain and Germany considering the biggest cuts since the Second World War » : comme c’était le cas dans le devoir, en traduisant littéralement la 73 Le Petit Robert 2014 en ligne 271 préposition anglaise, « on crée une ambiguïté et on fait une entorse à la syntaxe française » (Delisle, 2013 : 455). Par ailleurs, le verbe considérer ne possède pas en français les mêmes acceptions qu’en anglais et ce calque lexical entraîne également souvent une erreur syntaxique. - « PARIS -- » : des erreurs de présentation ou de ponctuation, dont certaines liées à des calques, ayant été relevées en moyenne plus de trois fois dans les copies du devoir, nous avons sélectionné ce risque de calque lié à la ponctuation du texte anglais. Le tableau 104 récapitule la fréquence des erreurs liées à ces difficultés. Tableau 104 – Statistiques d’occurrence des erreurs par section (examen) Alors que pour le devoir, groupe témoin et groupe test présentaient un pourcentage identique d’occurrence des erreurs sélectionnées, les étudiants de ce dernier en ont commis à l’examen 20 % de moins que leurs homologues. Certaines de ces difficultés ont été traitées correctement par les deux groupes exactement dans les mêmes proportions. Il s’agit des deux cas de participe présent et des deux risques de calques qui résultaient en des 272 anglicismes lexicaux. En revanche, les cas de comparatifs elliptiques ont été moins fréquents dans le groupe test (13,5 % moins d’occurrences en moyenne), ainsi que ceux de pléonasme. Enfin, aucune traduction fautive de with par avec n’a été recensée dans les copies du groupe test, alors qu’un quart des étudiants du groupe témoin n’ont pas évité cette difficulté. 6.2.3. Analyse des écarts entre devoir et examen Les éléments marquants issus de l’analyse et de la comparaison des résultats obtenus au devoir et à l’examen sont les suivants : - l’homogénéité des résultats obtenus lors du devoir par les groupes test et témoin : comme le montre le tableau 105, la proportion d’erreurs liées aux difficultés sélectionnées est identique entre les deux groupes, et l’écart des nombres moyens d’erreurs ne dépasse pas 6 %. Seule la pondération des calques diffère, mais ces valeurs (31 % et 34 %) restent cependant relativement proches. Tableau 105 – Comparaison statistique résumée (devoir) - L’évolution de la typologie des erreurs : alors que la moyenne des erreurs commises à l’examen reflète assez fidèlement celle qui ressort des résultats du devoir, la nature de ces erreurs présente en revanche des évolutions plus marquées, comme le montre le tableau 106. 273 Tableau 106 – Comparaison statistique résumée (examen) On constate qu’alors que les étudiants du groupe test avaient commis au devoir 11 % de calques de plus que leurs homologues, cette tendance a fait plus que s’inverser à l’examen. Le différentiel d’évolution atteint donc 26 %. Parallèlement, le nombre d’erreurs de sens non imputables à des calques est également en baisse marquée dans le groupe test, dans lequel les étudiants ont en revanche commis plus d’omissions mineures et d’impropriétés. Malgré les précautions prises lors de la préparation de cette étude, et notamment l’accent mis sur l’homogénéisation de l’enseignement dans les trois sections, de même que le soin apporté aux procédures de recorrection et d’harmonisation des copies, plusieurs facteurs peuvent expliquer les évolutions constatées, par exemple : - le choix des textes : même si tous les étudiants sont logés à la même enseigne, il se peut que les passionnés de politique internationale aient été avantagés lors de l’examen; - le stress lié à l’examen : ce facteur, clairement identifié par les étudiants (voir chapitre IV), peut expliquer une contre-performance lors d’une épreuve en temps limité; - les styles d’enseignement : même si la matière présentée et les supports informatiques utilisés sont identiques, il semble probable que la personnalité et la sensibilité de chaque enseignant influent, de façon perceptible ou non, sur ses méthodes d’enseignement. 274 Cependant, la probabilité que les deux premiers de ces facteurs aient exercé une influence plus grande sur les étudiants du groupe témoin que sur ceux du groupe test est statistiquement peu vraisemblable. L’analyse des résultats du devoir infirme par ailleurs l’hypothèse d’une hétérogénéité des groupes. L’utilisation de la rétroaction vidéo, qui représente dans notre étude la variable dépendante, peut donc logiquement constituer une explication des variations constatées. En effet, alors que la gestion des risques de calque a constitué un sujet majeur des RV, on constate que les erreurs afférentes ont été nettement moins présentes dans les copies d’examen des apprenants du groupe test. Il est également probable que les nombreux conseils méthodologiques dispensés dans les vidéos aient eu un effet sur la réduction du nombre d’erreurs de sens grâce à une meilleure analyse du texte de départ. Cette assertion est corroborée par l’étude de la perception qu’ont les apprenants des apports de la RV, qui est détaillée ci-après (voir 6.3.2.). 6.3. Analyse des données qualitatives du corpus 6.3.1. Analyse de la perception de l’évaluation Afin de déterminer les effets de l’utilisation de la rétroaction vidéo sur la perception que les étudiants ont de l’évaluation, nous les avons interrogés par questionnaire en début de session, puis après la fin de celle-ci. 6.3.1.1. Perception préalable de l’évaluation Le groupe test était composé de 33 personnes au début de la session. Selon De Ketele et Roegiers (2009 : 145), « dans le cadre d’une enquête par questionnaire, c’est surtout la représentativité de l’échantillon qui déterminera le caractère systématique du recueil d’informations. » C’est pourquoi nous avons sensibilisé les étudiants à l’importance d’un taux de réponse aussi élevé que possible à ce questionnaire pour assurer cette représentativité et éviter le besoin de méthode de redressement de l’échantillon. Ce questionnaire a été administré de façon anonyme sur le site SurveyMonkey et a recueilli 29 réponses, ce qui correspond à 88 % des étudiants du groupe test. Ils devaient répondre à la question « pour moi, l’évaluation (les évaluations que je reçois en tant qu’étudiant), c’est : » en indiquant leur degré d’accord vis-à-vis de cinq assertions. 275 Tableau 107 – Résultats du questionnaire pré-test On constate à la lecture de ces résultats que les étudiants ont une vision positive de l’évaluation : pour près de 93 % d’entre eux, l’évaluation est utile ou très utile, et pour 72 %, elle constitue un outil d’apprentissage à part entière. Elle représente également pour la quasi-totalité des répondants (97 %) un bon moyen de se situer dans ses apprentissages. Cependant, elle est vécue comme un mal nécessaire par 72 % des apprenants, principalement en raison du stress occasionné par ce processus. En effet, plus de huit étudiants sur dix indiquent ressentir du stress, et plus d’un sur cinq, de façon intense. Les étudiants avaient également la possibilité de laisser des commentaires, ce que cinq d’entre eux ont fait. Ces commentaires sont retranscrits intégralement ici : Bien qu'une évaluation devrait m'aider à apprendre de mes erreurs en bonne partie, le stress qui vient avec et surtout la note sur le relevé m'empêchent de voir les évaluations comme des outils d'apprentissage très efficaces... L'évaluation me permet de savoir si j'ai bien compris la matière, et de connaître ce que je maîtrise moins bien. C'est aussi une façon de savoir si mes efforts valent la peine. Je crois qu'il est important de faire plusieurs évaluations au cours d'une session, même si cela peut représenter une grande source de stress elle permet de faire le point sur une partie de matière… mais bon, ce n'est pas un test qui peut nous dire exactement ou on en est rendu et une note ne peut à mon avis pas tout le temps nous éclairer adéquatement sur la réalité, bien que c'est forcément ce que l'on a tendance à regarder en premier... Les évaluations me stressent énormément, mais au moins ça me permet de voir si j'ai bien compris et quelles sont mes difficultés. C'est quelque chose d'utile, mais en même temps il y a beaucoup de stress. 276 Il se dégage de ces commentaires à la fois la compréhension de la nécessité de l’évaluation, mais surtout la mise en avant du facteur stress. En effet, il est évoqué dans quatre des cinq commentaires. L’ambivalence des étudiants vis-à-vis de l’évaluation est donc nette. 6.3.1.2. Analyse de la perception postérieure à la recherche En raison du retraitement de l’échantillon (voir tableau 93 page 254), le questionnaire postérieur à l’utilisation de la rétroaction vidéo a été soumis à 28 étudiants après la fin de la session et a obtenu un taux de réponse de 86 %. Il comporte dix questions, la première étant identique à celle qui avait été posée préalablement à la recherche. Le nombre de questions a été volontairement limité de façon à réduire le temps nécessaire pour y répondre et donc à maximiser les chances d’une participation élevée. En effet, Marien et Béaud (2003 : 14) considèrent qu’un « micro-échantillon », c’est-à-dire de taille inférieure à 20 participants, peut susciter des doutes quant à sa représentativité. Les réponses données à la première question (voir tableau 108) peuvent être comparées à celles du questionnaire pré-test et le tableau 109 permet une lecture directe de l’évolution des perceptions. Tableau 108 – Résultats Q1 du questionnaire post-test Si la perception des étudiants quant à l’utilité de l’évaluation et son intérêt en tant que repère dans l’apprentissage n’évolue pas de façon significative lorsqu’on additionne les 277 réponses positives (d’accord) et très positives (tout à fait d’accord), un net transfert des premières vers les secondes peut cependant être observé, notamment pour ce qui relève de l’utilité de l’évaluation. Tableau 109 – Évolution réponses à la question 1 L’évolution la plus nette concerne le critère de l’évaluation en tant qu’outil d’apprentissage à part entière. En effet, les perceptions positives ou très positives à cet égard passent de 72 à 100 %, dont 40 % de hausse pour la seconde catégorie. Quant aux deux critères liés aux aspects négatifs de l’évaluation, leur évolution est moins marquée, mais néanmoins réelle, puisque les répondants ne sont plus que 58 % à considérer l’évaluation comme un mal nécessaire (contre 72 % auparavant) et 70 % à y voir une source de stress. Même si ce pourcentage reste élevé, il est en baisse de 16 % par rapport au premier questionnaire. Par ailleurs, plusieurs commentaires des étudiants relativisent la connotation négative souvent attribuée au stress, ce qui n’était pas le cas lors du questionnaire pré-test : Pour moi, une bonne évaluation, même si c'est une source de stress, me renseigne sur mes forces et mes faiblesses. Oui, les évaluations peuvent être une source de stress, mais sans elles, nous ne pourrions pas apprendre de nos erreurs. La théorie ne dit pas tout. Il faut essayer par nous-mêmes et faire des choix, et ensuite voir si c'étaient de bons ou mauvais choix. En conclusion, il apparaît que l’utilisation de la rétroaction vidéo joue un rôle positif dans l’évolution de la perception que les étudiants ont de l’évaluation, principalement en renforçant le sentiment de son utilité et de son statut d’outil d’apprentissage à part entière. 278 6.3.2. Analyse de la perception des apports de la rétroaction vidéo Le questionnaire proposé aux étudiants comportait neuf questions relatives à l’utilisation de la rétroaction vidéo, et il leur était possible d’ajouter des commentaires après chaque question. La première d’entre elles consistait à indiquer leur degré d’accord au regard de quatre assertions (voir tableau 110), chaque degré renvoyant à une valeur numérique croissante comprise entre un et cinq. L’évaluation moyenne (colonne de droite du tableau) correspond donc à un coefficient d’appréciation mesuré sur une échelle de cinq. Tableau 110 – Perception des apports de la rétroaction vidéo Les quatre assertions figurant sur ce tableau visent à appréhender, outre la perception des étudiants, leurs attitudes et comportements postérieurement à la réception de leur copie corrigée, notamment au vu de certains des travers du processus d’évaluation mentionnés au chapitre II, en l’occurrence le sentiment d’arbitraire ressenti par les étudiants, leur fréquente incompréhension des commentaires qui leur sont adressés (ces deux éléments étant étroitement liés) et leur passivité face à la rétroaction. Il ressort des réponses des étudiants que tous sont d’avis que la rétroaction vidéo leur permet de mieux comprendre leurs erreurs que ne peut le faire la rétroaction traditionnelle. Ce constat valide l’hypothèse formulée au chapitre IV concernant la spécificité des 279 étudiants de l’Université Laval quant à leur perception du caractère subjectif de l’évaluation. Pour 92 % des étudiants, la rétroaction vidéo incite également à analyser ses erreurs, ce que Robinson et coll. (2013 : 261) voient comme un signe de la satisfaction des étudiants : « if feedback is to be effective it must engage the student and develop self-regulated learning […]. Poor satisfaction with feedback is likely to occur if students see the feedback as an end in itself and do not work independently with the feedback provided to improving their performance ». Par ailleurs, 96 % des étudiants considèrent que la rétroaction vidéo leur permet d’éviter certains pièges récurrents. Cette perception confirme les résultats de l’analyse quantitative qui a mis en évidence une nette diminution des erreurs liées aux calques (voir Tableau 105 et 106), comme le montre l’absence de calque fautif de la préposition with par les étudiants du groupe test lors de l’examen, alors que 25 % des étudiants du groupe témoin l’avaient commis. Enfin, la totalité des étudiants sont d’avis que la rétroaction vidéo leur permet d’apprendre de leurs erreurs, dont 79 % qui sont tout à fait d’accord avec cette assertion. Ces résultats confirment les travaux de Nicol et Macfarlane-Dick (2006 : 204), pour qui « there is considerable research evidence to show that effective feedback leads to learning gains ». En effet, une méta-analyse menée par Black et Wiliam (1998) sur 250 études portant sur le feedback a mis en évidence qu’une rétroaction efficace engendre des bénéfices importants pour l’apprenant, indépendamment de la matière enseignée, de leurs compétences ou du niveau d’enseignement. Il est intéressant de comparer les résultats du tableau 110 avec les données issues du tableau 69 de la page 172, dans lequel sont recensées les réponses des étudiants en traduction quant à leur perception des commentaires et annotations figurant sur leurs copies évaluées. Ainsi, alors que seulement environ 15 % de ces étudiants se déclaraient tout à fait d’accord avec l’assertion « les commentaires reçus m’aident à comprendre mes erreurs », les bénéficiaires de la RV sont proportionnellement quatre fois et demie plus nombreux (67 %) à être de cet avis. De même, 18 % des étudiants considèrent que « les commentaires reçus m’aideront à éviter de répéter mes erreurs », tandis que cette proportion atteint 67 % chez les bénéficiaires de la RV. 280 D’autres aspects ont été évoqués par les étudiants dans leurs commentaires, notamment la réticence que peuvent éprouver certains à l’idée de demander des explications à l’enseignant : J'apprécie beaucoup d'avoir des explications sur les erreurs spécifiques que j'ai faites sans avoir à demander au prof en personne, ce qui est parfois gênant. Ce commentaire rejoint ceux qu’avaient émis les étudiants au chapitre IV, ainsi que la constatation de Robinson et coll. (2013 : 261), pour qui « [students] are often scared to meet with their tutors ». Ces auteurs évoquent également le côté « mystérieux », du point de vue de l’étudiant, qui entoure l’acte d’évaluation, que la rétroaction vidéo, selon le commentaire d’un étudiant, permet de démystifier : Plus interactive qu'une correction manuelle, elle donne un bon aperçu de la démarche de correction entreprise par les professeurs. Les commentaires oraux sont argumentés et plus compréhensibles que les erreurs de traduction étiquetées dans une correction manuelle. La notion de lisibilité exprimée dans ce commentaire, qui fait écho à un des reproches adressés aux enseignants par les étudiants de notre étude présentée au chapitre II, rejoint l’une des préoccupations exprimées par Robinson et coll. dans l’étude qu’ils ont menée auprès d’étudiants universitaires du premier cycle. Ils ont en effet mis en évidence que 30 % d’entre eux éprouvaient parfois des difficultés à déchiffrer les commentaires des enseignants. Selon ces auteurs, « staff should be aware that increasing reliance on technology amongst students means that they are less experienced at deciphering handwriting » (2013 : 267). Au vu des différentes contraintes qu’ils évoquent, Robinson et coll. suggèrent la mise en œuvre et l’évaluation de nouvelles méthodes de rétroaction, position à laquelle nous ne pouvons que souscrire : Evaluation of new methods of giving feedback which allow students to receive help on how to use their feedback without experiencing the emotional or logistical problems associated with organising a face to face meeting with their tutors is needed. In addition, new technologies such as video and podcasts allow staff to give fuller comments, in a shorter time, without raising problems of legibility […] and so should be a good method of increasing student satisfaction with feedback in a time effective manner. Robinson et coll. (2013 : 269) 281 6.3.2.1. Aspects techniques Les conditions techniques dans lesquelles les vidéos ont été réalisées lors de cette étude sont celles que nous utilisons actuellement, à l’exception du logiciel d’enregistrement (Jing), dont la commercialisation a pris fin et qui a été remplacé par un autre produit (Snagit) du même éditeur, dont nous nous servons désormais. Ce nouveau logiciel présente naturellement des fonctionnalités améliorées, et notamment la disparition de la limitation de la durée des vidéos à cinq minutes imposée par Jing. Du point de vue de l’enseignant, Snagit présente l’indéniable avantage d’une fiabilité accrue, tandis que l’utilisation de Jing se soldait fréquemment par des bogues lors de l’enregistrement. Tableau 111 – Perception des aspects techniques de la rétroaction vidéo Néanmoins, les étudiants n’ont pas rencontré de problèmes techniques et les deux seules mentions défavorables à l’égard des aspects pratiques de la rétroaction vidéo proviennent d’une part d’un étudiant dont l’ordinateur était apparemment défaillant, et d’un autre qui aurait préféré recevoir une vidéo d’une durée supérieure à cinq minutes. La simplicité d’utilisation rencontre donc l’adhésion de la quasi-totalité des sujets du groupe témoin. Un autre aspect pratique spontanément évoqué dans un commentaire concerne la facilité de conservation et de réécoute du fichier vidéo. Certains étudiants considèrent en effet que l’aspect sonore à lui seul peut leur être bénéfique, lors de déplacements en transport en commun, par exemple. 282 6.3.2.2. Aspects comportementaux Pour Veslin et Veslin (1992 : 23), la correction des copies, pour un certain nombre d’élèves, ne représente pas un moment particulièrement lumineux de la situation pédagogique […]. Il arrive que le devoir ne sera même pas relu ; une fois les élèves sortis de la salle, l’enseignant le retrouvera, roulé en boule ou transformé en avion, sous une table. Par ailleurs, les résultats d’un sondage que nous avons mené en 2011 auprès des enseignants de notre département ont mis en évidence que lorsqu’un examen de fin de session se tient sur papier et que les copies sont mises à disposition des étudiants à un guichet accessible plus de 37 heures par semaine, seulement 40,1 % d’entre eux vont y récupérer la leur. Les autres copies sont alors retournées à l’enseignant passé un délai de plusieurs semaines. Cette pratique, confirmée par les résultats de l’étude présentée au chapitre IV, apparaît comme un corollaire aussi logique que révélateur de l’importance, évoquée précédemment, attachée par les étudiants à la seule note. Si le développement progressif de la remise des copies en ligne, procédé qui reste cependant encore largement minoritaire, est appelé à faire évoluer ces statistiques, il n’est cependant pas certain qu’il modifiera de façon perceptible les comportements des étudiants. En revanche, il apparaît que l’utilisation de la rétroaction vidéo engendre une telle modification, comme le montre le tableau 112, où sont résumées les réponses fournies par les étudiants du groupe test à la question « lorsque je reçois ma rétroaction, quels sont les fichiers que j’ouvre? » Tableau 112 – Comportement des étudiants à la réception des fichiers À la réception des fichiers, 41,7 % des répondants déclarent ouvrir d’abord le fichier vidéo. Il ressort également des commentaires reçus que le centre d’intérêt d’une proportion non négligeable des étudiants s’est déplacé de la note vers les éléments de la rétroaction, 283 puisque dans l’étude présentée au chapitre IV, ce sont 90,1 % des répondants qui ont indiqué s’intéresser d’abord à la note. Celle-ci n’apparaît en effet qu’à la fin de la vidéo, alors qu’elle figure en lecture directe et immédiate sur la copie papier. Selon les mots d’un étudiant, Je ne me précipite pas sur la note. Je veux voir mes erreurs et ensuite la note, sinon ce n'est pas vraiment formateur. Il faut voir ce que l'on a appris avant de voir la note. On constate par ailleurs que trois étudiants, soit 12,5 % de l’échantillon, indiquent ne pas avoir ouvert le fichier Word. Deux d’entre eux l’ont justifié en ces termes : Je suis une « auditive », donc la RV pour moi est plus « marquant » que les commentaires écrits. Je ne conserve jamais mes copies de toute façon. Cependant, la grande majorité des étudiants (91,7 %) souhaitent recevoir à la fois la vidéo et leur copie, principalement afin d’imprimer cette dernière et de pouvoir s’en servir comme support au cours de la correction en classe. Quant à la vidéo, elle est conservée par 91,7 % des étudiants, proportion semblable à celle de la conservation des copies papier qui ressort de l’étude présentée au chapitre IV. Le tableau 113 présente le détail des réponses à la question « Vous est-il déjà arrivé de réécouter tout ou partie d’une RV? » et met en évidence que 41,7 % des étudiants réécoutent souvent ou toujours la rétroaction qui leur a été fournie. Tableau 113 – Utilisation ultérieure de la vidéo Alors que les enseignants que nous avons interrogés déplorent souvent que la note monopolise l’attention des étudiants et que la copie remise à l’apprenant finisse rapidement au fond d’un tiroir, voire de la poubelle, dans notre étude, 91,7 % des répondants ont affirmé réécouter parfois ou souvent la vidéo et 58,3 % l’ont diffusée à leur entourage ou 284 pensent le faire. Le format numérique de la rétroaction en favorise donc l’accessibilité et le partage. Cette caractéristique s’avère très intéressante pour les étudiants qui résident loin de leur lieu d’études et qui sont déjà rentrés chez eux au moment de la remise des examens finaux, et a fortiori pour ceux qui suivent des cours à distance. 6.3.3. Autres aspects de la rétroaction vidéo Comme nous l’avons vu au chapitre IV, dans plus de deux tiers des cas, les étudiants reçoivent leur copie pendant le cours, le plus souvent au début de celui-ci. Outre le stress généré par la découverte de la note, cette pratique ne facilite pas l’attention des apprenants. En effet, comme nous avons pu le constater en observant à quatre occasions le comportement des étudiants lors de la remise de leurs travaux, il s’est écoulé en moyenne plus de huit minutes avant que l’enseignant n’arrive à capter l’attention de tous. Une durée d’environ 10 minutes a également été évoquée par des enseignants interrogés lors de l’étude. Par ailleurs, le temps nécessaire à la distribution des copies diminue d’autant la durée de la rétroaction. Selon un étudiant, « Dans les cours où les étudiants sont nombreux, ce procédé [la distribution des copies] peut parfois faire perdre plus d'une demi-heure de temps de leçon. » Si l’utilisation de la rétroaction vidéo permet d’optimiser la gestion du temps lors du cours et d’éviter les pertes d’attention, elle rend également possible une modification du cours, tant dans son contenu que dans sa dynamique. Alors que les informations recueillies auprès des enseignants mettent en évidence que la rétroaction des devoirs et examens faite en cours se limite souvent un commentaire général des difficultés rencontrées, la rétroaction vidéo, quant à elle, permet aux étudiants de prendre connaissance de ces commentaires préalablement au cours, ce qui libère du temps qui peut être utilisé dans une vision autre que rétrospective. Ainsi, au lieu de consister en une énumération des erreurs rencontrées, le cours peut être l’occasion d’aborder différentes méthodes de résolution de problèmes et de faire réfléchir les étudiants sur leur approche méthodologique. Il en résulte une participation accrue de leur part, d’autant plus que ceux qui n’ont pas obtenu une note satisfaisante ont eu le temps nécessaire à l’évacuation des sentiments négatifs qui auraient pu en résulter, comme en témoigne ce commentaire d’une étudiante d’un autre cours : 285 Le dernier cours sur les méthodes de travail m'a été fort utile […]. Je ne comprends pas pour quelle raison ces méthodes ne font pas partie intégrante du programme. Je suis en troisième année et j'ai encore l'impression de cafouiller. De bonne méthodes augmentent la confiance et diminuent d'autant le stress. J'irais même jusqu'à dire que cela pourrait faire aimer la traduction à ceux qui doutent, surtout en début de programme. Évolution de la perception de l’évaluation 6.3.4. La dernière question posée aux étudiants visait à déterminer si l’utilisation de la rétroaction vidéo avait modifié leur perception de l’évaluation. Il s’agit de la seule question ouverte du questionnaire, dans le but d’encourager les étudiants à préciser leur pensée au-delà d’une simple réponse binaire. Sur les 24 étudiants, 19 (soit 79,16 %) ont répondu par l’affirmative, dont trois par un simple oui, et cinq par la négative (dont deux par un simple non). L’analyse des commentaires liés aux réponses négatives fait apparaître qu’un des répondants considérait déjà l’évaluation comme un outil d’apprentissage : Je voyais déjà les corrections comme une façon de confirmer mes connaissances ou de corriger le tir. Par ailleurs, les deux autres commentaires reconnaissent explicitement les avantages de la rétroaction vidéo : Non, mais elle permet de mieux comprendre les erreurs commises et de s'y référer dans le futur pour éviter les mêmes erreurs. Non, en ce qu'elle joue le même rôle qu'une rétroaction papier. La RV est tout de même de loin supérieure à la correction classique. Enfin, l’analyse des réponses fournies aux questions précédentes par les deux répondants qui se sont limités à un non à celle-ci fait apparaître qu’ils avaient répondu tout à fait d’accord aux questions portant sur leur perception des apports de la rétroaction vidéo. Par ailleurs, les commentaires écrits en complément à d’autres de leurs réponses indiquent qu’eux aussi considéraient déjà antérieurement l’évaluation comme un d’apprentissage : Ce n'est pas le résultat chiffré qui m'intéresse, mais le fait de voir et de comprendre mes erreurs afin de ne plus les refaire et, ainsi, de m'améliorer. Plus interactive qu'une correction manuelle, elle donne un bon aperçu de la démarche de correction entreprise par les professeurs. Les commentaires oraux sont argumentés et plus compréhensibles que les erreurs de traduction étiquetées dans une correction manuelle. 286 outil L’analyse des commentaires liés aux réponses positives à la question posée met en évidence quatre principaux éléments de satisfaction : une meilleure compréhension des erreurs, la personnalisation de la rétroaction, l’accent mis sur la méthodologie, et la dédramatisation de la situation d’évaluation, les deux premiers étant étroitement liés. Certains des types d'erreurs sont parfois un peu nébuleux donc, quand elles nous sont expliquées, c'est très formateur. De plus, je ne suis pas le genre d'étudiante à consulter les professeurs quand je ne comprends pas une évaluation alors qu'ici, j'ai toute l'information nécessaire. Cette méthode me donne vraiment l'impression que l'évaluation me sert d'apprentissage, contrairement aux évaluations pour lesquelles nous ne recevons qu'une note sur la première page sans le moindre commentaire. Parce qu'elle est personnalisée, la rétroaction vidéo m'apparaît encore plus utile que le retour sur l'évaluation effectué en classe. Oui, car elle permet de comprendre la manière correcte d'aborder une phrase qui nous a posé problème. Oui. Cette rétroaction représente une sorte de rencontre un à un avec le chargé de cours. Par ailleurs, l’idée d’une baisse du stress lié à réception de la note a été évoquée, de même que la proximité avec l’enseignant que crée la vidéo et qui tend à dédramatiser la situation d’évaluation. La perception des étudiants vis-à-vis de l’évaluation s’en trouve donc modifiée et ils la vivent moins comme une sanction que comme un outil. De cette façon j'ai moins l'impression d'être évaluée. J'ai plus l'impression d'apprendre. C'est un peu comme si je prenais un cours privé de traduction. Je reçois des commentaires pertinents pour mon travail à moi et non pour l'ensemble du travail des étudiants. Oui. Quand on reçoit un devoir corrigé et qu'on y voit des erreurs, on se sent pas bons. Mais grâce au vidéo, on comprend nos erreurs. Je vois mon évaluation comme un apprentissage et non une critique. Enfin, l’arbitraire lié à la correction, qui dans une étude de Veslin et Veslin (1992 : 25) était mis en avant par plus de moitié des apprenants, ou la subjectivité, évoquée par 56,69 % des étudiants en présentiel dans l’étude présentée au chapitre IV, ne sont plus mentionnés en tant que source de frustration. Cela montre que les marques de correction sont toutes justifiables et moins arbitraires qu'on peut parfois le penser. Généralement, quand on a les explications, on accepte mieux la note au bas de la page. 287 En conclusion, il apparaît que pour une très large majorité des répondants, l’utilisation de la rétroaction vidéo a modifié leur perception du processus d’évaluation et de son utilité en tant qu’outil d’apprentissage, en jouant sur des aspects aussi bien techniques (compréhension des erreurs et lisibilité des éventuels commentaires) que psychologiques (dédramatisation de l’acte d’évaluation et diminution du sentiment d’arbitraire). L’utilisation de moyens multimédias, qui permet une diversité d’approches propres à soutenir l’attention, est également valorisée par les apprenants. Comme le rappelle Hamon (2006 : 559), L’apport majeur des TICE semble devoir être conçu comme allant bien delà de la seule dimension pratique, puisque ces instruments impliquent non seulement une incrémentation de la motivation mais tendent aussi à agir sur l’appropriation de connaissances et de compétences. 7. Conclusion 7.1. Utilisation de la rétroaction vidéo : des apports mesurables Le caractère incontournable des outils technologiques dans le marché de la traduction relève d’une évidence, de même que leur utilisation croissante dans l’enseignement de la traduction. Toutes les universités canadiennes qui enseignent en présentiel la traduction de l’anglais vers le français disposent de moyens technologiques que l’on peut désormais considérer comme élémentaires : laboratoires équipés d’ordinateurs, salles de cours dotées de vidéo projecteurs et de connexion Internet sans fil. Cependant, l’utilisation d’outils technopédagogiques à fin d’évaluation des travaux des étudiants, si elle tend à se développer, reste encore minoritaire et souvent limitée au seul usage de la fonction Commentaire du logiciel Word. Indépendamment des procédures d’évaluation utilisées, il apparaît que l’usage raisonné d’outils technologiques, en l’occurrence la rétroaction vidéo, est susceptible d’améliorer l’efficacité de l’évaluation envisagée dans une approche constructiviste. De fait, la comparaison de l’évolution des résultats obtenus par les sujets d’un groupe test par rapport à ceux d’un groupe témoin met en évidence une amélioration significative des résultats obtenus par les premiers. Cependant, d’autres études à plus grande échelle seraient nécessaires pour confirmer la validité des résultats quantitatifs. En revanche, ces derniers 288 n’ont pas d’influence sur les apports qualitatifs de l’utilisation de la rétroaction vidéo mis en avant par les étudiants. Il apparaît donc que la rétroaction vidéo répond aux besoins et aux attentes des étudiants mieux que ne peuvent le faire les méthodes traditionnelles. Elle répond également à plusieurs des critères de l’évaluation formative, « la création d’un climat de confiance, l’individualisation de l’aide apportée, l’auto-évaluation, la responsabilisation de l’apprenant et la régulation des apprentissages » (Gardy, 2011 : 100). Enfin, la rétroaction vidéo entraîne des modifications sur le déroulement des cours en classe. En effet, lors de la remise des copies papier de devoir ou d’examen aux étudiants, il est fréquent que des éléments de correction soient apportés par l’enseignant et que des questions, voire des réclamations, soient soulevées par les étudiants. Au Canada, où la durée de la session universitaire est de quinze semaines, le temps consacré à l’évaluation sommative ‒ même si elle contient indubitablement un aspect formatif ‒ peut représenter l’équivalent de trois cours (deux cours consacrés aux épreuves d’examen et en moyenne une heure pour la correction de chaque devoir et de l’examen de mi-session). La rétroaction vidéo, qui évite d’avoir à revenir en classe sur la litanie des erreurs rencontrées lors de la correction, permet de libérer du temps pour des activités formatives. Les séances de correction, dans lesquelles il n’y a plus de remise physique des copies qui pourrait entraîner une baisse générale de l’attention, sont désormais concentrées sur les approches méthodologiques et donnent lieu à des échanges apaisés, même s’ils peuvent être passionnés. 7.2. Contraintes liées à la rétroaction vidéo Les avantages liés la rétroaction vidéo sont manifestes. Cependant, le développement de son utilisation se heurte à des contraintes tant techniques qu’humaines. 7.2.1. Contraintes techniques de la rétroaction vidéo Le matériel requis pour la réalisation de commentaires vidéo n’a rien de révolutionnaire : un ordinateur relativement récent et un micro suffisent. S’il est vrai qu’un ordinateur portable à écran tactile ou une tablette graphique externe sont nécessaires pour l’annotation numérique des copies, il n’en reste pas moins que l’utilisation de la fonction Commentaire 289 de Word peut tout à fait remplir cette fonction. La limitation des commentaires aux seuls codes du barème de correction permet d’éviter les problèmes de lisibilité évoqués précédemment. Quant à l’aspect logiciel, outre un logiciel de traitement de texte dont l’utilisation est obligatoire en traduction, seul un outil de capture vidéo est requis. De nombreux logiciels, gratuits ou payants, sont offerts au grand public. Celui que nous utilisons ne requiert aucune compétence particulière, est très simple d’utilisation et d’une grande fiabilité. Son prix, relativement modeste, deviendrait même négligeable en cas d’achat groupé par une institution universitaire. Quant à la phase de mise à disposition des vidéos aux étudiants, elle peut souvent se faire en quelques clics à l’aide des plateformes d’enseignement dont disposent les universités. 7.2.2. Autres contraintes matérielles de la rétroaction vidéo La contrainte de temps représente un obstacle majeur au développement de la rétroaction vidéo. En effet, le temps nécessaire à la réalisation des vidéos s’ajoute à celui de la correction des copies à proprement parler. Pour un groupe de 30 étudiants dont l’évaluation se ferait sur la base de deux travaux à la maison et de deux examens, la surcharge de travail pour l’enseignant, après quelques tâtonnements, s’élèverait à environ douze heures 74 par session. Cependant, l’expérience nous a montré que l’utilisation de la rétroaction vidéo entraîne des gains de temps sur certaines tâches annexes, puisque les étudiants sont beaucoup moins nombreux, voire très rares, à solliciter l’enseignant au sujet de leurs travaux, que ce soit par courriel ou en demandant une rencontre. Nous n’avons pas trouvé d’étude relative au temps passé par les enseignants à répondre aux demandes des étudiants concernant l’évaluation de leurs travaux, et il n’est donc pas possible de le quantifier. Néanmoins, les entrevues menées avec les enseignants ont mis en évidence que ces moments d’explication sont fréquents. La surcharge temporelle liée à l’utilisation de la rétroaction vidéo pour des groupes de tailles réduite ou moyenne (c’est-à-dire jusqu’à 30 étudiants) est en réalité inférieure au nombre d’heures fourni précédemment. 74 Calculs fondés sur les paramètres suivants : vidéos d'une durée de cinq minutes et marge de sécurité de 20 %. 290 Il est évident que la tendance à l’augmentation de la taille des groupes que connaissent la plupart des universités ne joue pas en la faveur de la rétroaction vidéo. Selon Hamon (2013 : 560), « En ce qui concerne la didactique de la traduction, nous avons pu constater que les volumes importants d'effectif conditionnaient de façon significative les pratiques de classe en présentiel », et ces effets peuvent être étendus aux processus d’évaluation. Il n’est donc pas matériellement envisageable de pratiquer des rétroactions vidéo personnalisées dans un groupe de 50 ou 60 apprenants. 7.2.3. Contraintes humaines de la rétroaction vidéo Ce qui est vrai pour la pédagogie universitaire l’est à notre avis tout autant, sinon plus, pour l’évaluation didactique. En effet, comme nous l’avons déjà évoqué, l’évaluation constitue souvent pour les enseignants un moment redouté et souvent abordé avec un certain fatalisme. Par ailleurs, comme nous l’avons mis en évidence au chapitre III, les pratiques d’évaluation didactique en traduction n’ont parfois guère évolué depuis des décennies. Cependant, les résultats de l’étude menée auprès des enseignants prouvent que de nouvelles approches, qui font appel aux outils informatiques, sont mises en œuvre dans les universités canadiennes, même si elles demeurent minoritaires et généralement le fait d’une nouvelle génération d’enseignants. 7.2.4. Adaptation de la rétroaction vidéo aux conditions d’enseignement Si la taille croissante des groupes ne permet pas d’envisager la production de rétroactions vidéo personnalisées, il existe cependant la possibilité d’adapter le processus en enregistrant à la place des rétroactions vidéo générales, qui n’en sont pas moins pertinentes. L’enseignant peut alors produire des vidéos thématiques (par exemple explication des principales des erreurs rencontrées lors de la correction, mise en évidence de pratiques exemplaires) et les mettre en ligne préalablement au cours. Cette solution, que nous adoptons pour les grands groupes, recueille l’approbation des étudiants, comme le montrent ces commentaires formulés par les étudiants à l’occasion de l’évaluation anonyme d’un cours en fin de session : Les techniques d’évaluation permettent aux élèves de s’améliorer réellement et de développer une méthode de travail rapide et efficace. 291 J’ai aimé la façon d’analyser les traductions hebdomadaires, les analyses vidéo des examens et devoirs étaient une excellente façon d’apprendre de nos erreurs. Les corrections des travaux remis sur le portail avec les vidéos-commentaires sont très utiles! J’aime les capsules vidéo sur le portail qui expliquent les erreurs commises aux évaluations. Cette approche, si elle ne permet pas d’individualiser le suivi des apprenants, constitue cependant à notre avis un compromis acceptable, puisque les autres avantages liés à l’utilisation de la rétroaction vidéo sont conservés. 7.3. Perspectives de recherche Il apparaît évident que l’utilisation du multimédia − et notamment de la vidéo − dans l’enseignement supérieur est appelée à se développer, comme le montre le succès rencontré par l’enseignement en ligne en général et les MOOC (Massive Open Online Course) 75 en particulier. Dans ce contexte, le recours à la rétroaction vidéo pourrait constituer un facteur clé de succès dans la lutte contre les taux d’abandon élevés qui caractérisent l’enseignement à distance, puisque la rétroaction vidéo permet de contrer certaines des contraintes relevées par Audet (2008 : 35) : « le sentiment d’isolement des étudiants, le manque d’interactivité dans les cours et l’encadrement insuffisant. » Cependant, des études transversales et longitudinales seront nécessaires pour valider et préciser les apports du multimédia en évaluation didactique de la traduction. 75 Les termes français Cours en ligne ouvert et massif (CLOM) et Cours en ligne ouvert à tous (CLOT), recommandés en 2013 par la Commission générale de terminologie et de néologie (France), ne se sont pas encore imposés dans l’usage. 292 Chapitre VII : proposition d’une méthode d’évaluation didactique Au terme de notre étude, nous disposons des éléments nécessaires à l’atteinte de notre sixième objectif spécifique : définir les contours d’une méthode d’évaluation à vocation tant formative que sommative qui constitue un véritable outil d’apprentissage adapté aux réalités du métier d’enseignant en traduction. Notre objectif n’est pas de prétendre fournir une illusoire méthode « miracle » détaillée et adaptée à tous les cas de figure. Selon Brunette (1998 : 136), les espoirs d’une « quête de critères incontestables » ont en effet disparu depuis la fin des années 1980. Cependant, les bouleversements qu’ont connus depuis lors tant le contexte pédagogique universitaire que les conditions d’exercice du métier de traducteur rendent indispensable un renouvellement des pratiques. 1. La nécessité de prendre en compte la situation actuelle Les moments de l’évaluation cristallisent les tensions grandissantes liées au bouleversement du contexte de l’enseignement universitaire de la traduction : augmentation du nombre d’étudiants dans les cours, alourdissement de la charge de travail des enseignants, contraintes financières grevant les budgets alloués à l’aide à la correction, modification des modalités pratiques d’évaluation (tenue des examens en laboratoire) sous la pression des étudiants, etc. Autant les aspects psychologiques de l’évaluation n’ont été que très rarement abordés en traductologie, autant il nous apparaît essentiel de tenir compte des réalités matérielles vécues par les enseignants et de leurs dispositions mentales. Ainsi, plus du tiers de ceux que nous avons interrogés déclarent vivre l’évaluation comme une source de stress, tandis que d’autres mettent en avant la difficulté de disposer de laboratoires pour les examens. Si la problématique technique et financière de ce dernier obstacle tend à s’amenuiser au fur et à mesure du développement inversement proportionnel des capacités des ordinateurs et de leur coût, une formation des enseignants aux pratiques et aux modalités modernes d’évaluation nous semble indispensable pour réduire le stress constaté et renforcer la perception positive que les formateurs ont du processus d’évaluation pédagogique. 293 La communication sur le sujet de l’évaluation, pour l’instant virtuellement absente des échanges entre les enseignants, constitue le second impératif préalable à la mise en œuvre d’une nouvelle approche évaluative. Même si une cohérence intradépartementale en la matière ne relève ni d’un souhait émis par les étudiants ni d’une nécessité pédagogique, il n’en demeure pas moins qu’une réflexion commune et une confrontation des points de vue ne pourraient avoir que des effets bénéfiques sur les pratiques individuelles. Briser le tabou qui entoure encore trop souvent la question de l’évaluation contribuerait de plus à réduire le stress vécu par les enseignants. 2. Les facteurs clés de succès en évaluation didactique de la traduction La relative autarcie des pratiques pédagogiques constatée par Echeverri (2008) dans l’enseignement de la traduction se reflète dans les modalités d’évaluation qui y ont cours. Les unes comme les autres ne sont encore dans certains cas que peu différentes de celles qui prévalaient dans la première moitié du 20e siècle. Un changement de paradigme s’impose donc, notamment à travers la prise en compte des avancées réalisées en sciences de l’éducation, qui n’ont pas encore trouvé un écho très large chez les « pédagotrads » (Vinay, cité par Brunette, 2008 : 136). Ces facteurs clés de succès sont résumés ici. 2.1. L’adaptation des modalités d’évaluation Il ressort de l’étude menée auprès des enseignants que l’évaluation se pratique encore de façon presque monolithique, indépendamment de l’avancement des étudiants dans le cursus, même si cette approche a été critiquée par Gile (2004) et Collombat (2009). En 2014, les étudiants canadiens au baccalauréat en traduction sont, sauf exception, évalués sur un produit fini dès le début de leur formation. Ces pratiques, que nous n’hésitons pas à qualifier d’antipédagogiques, sont largement susceptibles de placer les étudiants dans une situation d’échec et de perte de confiance bien éloignée du « doute méthodique » prôné par Delisle (2013 : 87). Ce sentiment d’insécurité se traduit inévitablement par un stress négatif ressenti par plus de la moitié des étudiants, auquel fait écho celui que subissent plus d’un tiers des enseignants. 294 Dans ces conditions, la flexibilité tant fonctionnelle que temporelle des modalités d’évaluation apparaît comme un élément fondamental de l’approche évaluative que nous proposons. Il nous semble illogique de soumettre à un traitement évaluatif semblable des finissants inscrits à un cours de traduction spécialisée et des débutants qui ne maîtrisent encore que partiellement la méthodologie de la traduction, puisque les objectifs visés dans chaque cas diffèrent significativement. 2.2. La mise en œuvre d’une approche constructiviste réfléchie Selon Kiraly (2000), l’approche constructiviste, qui prône le recours à l’évaluation formative, est particulièrement adaptée à la formation des traducteurs en raison de la diversité et de la complexité des compétences requises pour l’exercice de ce métier. La flexibilité offerte par l’évaluation formative telle que l’a décrite Scallon correspond par ailleurs bien à la diversité socio-professionnelle des étudiants en traduction. Puisque pour Scallon, « une démarche didactique ayant un ou des objectifs précis fournit probablement le cadre le plus approprié » (2000 : 16) à l’évaluation formative, l’enseignement de la traduction, qui vise à préparer des professionnels capables d’être rapidement opérationnels sur le marché du travail, s’inscrit donc parfaitement dans cette logique. Le caractère foncièrement professionnalisant de cette formation nous paraît difficilement compatible avec une approche idéologique qui nous pousserait à adopter sans réserve tous les principes et modalités du courant constructiviste. À notre avis, le pragmatisme doit rester aux commandes lors de l’élaboration d’une approche d’évaluation pédagogique de la traduction. Ce pragmatisme doit notamment se traduire par un nécessaire équilibre entre les aspects formatif et sommatif de l’évaluation. En effet, les entrevues d’embauche des futurs diplômés sont, d’après notre étude, toujours doublées d’un test en conditions réelles (la traduction d’un texte) qui permet à l’employeur de se faire une idée précise des capacités d’un candidat. La position idéologique qui consiste à opposer irrévocablement évaluation sommative et évaluation formative doit donc absolument être tenue à distance. 295 2.3. L’importance de l’auto-évaluation Selon une étude menée en 200876 par l’Ordre des traducteurs, terminologues et interprètes agréés du Québec (OTTIAQ), près de 62 % des traducteurs en activité au Québec exercent de façon autonome. L’auto-évaluation s’harmonise donc parfaitement à cette caractéristique de la profession de traducteur, puisque la révision (qui est une forme d’auto-évaluation) de leurs travaux avant l’envoi aux clients constitue une étape capitale du travail des traducteurs autonomes. Dans le cadre universitaire, cette modalité d’évaluation devrait à notre avis être mise en œuvre dès le début de la formation. 2.4. L’importance de la rétroaction D’un point de vue tant théorique que pratique, la rétroaction apparaît comme l’élément central de la réussite de toute méthode d’évaluation didactique en traduction. Par ailleurs, la rareté (voire parfois l’absence) ou l’incompréhensibilité de la rétroaction qui leur est donnée constituent les principales critiques des étudiants vis-à-vis des procédures d’évaluation. Si la formation des enseignants aux enjeux et aux modalités de l’évaluation évoquée précédemment pourrait participer à la résolution des problèmes de fond, le simple emploi de technologies langagières de base, comme le traitement de texte ou un logiciel d’enregistrement vocal, éradiquerait à coup sûr les obstacles liés à la forme de la rétroaction. Par ailleurs, notre étude a mis en évidence que le recours à ce dernier support permet la mise en œuvre d’une rétroaction bien plus efficace que son équivalent scriptural, tant pour ce qui est de la quantité que de la clarté et de la précision des explications fournies à l’étudiant. 2.5. La prise en compte des conditions réelles d’exercice de la profession La volonté de placer les étudiants dans un contexte d’enseignement qui se rapproche des conditions réelles d’exercice n’est pas une nouveauté, puisque Kiraly (2000) et Kelly (2005) préconisaient déjà l’utilisation didactique de textes réels et non modifiés. Si, selon Hutchins (2014 : 5), « The earlier antagonism of professional translators [against machine Source : « Sondage 2008 sur la tarification et les salaires », consulté le 3 octobre 2014 à l’adresse http://ottiaq.org/gestion/upload/publications/fichier_8.pdf. 76 296 translation] appears to be much reduced », la prise en compte, dans les cours universitaires de traduction, d’un autre aspect des conditions réelles d’exercice de la profession, en l’occurrence l’utilisation d’outils de traduction assistée par ordinateur, n’est pas encore à l’ordre du jour (Gardy, n. d.). En effet, si toutes les universités étudiées rendent obligatoires un ou plusieurs cours portants sur les outils informatiques du traducteur, ces derniers ne sont actuellement mis en œuvre dans aucun cours de transfert linguistique. Parmi les traductologues, rares sont les voix (Bowker, 2000, Bowker et Marshman, 2009) qui s’élèvent pour réclamer une telle intégration de la technologie dans l’enseignement. Ces outils sont a fortiori totalement absents des processus d’évaluation. Il n’est pas dans notre présent objet de lancer le débat – légitime – quant au rôle et à la position de l’université visà-vis de l’utilisation de logiciels commerciaux de traduction assistée par ordinateur, mais force est de constater que puisque plus de la moitié des traducteurs au Québec exercent de façon autonome, nous ne pourrons faire plus longtemps l’économie d’une réflexion poussée sur l’intégration de ces outils dans les processus d’enseignement et d’évaluation. 2.6. La mise en œuvre d’outils technopédagogiques dans le processus d’évaluation Différents outils technopédagogiques sont susceptibles de faciliter, voire d’améliorer, le processus d’évaluation didactique, aussi bien pour les apprenants que les enseignants. Ainsi, il ressort de notre étude que la quantité et la compréhensibilité de la rétroaction constituent aux yeux des étudiants les éléments clés du processus d’évaluation, pour lesquels l’emploi de solutions numériques telles que la fonction Commentaire de Word représente une avenue intéressante, surtout si elle est utilisée conjointement à la rétroaction vidéo, dont les bénéfices concrets sur l’apprentissage ont été mis en évidence au chapitre précédent. Nous avons notamment constaté que la perception de l’évaluation en tant qu’outil d’apprentissage au sein du groupe test s’est nettement améliorée, jusqu’à atteindre les 100 % d’opinions favorables. Cette évolution et son corollaire – la baisse du sentiment d’arbitraire souvent ressenti par les apprenants – constitue à nos yeux un apport fondamental lié à l’utilisation de la RV. Au même titre, la confiance que les étudiants du groupe test accordent à la RV en tant qu’outil susceptible de les aider à éviter la récidive de leurs erreurs est plus de quatre fois supérieure à celle manifestée par l’ensemble des étudiants en présentiel interrogés. Au-delà des résultats chiffrés obtenus lors de notre étude 297 de la RV, qui ont mis en évidence une amélioration sensible des performances des étudiants du groupe test, la modification de leur perception du processus d’évaluation en tant qu’outil d’apprentissage illustre de façon éloquente l’intérêt du recours à cette forme d’OTP. Quant aux enseignants, la diminution du budget des universités et un de ses corollaires, l’augmentation de la taille des groupes, rend primordial le ratio qualité/temps en matière d’évaluation. Ainsi, l’administration en ligne de certains examens, sur les plateformes d’apprentissage dont disposent désormais la grande majorité des universités, permet un gain de temps considérable lors de la correction, qui peut être automatisée (dans le cas de questions à choix de réponse ou à réponse très courte) ou semi-automatisée (questions à développement court). Par ailleurs, la dématérialisation du processus d’évaluation, outre le fait qu’elle réponde aux attentes des apprenants, permet également d’éviter les fastidieuses manipulations de copies papier. Le développement de l’usage des outils technopédagogiques, s’il apparaît inéluctable, ne pourra cependant se faire sans la participation active des enseignants, puisque, de même que les mémoires de traduction ne sont qu’un outil au service du traducteur, les OTP ne peuvent que soutenir la volonté pédagogique et non s’y substituer. À cet égard, la formation des enseignants, la médiatisation des pratiques exemplaires et la mise en œuvre d’une communauté de pratique constituent des facteurs clés de succès du développement réussi de la technopédagogie dans l’enseignement de la traduction. 3. Proposition de méthode d’évaluation : cadre d’un cours de première année Conformément à notre position maintes fois répétée, nous n’opérons pas de distinction entre les aspects sommatif et formatif de l’évaluation. Comme nous visons à répondre à la fois aux préoccupations des enseignants et des étudiants en matière d’évaluation, mais aussi aux exigences de certification de l’administration universitaire, les éléments des méthodes d’évaluation proposées ci-après comportent tous des aspects formatifs aussi bien que sommatifs. Les cours de méthodologie de la traduction font partie intégrante des cursus proposés par toutes les universités qui offrent au Canada des programmes de baccalauréat en traduction 298 de l’anglais vers le français. Ces cours obligatoires, dispensés au cours de la première année d’études, visent à permettre à l’étudiant d’acquérir les connaissances nécessaires à une pratique méthodique de la discipline. Le tableau 114 présente un résumé des modalités d’évaluation sommative qui pourraient être mises en œuvre au sein d’un premier cours de méthodologie. Tableau 114 – Récapitulatif des évaluations sommatives dans un cours de méthodologie de la traduction 3.1. L’analyse réflexive La démarche d’évaluation proposée s’inscrit doublement dans la durée. En effet, il est tout d’abord demandé aux étudiants de produire dès le début de la session une analyse réflexive portant sur leurs conceptions préalables du métier de traducteur abordé sous un angle pragmatique : comment procéderiez-vous si un client vous confiait aujourd’hui un texte à traduire? La simplicité apparente de cette question pousse les étudiants – presque toujours pour la première fois – à s’interroger sur les étapes concrètes du processus de traduction. Il leur est ensuite demandé de produire en toute fin de session une seconde analyse réflexive dans laquelle ils doivent mettre en perspective l’évolution de leurs conceptions préalables, réfléchir sur les compétences qu’ils ont pu développer en trois mois et analyser les points faibles de leur approche méthodologique sur lesquels ils devront travailler. Cet exercice s’inscrit dans une démarche d’auto-évaluation et de métacognition et vise à favoriser la prise de conscience chez les étudiants de la nécessité d’une démarche rigoureuse dans l’exercice d’une activité souvent considérée a priori comme intuitive. 299 Les modalités sommatives de cette activité peuvent sembler délicates à mettre en œuvre : sur quels critères peut-on juger de la profondeur ou de la qualité d’une réflexion personnelle illustrant un cheminement? Le risque d’impressionnisme dénoncé par Martínez Melis (2001 : 110) étant réel, nous avons choisi de ne fonder l’aspect sommatif que sur la qualité de la langue. En effet, nous avons constaté à l’usage que les étudiants mettent le plus grand sérieux dans la réalisation de cette activité, même s’ils ne sont notés que sur la forme. Par ailleurs, en corollaire de la position de Collombat (2009 : 41), pour qui « les étudiants prennent plus aisément conscience de leurs erreurs lorsqu’elles sont corrigées et sanctionnées par une note », nous sommes d’avis que même si notre évaluation ne porte que sur les aspects formels de leur réflexion, elle encourage cependant les étudiants à s’investir dans leur travail et à produire une réflexion aboutie. La qualité de la langue est évaluée selon les critères afférents qui figurent dans la typologie des erreurs en vigueur au sein du département. Par ailleurs, des consignes de longueur (ou de concision dans certains cas) sont données aux étudiants, l’analyse finale devant en toute logique être plus étoffée que la première. Une critique théorique évidente pourrait être émise à l’encontre de cet exercice : il suffirait à l’étudiant de coucher sur le papier de vagues considérations pour bénéficier d’une bonne note sans trop d’efforts. Cependant, outre qu’elle est contredite par l’expérience, cette remarque ne tient pas compte de deux aspects, l’un psychologique et l’autre, plus fondamental, portant sur un élément essentiel de la démarche constructiviste. D’une part, il est rare qu’un travail bâclé sur le fond ait bénéficié d’une attention soutenue sur la forme (la réciproque est également vraie), et puisque nous n’avons pas fixé de limite au nombre de points potentiellement perdus sur des critères strictement linguistiques, l’indolence ne rimera pas souvent avec une note satisfaisante. D’autre part, dans une perspective constructiviste, les apprenants doivent se montrer autonomes et s’engager dans leurs apprentissages, ce qui constitue précisément l’objectif de cet exercice. Si, selon Bruner (cité par Kozanitis, 2005 : 13), « apprendre, c’est construire du sens », l’analyse réflexive constitue à notre avis un outil essentiel, notamment en début de parcours. 300 3.2. Le travail long Le travail long, comme l’analyse réflexive, s’inscrit dans la durée, puisqu’il comporte trois étapes étalées sur presque deux mois. 3.2.1. Première étape du travail long Lors de la première étape, il est demandé aux étudiants de procéder au repérage des difficultés d’un texte et de présenter les sources terminologiques et documentaires auxquelles ils envisagent a priori de se référer. À ce stade de leur formation, il ne peut bien sûr être attendu des apprenants qu’ils maîtrisent parfaitement le métalangage de la traduction, mais ils sont encouragés à utiliser, dans la mesure de leurs connaissances, des éléments du glossaire de La traduction raisonnée (Delisle, 2013 : 641-694). L’intérêt théorique de cette démarche leur a été bien sûr préalablement présenté et plusieurs ateliers ont été consacrés au repérage des difficultés avant la date de remise de ce premier travail. L’objectif de cette étape est de leur apprendre progressivement à « lire un texte avec les yeux d’un traducteur » (Delisle, 2013 : 93) et à adopter une approche méthodique. Leurs travaux sont évalués sur la base des critères suivants, qui entrent à parts égales dans le calcul de la note attribuée : nombre et pertinence des difficultés relevées, pertinence du raisonnement, adéquation des sources terminologiques ou documentaires, et qualité de la langue. Pour ce qui est du premier critère, par nature variable selon les apprenants, l’enseignant établit préalablement une liste des principales difficultés du texte. Si ce nombre s’élève à 20, il demande aux étudiants de relever au moins 14 d’entre elles en limitant leur recensement à 20, de façon à les obliger à faire preuve de discernement dans la hiérarchisation des risques potentiels présentés par le texte. La note maximale pour ce critère leur est alors accordée, une dégressivité intervenant en fonction du pourcentage d’identification des difficultés majeures (figure 37). 301 Figure 37 – Exemple de barème utilisé pour la première étape du travail long La rétroaction, tant individuelle sur les copies que collective en classe, joue un rôle essentiel, puisqu’elle permet à l’enseignant de communiquer aux étudiants, dès le début de leur apprentissage, des informations et des conseils pertinents quant à l’approche méthodologique qu’ils ont mise en œuvre. Contrairement à l’approche produit très majoritairement utilisée à l’heure actuelle en début de formation, l’enseignant peut ainsi clairement identifier les faiblesses méthodologiques et proposer à l’étudiant une remédiation susceptible d’aider celui-ci à acquérir de saines habitudes sur lesquelles il pourra fonder le développement de ses compétences. En ce sens, cette étape permet également la mise en œuvre d’une évaluation diagnostique qui permettra le cas échéant à l’enseignant d’ajuster le rythme de son enseignement. 3.2.2. Deuxième étape du travail long La deuxième étape du travail consiste, pour dix difficultés différentes et significatives figurant parmi celles relevées lors de l’étape précédente, à mener les recherches terminologiques ou documentaires nécessaires à leur résolution. Pour chacune d’entre elles, l’étudiant doit exposer son raisonnement et indiquer ses sources (par un lien cliquable le cas échéant). Les critères d’évaluation, de pondération égale dans la note totale, sont alors les suivants : qualité du raisonnement, pertinence des sources et qualité de la langue. 3.2.3. Troisième étape du travail long Cette troisième et dernière étape du travail long consiste d'une part à traduire le texte, et d'autre part à rédiger une analyse réflexive portant sur les différences entre les difficultés recensées lors de la première étape et celles que les étudiants ont dû réellement résoudre 302 lors de la traduction. La rétroaction apportée au cours des étapes précédentes doit permettre aux étudiants de produire une traduction de qualité. L’objectif est de leur faire prendre conscience de l’utilité du processus suivi, mais aussi de l’écart – logique – qui existe entre les difficultés recensées a priori et celles qu’ils ont réellement rencontrées, ce qui illustre l’impossibilité d’une approche mécaniste de la traduction. En résumé, ce travail long, dont les étapes couvrent les deux tiers de la session, permet à l’étudiant de consolider progressivement ses acquis et à l’enseignant de s’assurer de l’assimilation des fondements méthodologiques du processus de la traduction. L’évaluation des travaux se fait à partir de critères principalement positifs, ce qui contraste avec l’aspect « sanction » associé à l’approche produit généralement mise en œuvre en début de formation. Ce processus est donc susceptible de conforter les étudiants dans leur vision positive (voir page 154) du rôle de l’évaluation dans le développement de leurs compétences. 3.3. 3.3.1. Les examens L’examen de mi-parcours L’examen de mi-parcours comprend deux épreuves, l’une théorique et l’autre pratique, et se déroule en laboratoire. La première partie porte sur l’assimilation des éléments théoriques présentés aux étudiants durant les cours, notamment la maîtrise du métalangage de la traduction. Elle se présente sous la forme d’un questionnaire administré sur la plateforme d’enseignement, pour lequel les modalités de réponse peuvent varier : questions à choix multiple, à réponse courte, à association, à mise en ordre, etc. Un exemple de questionnaire figure à l’annexe 7. Cette partie théorique, pour laquelle les étudiants n’ont droit à aucun document, peut être corrigée très rapidement, voire de façon automatique pour certaines questions. L’utilisation de cet OTP, s’il requiert une préparation rigoureuse des questions sur le plan informatique, permet donc un gain de temps considérable lors de la correction. La rétroaction de l’examen est fournie automatiquement à l’étudiant dès la validation des notes par l’enseignant. 303 La seconde partie de l’examen consiste en différents exercices présentés sous la forme d’un fichier Word. Il peut s’agir d’un repérage de difficultés, de recherches terminologiques ou documentaires, ou de la traduction de courtes phrases qui illustrent des éléments théoriques abordés au cours de la session. Les étudiants ont alors accès à tous les outils manuels ou informatiques de leur choix, à l’exception des moyens de communication de toute nature. 3.3.2. L'examen final La structure de l’examen final peut être semblable à celle de l’examen de mi-parcours. Dans la partie théorique peuvent alors être abordés les éléments enseignés au cours de la seconde partie de la session. Cet examen pourrait également accorder une part plus importante à la traduction d’un texte en fonction des progrès réalisés par le groupe au cours de la session. Cette flexibilité de l’approche d’évaluation pourrait même à notre avis se traduire par le choix offert aux étudiants de se limiter à des exercices d’application des éléments théoriques appris au cours des mois précédents, ou alors de prendre le risque, pour les plus avancés ou les plus téméraires, d’être évalués sur la traduction d’un texte pour laquelle des commentaires portant sur leurs choix et les ressources utilisées seraient néanmoins requis. En résumé, l’approche produit doit à notre avis être proscrite lors d’un premier cours de méthodologie de la traduction. Seule l’approche processus est susceptible de permettre à l’enseignant de pouvoir s’assurer de l’assimilation par l’étudiant d’une méthode de travail rigoureuse sur laquelle celui-ci pourra fonder le développement de ses compétences. Par ailleurs, cette approche rend possible l’utilisation des fonctionnalités d’évaluation des plateformes d’enseignement, ce qui permet d’alléger la charge de travail de l’enseignant. La rétroaction jouant un rôle crucial au début de la formation des futurs traducteurs, nous recommandons vivement l’utilisation de commentaires numériques, qui seuls permettent de fournir aux étudiants une rétroaction étoffée dans un temps limité. 304 4. Proposition de méthode d’évaluation : cadre d’un cours de traduction spécialisée Les cours de traduction spécialisée, généralement suivis par des étudiants de deuxième ou de troisième année, portent sur des domaines variés. Sur la liste des cours offerts par les universités figurent notamment la traduction juridique, la traduction médicale et pharmaceutique ou biomédicale, la traduction technique, la traduction économique et financière, la traduction commerciale, la traduction scientifique ou encore la traduction administrative. Les principaux objectifs visés sont les suivants : - permettre à l’étudiant d’acquérir des connaissances de base dans un domaine précis, - l’initier à la terminologie et aux caractéristiques phraséologiques spécifiques au domaine, - développer sa capacité à se documenter rapidement et efficacement, - développer ses aptitudes à traduire les textes d’un domaine de spécialité donné en utilisant de façon appropriée ses nouvelles connaissances. L’approche orientée produit, qui nous apparaît inadaptée dans le cadre d’un cours de méthodologie de la traduction, nous semble en revanche devoir être utilisée dans un cours de traduction spécialisée, puisque certains étudiants ne sont plus qu’à quelques mois de leur entrée sur le marché du travail. Le tableau 115 présente un résumé des modalités d’évaluation sommative qui pourraient alors être mises en œuvre. Tableau 115 – Récapitulatif des évaluations sommatives dans un cours de traduction spécialisée 305 4.1. Le premier devoir : une analyse comparée Cet exercice s’inscrit dans la poursuite des deuxième et troisième objectifs cités précédemment. Selon Mareschal (1988 : 259), un cours de traduction spécialisée doit viser « un double objectif, notionnel et linguistique », puisque face un texte spécialisé, un étudiant se trouve en général au début de la session « dans une situation d’incompétence ». Pour ce premier travail, il est donc demandé à l’étudiant de procéder à une analyse comparée d’un texte bilingue afin d’en faire ressortir les caractéristiques terminologiques et phraséologiques, ainsi que de procéder à l’identification des sources documentaires ou terminologiques pertinentes qui auraient pu être utilisées en vue de la traduction. Ce bitexte devra bien sûr avoir été soigneusement choisi par l’enseignant pour son caractère représentatif de la langue de spécialité étudiée. Les modalités pratiques d’évaluation des travaux pourront être fondées, dans des proportions déterminées par l’enseignant, sur la capacité de l’étudiant à identifier les traits caractéristiques de la langue de spécialité, à mener à bien des recherches documentaires et terminologiques pertinentes et efficaces, et à présenter les fruits de sa réflexion dans une langue soignée. 4.2. 4.2.1. Les autres travaux à la maison Un exercice de métacognition : retour sur le premier examen Pour le deuxième travail à la maison, qui intervient chronologiquement juste après la remise des copies du premier examen, l’étudiant doit, sur la base des informations inscrites sur sa copie par l’enseignant, procéder à l’amélioration de sa production réalisée en temps limité. Il s’agit donc ici d’un acte d’auto-évaluation dans lequel l’étudiant doit mettre en œuvre des processus métacognitifs dont les enseignements lui permettront de prendre conscience des facteurs techniques (méthodologie de recherche documentaire, par exemple) et psychologiques (comme la gestion du temps ou du stress) qui peuvent obérer sa capacité à exceller lors d’un examen, et l’inciter à apporter des améliorations à sa méthode de travail. Il peut lui être également demandé d’évaluer, à l’aide des fonctions de révision et des filtres statistiques du logiciel Antidote (Gardy, n. d.), les caractéristiques stylistiques et phraséologiques de son travail au regard de celles qui sont généralement observées dans le 306 domaine étudié. Outre l’amélioration de sa copie, l’étudiant doit également rédiger une brève analyse des raisons qui, à son avis, ont été à l’origine des erreurs commises pendant l’examen, ainsi que détailler les actions qu’il compte mettre en œuvre pour éviter qu’elles ne se reproduisent. Pour l’évaluation de ce travail, l’enseignant tient compte de la progression de l’étudiant au regard de l’évolution, entre les deux versions, du nombre d’erreurs de traduction et de fautes de langue. Chacun de ces critères compte pour 40 % de la note finale. Un étudiant ayant commis quatre erreurs de traduction et dix fautes de langue lors de l’examen obtiendra donc la note maximale pour chaque critère s’il les corrige toutes, mais seulement 62 sur 80 s’il omet de rectifier une erreur de traduction et deux fautes de langue. Les 20 % complémentaires sont attribués pour la qualité, tant sur le fond que sur la forme, de l’analyse rétrospective rédigée par l’étudiant. 4.2.2. Le troisième devoir : une préparation à l’examen final Le troisième devoir, véritable préparation à l’examen final, consiste en la traduction d’un texte d’une difficulté moyenne comptant de 300 (pour les étudiants de deuxième année77) à 350 mots (pour les finissants), que les étudiants sont encouragés à réaliser en deux heures dans le but de se rapprocher le plus possible des conditions de passation d’un examen. La productivité attendue des étudiants, soit respectivement 150 et 175 mots par heure, se situe dans la fourchette haute des pratiques actuellement en vigueur au Canada (voir tableau 25 page 116), ce qui à notre avis se justifie par le fait que les gains de productivité liés à l’utilisation des outils d’aide à la traduction n’ont été pour l’instant que très partiellement pris en compte dans les pratiques évaluatives. Pour ce qui est des modalités concrètes d’évaluation, nous adoptons la pratique exemplaire exposée à la page 113, dans laquelle trois critères sont évalués dans une proportion égale : l’exactitude du sens, la qualité de la langue et le style. Les deux premiers critères relèvent d’une analyse des erreurs, et le troisième d’une approche holistique. Outre le fait que Waddington (2000) a mis en évidence (voir page 96) la supériorité d’une telle approche combinée, rappelons que cette méthode présente à notre avis un double intérêt didactique : d’un côté, elle permet que l’étudiant ne soit pas pénalisé outre mesure pour un critère 77 Ou de troisième année pour les universités qui offrent un programme étalé sur quatre ans. 307 particulier, et de l’autre, elle offre tant à l’enseignant qu’à l’apprenant une lecture directe des points forts et des faiblesses de ce dernier. 4.3. 4.3.1. Les examens L’examen de mi-parcours L’examen de mi-parcours consiste en la traduction argumentée d’un texte et vise, comme le premier travail à la maison, à vérifier l’atteinte des deuxième et troisième objectifs du cours : la connaissance de la terminologie et de la phraséologie du domaine, ainsi que la capacité de l’étudiant à se documenter efficacement dans un domaine de spécialité. Le texte retenu pour l’examen doit donc être soigneusement choisi en fonction de ces critères. Il ne doit pas présenter de difficultés sémantiques majeures et sa thématique doit être proche de celle abordée lors du premier devoir. Les travaux des étudiants sont évalués selon trois critères : la pertinence des recherches terminologiques et documentaires menées par l’étudiant, l’adéquation de la phraséologie au regard des caractéristiques recensées lors du premier devoir et la qualité de la langue. Pour sa correction, l’enseignant peut s’appuyer sur les commentaires rédigés par l’étudiant quant à sa démarche et à ses choix traductifs. Il ne nous semble pas judicieux, à ce stade de la session, de faire porter l’évaluation sur un produit fini, même s’il est nécessaire que l’enseignant signale les erreurs qu’il aura recensées. La qualité de la traduction peut cependant donner lieu à l’attribution de points bonus pour souligner telle ou telle trouvaille. 4.3.2. L’examen final L’examen final comprend deux volets, l’un théorique et l’autre pratique. Le premier vise à évaluer l’assimilation des connaissances notionnelles et des caractéristiques (notamment terminologiques et phraséologiques) spécifiques au domaine étudié, ce qui correspond à l’atteinte des deux premiers objectifs du cours, tandis que le second doit permettre de vérifier l’atteinte des troisième et quatrième, qui touchent la capacité de l’étudiant à traduire un texte d’un domaine de spécialité en utilisant de façon efficace et appropriée les connaissances acquises au cours de la session. 308 Nous recommandons l’usage d’un questionnaire en ligne administré en laboratoire pour la passation de la partie théorique de l’examen. En effet, cette modalité présente nombre d’avantages : d’une part, il est facile à l’enseignant, grâce aux outils de contrôle dont sont équipés les laboratoires, de s’assurer que les étudiants respectent bien les consignes données, ce qui valide la valeur certificatrice de l’épreuve. D’autre part, la correction peut être automatisée aussi bien pour des questions à choix multiples (voir figure 38) que pour des questions à réponse courte (voir figure 39), ce qui procure à l’enseignant un gain de temps appréciable. Enfin, cet outil permet une rétroaction lisible et détaillée (voir figure 38), ce qui correspond, comme nous l’avons vu au chapitre IV, à l’une des principales attentes des étudiants en matière d’évaluation. Figure 38 – Exemple de question à choix multiples lors d’un examen théorique administré en laboratoire 309 Figure 39 – Exemple de correction automatique d'une question à réponse courte Pour le volet pratique de l’examen, point d’orgue du cours, puisque la capacité de l’étudiant à traduire un texte du domaine étudié en constitue la finalité, il nous apparaît que, comme pour le troisième devoir, l’approche produit s’impose. Les critères de sélection du texte à traduire peuvent être identiques à ceux qui ont présidé au choix du sujet de l’examen de miparcours, auxquels s’ajoutent les attentes de productivité évoquées pour le troisième devoir : 150 mots par heure pour les étudiants de deuxième année et 175 mots par heure pour les finissants. Quant aux critères d’évaluation, ils sont identiques à ceux qui ont été utilisés à l’occasion du troisième devoir. 4.4. L’activité en équipe L’intérêt des activités en équipe intégrées à l’enseignement de la traduction dans une perspective constructiviste a été mis en évidence par Kiraly (2000 : 36-37) et Kelly (2005 : 102-105). Selon cette dernière, de telles activités permettent d’améliorer l’efficacité de l’enseignement et la mise en œuvre de compétences interpersonnelles prisées par les employeurs. Par ailleurs, selon Kelly (2005 : 102), « small groups prove to be more conducive than large-group activity to the development of high-level cognitive skills such as problem-solving, reasoning or justifying proposals and decisions. » Elle prône (2005 : 103) que les équipes soient constituées de quatre étudiants pour assurer une bonne dynamique de groupe. Kiraly (2000 : 108) était précédemment arrivé à la même conclusion à la suite de tests menés en classe. 310 Les activités réalisées en équipe peuvent être de différentes natures. Dans un cours de traduction commerciale, elles pourront par exemple porter sur l’adaptation de publicités. Elles peuvent également prendre la forme d’une simulation professionnelle, où chaque membre de l’équipe assure un rôle (chef de projet, traducteur, réviseur, etc.). Cependant, nous n’aborderons ici que les aspects liés à l’évaluation de telles activités. Il apparaît d’emblée que le seul produit fini ne peut tenir lieu de support d’évaluation. En effet, la dynamique de groupe et les différences de niveau d’implication des étudiants dans le travail de groupe ne permettent pas d’envisager qu’un observateur externe – en l’occurrence l'enseignant – puisse attribuer une même note à tous les membres de l’équipe. Cette position est partagée par Kelly (2005 : 144-145). Nous proposons donc que la note attribuée aux étudiants repose à parts égales sur des modalités d’évaluation par les pairs : d’une part, chaque étudiant évalue la contribution au travail commun de chaque membre de son équipe sur la base d’un questionnaire critérié (voir annexe 8) où sont appréciées la participation, la centration sur la tâche, la contribution au bon climat de travail ainsi que les qualités de communication et de négociation de chacun. D’autre part, le produit fini de chaque équipe est évalué par les autres étudiants en fonction de critères habituellement utilisés par l’enseignant pour l’évaluation de travaux. 311 Conclusion Dans cette thèse, nous avons abordé la problématique de l’évaluation en didactique de la traduction sur la base des trois hypothèses de recherche suivantes : 1) les pratiques et modalités d’évaluation en didactique de la traduction n’ont guère évolué au cours des dernières décennies; 2) ces modalités d’évaluation sont principalement fondées sur une approche produit, indépendamment de l’avancement dans le cursus de formation, et elles reposent presque exclusivement sur des traductions, en temps limité (examens) ou non; 3) les outils technopédagogiques, et notamment la rétroaction vidéo, sont susceptibles d’améliorer l’efficacité de l’acte d’évaluation, et donc de renforcer la qualité des apprentissages. Après avoir présenté les grands courants théoriques de l’enseignement et de l’apprentissage, nous avons dressé un état des lieux de la recherche sur l’évaluation en didactique de la traduction. De cette revue de la littérature sont ressorties les caractéristiques suivantes : la prépondérance de l’évaluation sommative et d’une approche axée sur le produit, une certaine autarcie des principes d’évaluation et la nécessité de la poursuite et de l’amplification de la recherche. À l’aide de deux corpus constitués pour le premier d’entretiens menés avec 32 enseignants, et pour le second de questionnaires administrés auprès de 357 étudiants, nous avons ensuite procédé à une étude des pratiques évaluatives actuellement en vigueur au Canada dans l’enseignement de la traduction de l’anglais vers le français. Cette étude apparaît doublement novatrice, puisqu’il s’agit de la première qui porte exclusivement sur le contexte canadien – les études réalisées antérieurement concernaient principalement l’Europe et les données liées au Canada n’y étaient pas explicitées – et que les perceptions des apprenants n’avaient encore jamais été recueillies. Nous avons ainsi pu valider les deux premières de nos hypothèses, à savoir la perpétuation de méthodes d’évaluation datant au mieux de la seconde partie du 20e siècle et un recours très majoritaire à l’approche produit, indépendamment de l’avancement dans le cursus. 313 Les entretiens menés avec les enseignants ont également permis de mettre en évidence les éléments suivants : - tous les enseignants interrogés ont recours à l’analyse des erreurs comme méthode principale d’évaluation des travaux, un tiers d’entre eux la complétant par une approche holistique; - l’intégration des technologies dans les différentes phases du processus d’évaluation (administration des travaux et examens, correction des copies et rétroaction) reste encore balbutiante. Ainsi, l’usage du papier en tant que support de correction reste largement prépondérant dans la quasi-totalité des universités de notre échantillon. Cependant, le virage technologique est bien amorcé, puisque plus de 80 % des jeunes enseignants font passer les examens en laboratoire; - même si l’évaluation représente à la fois une part essentielle de la charge de travail des enseignants et un sujet d’intérêt – 40 % d’entre eux lui confèrent un rôle essentiel – ou de préoccupation, elle ne constitue cependant que très rarement un sujet de communication. Dans la plupart des universités étudiées, il est même possible d’évoquer un statut tabou; - enfin, le thème de l’objectivité ou de la subjectivité n’a été évoqué spontanément par aucun enseignant, alors que cette question a souvent été abordée par les traductologues. Quant aux apprenants, les principaux enseignements issus de l’analyse des réponses au questionnaire sont les suivants : - l’acte d’évaluation jouit auprès des étudiants en traduction d’un a priori favorable au début de leur formation, mais cette perception positive tend à s’estomper au fur et à mesure de leur avancement dans le cursus; - cette évolution apparaît directement imputable à leur perception de la qualité de la rétroaction reçue, sur le plan tant qualitatif que quantitatif. Un lien entre la subjectivité perçue et la lisibilité des annotations peut ainsi être établi; - le stress lié à l’évaluation représente un enjeu particulier dans l’apprentissage de la traduction en raison de l’importante féminisation qui caractérise ce secteur d’activité et d’apprentissage. Ainsi, 57 % des étudiantes de notre échantillon déclarent en ressentir. 314 Pour ce qui est de la validation de la troisième hypothèse – l’étude des apports potentiels de la rétroaction vidéo au processus d’évaluation –, nous avons mis en œuvre une démarche de recherche-action intégrale en cours de laquelle nous avons étudié l’évolution des résultats obtenus par les étudiants d’un groupe test, qui bénéficiaient d’une rétroaction vidéo de leurs travaux, par rapport à ceux obtenus par un groupe témoin dont les copies étaient évaluées de façon traditionnelle. Les perceptions des membres du groupe test vis-à-vis de l’évaluation et des apports de la rétroaction vidéo ont également été analysées préalablement et postérieurement à l’étude. La comparaison de l’évolution des résultats quantitatifs obtenus par les sujets des deux groupes a mis en évidence une amélioration significative chez ceux qui ont bénéficié de la rétroaction vidéo, tandis qu’au nombre des apports qualitatifs mis en avant par les étudiants figurent notamment la création d’un climat de confiance, le sentiment de l’individualisation de l’aide apportée et une compréhension améliorée de la source des erreurs commises, et partant, de la prévention de leur récidive. Il apparaît donc que l’usage raisonné de cet outil est susceptible d’améliorer l’efficacité de l’évaluation. Les éléments tant théoriques que pratiques issus de la revue de la littérature, des études menées auprès des enseignants et des étudiants, ainsi que de la recherche-action décrite précédemment nous ont permis de proposer des modalités concrètes d’évaluation qui visent à répondre à la fois aux préoccupations des enseignants et des étudiants, mais aussi aux exigences de certification de l’administration universitaire, tout en tenant compte autant que possible des conditions réelles d’enseignement auxquelles doivent faire face les enseignants dans un contexte de restrictions budgétaires massives. Compléments et perspectives Même si la perception qu’ont les étudiants du concept d’évaluation a été étudiée au travers du questionnaire, il aurait été souhaitable, avec le recul, d’interroger aussi à ce sujet les participants du groupe témoin afin d’appréhender l’évolution de leur ressenti parallèlement à celui des membres du groupe test. Par ailleurs, si cela avait été possible sur un plan organisationnel et budgétaire, il aurait été préférable qu’il n’y ait qu’un seul et unique 315 enseignant pour les trois sections du cours ayant servi de cadre à la recherche-action, de façon à minimiser encore davantage les risques de biais. Cependant, cela ne remet à notre avis pas en cause la fiabilité et la pertinence des résultats obtenus. Nous conclurons cette thèse en nous éloignant quelque peu de notre objet d’étude et en insistant sur un aspect qui nous apparaît fondamental : la communication entre les enseignants. En effet, il ressort de nos échanges avec eux une attente, voire un besoin réel, sur ce plan pour ce qui a trait à l’évaluation. Nombre d'entre eux ressentent le besoin d’améliorer leur méthodologie, mais ne disposent pas des outils ou de la formation nécessaires pour ce faire. Nous ne pouvons qu’appeler de nos vœux le développement de la petite communauté de praticiens qui s’est de facto créée à l’occasion de cette recherche doctorale et qui constitue déjà un terreau prometteur pour l’avenir des pratiques en évaluation didactique de la traduction. Par ailleurs, puisque l’évaluation fait partie intégrante des processus d’enseignement et d’apprentissage, toute tentative de refonte des modalités d’évaluation ne pourra donc se faire indépendamment d’une réflexion menée sur les approches pédagogiques. À cet égard, il apparaît bien que la communication entre les enseignants constitue un facteur clé de succès, voire même le premier d’entre eux. En effet, nous partageons pleinement l’idée de Kelly (2005 : 58) selon laquelle there is no doubt that training in a complex activity such as translation must necessarily adopt a networked approach to course design, and that compartmentalization in hermetic course units should be avoided as far as possible. This implies a strong need for coordination and team work, preventing the sensation many students have today that there is no relation between different course units. L’innovation en matière d’approche pédagogique, incarnée en traduction par Kiraly (2000), a été depuis prônée par Kelly (2005) et Echeverri (2008). Il sera nécessaire que d’autres voix s’élèvent pour réclamer une évolution des pratiques didactiques et la prise en compte des modifications profondes qu’a connues le métier de traducteur au cours des dernières décennies. Dans cette optique, nous considérons que l’intégration progressive et réfléchie des outils d’aide à la traduction et de moyens technopédagogiques au cœur des pratiques d’enseignement peut contribuer à cette nécessaire évolution, et même la faciliter. 316 Bibliographie Adab, B. (1998). Évaluer les traductions en fonction de la finalité des textes. Dans J. Delisle (dir.), Enseignement de la traduction et traduction dans l’enseignement (127-134). Ottawa : Presses de l’Université d'Ottawa. Albero, B. (2011). Le couplage entre pédagogie et technologies à l’université : cultures d’action et paradigmes de recherche. Revue internationale des technologies en pédagogie universitaire, 8 (1-2), 11-21. Albero, B. et Charignon, P. (2008). e-pédagogie à l’université: moderniser l'enseignement ou enseigner autrement ?78 Paris : Agence de mutualisation des universités et établissements. Allal, L. (1988). Vers un élargissement de la pédagogie de la maîtrise : processus de régulation interactive, rétroactive, proactive. Dans M. Huberman (dir.), Assurer la réussite des apprentissages scolaires ? les propositions de la pédagogie de maîtrise (86-127). Paris : Delachaux et Niestlé. Allignol, C. (2007). Caractérisation des fautes en fin de formation. Expérience pédagogique dans un cours de traduction spécialisée allemand - français. Jostrans, (8), 64-84. Amyot, M., et Hamel, C. (2006). La formation continue des personnels de l’éducation. Québec : Éditions MultiMondes. Arrouart, C. (2003). Les mémoires de traduction et la formation universitaire : quelques pistes de réflexion. Meta, 48 (3), 476-479. American College Health Association. (2013). American College Health AssociationNational College Health Assessment II: Canadian Reference Group Data Report Spring 2013. Hanover, MD. Ardoino, J. (1977). A propos du sens. Pour, (56), 85-86. Astolfi, J.-P. (1997). L’erreur, un outil pour enseigner. Issy les Moulineaux : ESF. ATAMESL. (2014). Rapport de l’enquête sur les conditions de travail et tarifs des langagiers en 2012. Récupéré le 3 juillet 2014 du site de l'ATAMESL : http://www.atamesl.org/images/_atamesl/documents_membres/atameslrapport_enquete_2012.pdf Pour les références francophones européennes, la typographie d’origine (accentuation des majuscules, espaces, etc.) a été conservée telle quelle. 78 317 Audet, L. (2008). Recherche sur les facteurs qui influencent la persévérance et la réussite scolaire en formation à distance. Récupéré le 10/04/2014 du site du REFAD : http://archives.refad.ca/nouveau/recherche_perseverance_FAD/pdf/Perseverance_synt hese_Mars_2008.pdf Audet, L. (2011). Les pratiques et défis de l’évaluation en ligne. Récupéré le 25/11/2011 du site du REFAD : http://dev.refad.ca/evaluation_en_ligne.pdf Ausubel, D. (1960). The use of advance organizers in the learning and retention of meaningful verbal material. Journal of Educational Psychology, 51 (5), 267-272. Bachman, L. F. (1990). Fundamental considerations in language testing. Oxford : Oxford University Press. Baker, M. (1992). In Other Words: A Coursebook on Translation. Londres : Routledge. Baribeau, C. (1996). La rétroaction vidéo et la construction des données. Revue des sciences de l’éducation, 22 (3), 577-598. Barker, J. (1993). Paradigms: The Business of Discovering the Future. New York : Harper Collins. Barthélémy-Descamps, A. (1990). Évaluation formative, diagnostique, sommative et apprentissage. Spirale - Revue de Recherches En Éducation, 4, 5-11. Basque, J. (1999). L’influence du béhaviorisme, du cognitivisme et du constructivisme sur le design pédagogique. Dans Actes du XIIe colloque du Conseil interinstitutionnel pour le progrès de la technologie éducative : Inforoute et technologie éducative à l’aube de l'an 2000 (8-22). Québec : Conseil interinstitutionnel pour le progrès de la technologie éducative. Berchoud, M. (2002). Le journal d’apprentissage : analyse et résultats d’une pratique de formation de futurs enseignants. Recherche et Formation, (39), 143-158. Biggs, J., et Tang, C. (2007). Teaching for quality learning at university: what the student does. Maidenhead : Open University Press. Bissonnette, S., et Richard, M. (2004). Le cognitivisme et ses implications pédagogiques. Dans C. Gauthier et M. Tardif (dir.), La pédagogie : Théories et pratiques de L’Antiquité à nos jours (309-332). Montréal : Gaëtan Morin éditeur. Black, P. et Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education, 5 (1), 7-74. Blanchet, A. (1987). Interviewer. Dans A. Blanchet, R. Ghiglione, J. Massonnat et A. Trognon (dir.), Les techniques d’enquête en sciences sociale (81-126). Paris : Dunod. 318 Bloom, B. S., Hastings, J. T. et Madaus, G. F. (1971). Handbook on formative and summative evaluation of student learning. New-York : McGraw-Hill. Bonniol, J.-J. (1981). L'influence de l'explicitation des critères utilisés sur le fonctionnement des mécanismes d'évaluation d'une production scolaire. Bulletin de psychologie, 35 (353), 173-186. Bonniol, J.-J. (1986). Recherches et formations : pour une théorie de l'évaluation formative. Dans J.-M. De Ketele (dir.), L’évaluation : approche descriptive ou prescriptive ? (119-133). Bruxelles : De Boeck Université. Bonniol, J.-J. et Genthon, M. (1989). L’évaluation et ses critères : les critères de réalisation. Repères, (79), 107-115. Bonniol, J.-J. et Vial, M. (2009). Les modèles de l’évaluation : textes fondateurs avec commentaires. Bruxelles : De Boeck Supérieur. Boud, D., Freeman, M., James, R., Joughin, G., et Sadler, R. (2010). Assessment 2020: Seven propositions for assessment reform in higher education. Sydney : Australian Learning and Teaching Council. Bourdieu, P. (1966). L'école conservatrice. Les inégalités devant l'école et devant la culture. Revue française de sociologie, 7 (3), 325-347. Bowker, L. (2000). A Corpus-Based Approach to Evaluating Student Translations. The Translator, 6 (2), 183-210. Bowker, L. (2008). Official Language Minority Communities, Machine Translation, and Translator Education: Reflections on the Status Quo and Considerations for the Future. TTR, 21 (2), 15-61. Bowker, L. et Marshman, E. (2009). Better integration for better preparation: Bringing terminology and technology more fully into translator training using the CERTT approach. Terminology, 15 (1), 60-87. Brunette, L. (1998). La correction des traductions pédagogiques. Dans J. Delisle (dir.), Enseignement de la traduction et traduction dans l’enseignement (135-140). Ottawa : Presses de l’Université d'Ottawa. Bueno García, A. (2005). L’enseignement de la traduction au carrefour d’une société mondialisée. Meta, 50 (1), 263-276. Byrnes, J. et Fox, N. (1998). The Educational Relevance of Research in Cognitive Neuroscience. Educational Psychology Review, 10 (3), 297-342. 319 Campanale, F. (2001). Quelques éléments fondamentaux sur l'évaluation. Récupéré le 17 septembre 2010 du site de l'Université Pierre-Mendès-France, http://webu2.upmfgrenoble.fr/sciedu/pdessus/sapea/evaluationcampeval.pdf Campbell, S. et Pagé, P. (2012). La neuroscience éducationnelle : enrichir la recherche en éducation par l'ajout de méthodes psychophysiologiques pour mieux comprendre l'apprentissage. Neuroéducation, 1 (1), 115-144. Cardinal, P. et Morin, A. (1993). La modélisation systémique peut-elle se concilier avec la recherche-action intégrale? Éducatechnologies, 1 (2). Consulté en ligne le 12 février 2015 : http://www.sites.fse.ulaval.ca/reveduc/html/vol1/vol1_no2.html Cardinet, J. (1979). L'élargissement de l'évaluation. Education et recherche, 1 (1), 15-34 Cardinet, J. (1986). Les modèles de l'évaluation scolaire. Neuchâtel : IRDP. Cardinet, J. (1987). L'évaluation en classe, mesure ou dialogue ? European Journal of psychology of education, 11 (2), 133-144. Cardinet, J. (1988). Évaluation scolaire et mesure. Paris : Éditions universitaires. Carrol, J. B. (1963). A Model of School Learning. Teachers College Record, 64, 723-733. CEDIT. (n.d.). Définition de la technopédagogie. Page consultée le 23 novembre 2013 sur le site du CEDIT : http://www.cedit.ca/definition-de-la-technopedagogie/ Charlier, B. (2011). Évolution des pratiques numériques en enseignement supérieur et recherches : quelles perspectives ? Revue internationale des technologies en pédagogie universitaire, 8 (1-2), 28-36. Chevallard, Y. (1986). Vers une analyse didactique des faits d'évaluation. Dans J.-M. De Ketele (dir.), L’évaluation : approche descriptive ou prescriptive ? (31-59). Bruxelles : De Boeck Université. Christen-Gueissaz, É. (2006). « Le chemin se fait en marchant ». Postulats et développement de la recherche-action. Dans É. Christen-Gueissaz, G. Corajoud, M. Fontaine et J.-B. Racine (dir.), Recherche-action: processus d’apprentissage et d'innovation sociale (21-39). Paris : L’Harmattan. Christensen Hughes, J. M. et McCabe, D. L. (2006). Academic Misconduct within Higher Education in Canada. Revue canadienne d’enseignement supérieur, 36 (2), 1-21. Cohen, A. et Calvacanti, M. (1990). Feedback on compositions: teacher and student verbal reports. Dans B. Kroll (dir.), Second Language Writing. Research insights for the classroom (155-177). Cambridge : Cambridge University Press. 320 Collombat, I. (2009). La didactique de l’erreur dans l'apprentissage de la traduction. JoSTrans, (12), 37-54. Consiglio, D., Allen, L., Baker, N., Creamer, K., et Wilson, J. (2011). Evaluating IT and Library Services with the MISO Survey. ECAR Research Bulletin, (10), 14. Coppens, F. (2013). Pauvre Émile! Réflexions sur le paradoxe de l’autonomie et sa transmission dans les pédagogies actives. Dans Actes du VIIe colloque Questions de pédagogies dans l'enseignement supérieur. Les innovations pédagogiques en enseignement supérieur : pédagogies actives en enseignement présentiel et à distance (88-95). Cordier, F. et Gaonac'h, D. (2004). Apprentissage et mémoire. Paris : Nathan Université. Crahay, M. (1999). Psychologie de l’éducation. Paris : Presses universitaires de France. Cyr, J. (2015). Technologisation des cours pratiques de traduction : situation actuelle, pratiques exemplaires et perspectives (mémoire de maîtrise non publié). Université d’Ottawa. Dahlstrom, E. (2012). ECAR Study of Undergraduate Students and Information Technology, 2012. Louisville, CO : Educause Center for Applied Research. De Ketele, J.-M. (1986). L’évaluation : approche descriptive ou prescriptive ? Bruxelles : De Boeck Université. De Ketele, J.-M. (1993). L’évaluation conjuguée en paradigmes. Revue française de pédagogie, 103 (1), 59-80. De Ketele, J.-M. et Roegiers, X. (2009). Méthodologie du recueil d’informations: Fondements des méthodes d'observation, de questionnaires, d'interviews et d'études de documents. Bruxelles : De Boeck. De Landsheere, G. (1986). La Recherche en éducation dans le monde. Paris : Presses Universitaires de France. Delisle, J. (1980). L’analyse du discours comme méthode de traduction : initiation à la traduction française de textes pragmatiques anglais. Ottawa : Éditions de l’Université d'Ottawa. Delisle, J. (2001). L’évaluation des traductions par l’historien. Meta, 46 (2), 209-226. Delisle, J. (2003). La traduction raisonnée 2e édition. Ottawa : Presses de l’Université d'Ottawa. 321 Delisle, J. (2013). La traduction raisonnée 3e édition. Ottawa : Presses de l’Université d'Ottawa. Desbiens, J.-F. (2004). Le béhaviorisme et l’approche scientifique de l'enseignement. Dans M. Tardif et C. Gauthier (dir.), La pédagogie : théories et pratiques de l’Antiquité à nos jours (289-308). Montréal : Gaëtan Morin éditeur. Depover, C. (n.d.). Méthodes et outils de recherche en sciences de l’éducation. Département des Sciences et de la Technologie de l’Education. Page consultée le 20 février 2014 : http://ute.umh.ac.be/methodes/ Depover, C., Karsenti, T. et Komis, V. (2007). Enseigner avec les technologies : Favoriser les apprentissages, développer des compétences. Québec : Les presses de l’Université du Québec. Doyon, C. et Juneau, R. (1996). Faire participer l’élève à l'évaluation de ses apprentissages. Montréal : Éditions Beauchemin. Dumoulin, Y. (2012). Les TIC comme moyen de motivation pour favoriser la performance dans l’analyse réflexive et la production d’écrits au cours de didactique. Page consultée le 28 décembre 2014 : http://fr.slideshare.net/yvesdemoulin90 Durieux, C. (2005). L’enseignement de la traduction : enjeux et démarches. Meta, 50 (1), 36-47. Dussart, A. (2005). Faux sens, contresens, non-sens… un faux débat ? Meta, 50 (1), 107119. Echeverri, Á. (2008). Énième plaidoyer pour l’innovation dans les cours pratiques de traduction. Préalables à l’innovation? TTR, 21 (1), 65-98. ECoLoTrain. (2006). Translator Training Survey : Results. Récupéré le 11 mars 2013 à http://134.96.85.107/html/fileadmin/user_upload/projekte/eCoLoTrain/Work_Package s/WP2/eColoTrain-Results_22_Feb.DOC Ellis, R. A. et Goodyear, P. (2010). Students’ Experiences of E-Learning in Higher Education: The Ecology of Sustainable Innovation. Londres : RoutledgeFalmer. Endrizzi, L. (2012). Les technologies numériques dans l’enseignement supérieur, entre défis et opportunités. Dossier d’actualité veille et analyses, 78. Ericsson, K. A. et Simon, H. A. (1984). Protocol Analysis: Verbal Reports as Data. Cambridge, MA : MIT Press. Fan, Z. (1989). Some remarks on the criteria of translation. Babel, 36 (2), 97-110. 322 Fayol, M. (1995). La notion d’erreur : éléments pour une approche cognitive. Dans G. Blanchet (dir.), Intelligences, scolarité et réussites (137-152). Grenoble : Éditions La Pensée sauvage. Figari, G. et Mottier Lopez, L. (2006). Recherche sur l’évaluation en éducation. Paris : L’Harmattan. Fiola, M. A. et Bastin, G. (2008). Présentation. TTR, 21 (2), 9-13. Foresman, C. (2010). Ipad goes under the gauntlet at universities this fall. Page consultée en ligne le 30 juin 2011 : http://arstechnica.com/apple/news/2010/07/ipad-goes-underthe-gauntlet-at-universities-this-fall.ars Fortin, C. et Rousseau, R. (2010). Psychologie cognitive : une approche de traitement de l'information. Québec : Presses de l'Université du Québec. Fregeau, L. A. (1999). Preparing ESL students for college writing: Two case studies. The Internet TESL Journal, 5 (10). Page consultée en ligne le 3 février 2013 : http://iteslj.org/Articles/Fregeau-CollegeWriting.html Froeliger, N. (2004). Les mécanismes de la confiance en traduction – aspects relationnels. JoSTrans, (02), 50-62. Fulford, H. et Granell-Zafra, J. (2005). Translation and Technology: a Study of UK Freelance Translators. JoSTrans, (4), 2-17. Fusaro, M. et Couture, A. (2012). Étude sur les modalités d’apprentissage et les technologies de l’information et de la communication dans l’enseignement – Rapport final – Mai 2012. Montréal : Conférence des recteurs et des principaux des universités du Québec. Gagné, R. (1976). Les principes fondamentaux de l’apprentissage. Application à l'enseignement. Montréal : Les Éditions HRW. García Álvarez, A. M. (2007). Evaluating Students’ Translation Process in Specialised Translation: Translation Commentary. JoSTrans, 7, 139-163. Gardy, P. (n.d.). L’intégration des technologies dans l'enseignement de la traduction : situation et perspectives du point de vue des étudiants. Gardy, P. (2011). La rétroaction vidéo comme outil d’apprentissage. Synergies Roumanie, 6, 91-104. Gaussel, M. et Reverdy, C. (2013). Neurosciences et éducation : la bataille des cerveaux. Dossier d’actualité veille et analyses, 86. 323 Gauthier, F. (2002). Sondage de 2002 sur la tarification et les salaires. Document (réservé aux membres) consulté le 12 mars 2013 sur le site de l'OTTIAQ. Gémar, J.-C. (1996). Les sept principes cardinaux d’une didactique de la traduction. Meta, 41 (3), 495-505. Genthon, M. (1984). Places et fonctions de l'auto-évaluation dans un dispositif d'apprentissage. Collège, (2), 41-43. Gerard, F. (2002). L’indispensable subjectivité de l'évaluation. Antipodes, (156), 26-34. Gile, D. (1992). Les fautes de traduction : une analyse pédagogique. Meta, 37 (2), 251-262. Gile, D. (2001). L’évaluation de la qualité de l’interprétation en cours de formation. Meta, 46 (2), 379-393. Gile, D. (2004a). Integrated Problem and Decision Reporting as a Translator Training Tool. JoSTrans, (02), 2-20. Gile, D. (2004b). La traduction: la comprendre, l’apprendre. Paris : Presses Universitaires de France. Gouadec, D. (1981). Paramètres de l’évaluation des traductions. Meta, 26 (2), 99-116. Gouadec, D. (1989). Comprendre, évaluer, prévenir. TTR, 2 (2), 35-54. Goyette, G. et Lessard-Hébert, M. (1987). La recherche-action : ses fonctions, ses fondements et son instrumentation. Québec : Les Presses de l’Université du Québec. Guidère, M. (2010). Introduction à la traductologie. Bruxelles : De Boeck Supérieur. Hadji, C. (1997). L’évaluation démystifiée. Paris : ESF. Hadji, C. (2012). Faut-il avoir peur de l’évaluation ? Bruxelles : De Boeck. Halliday, M. (1974). La base fonctionnelle du langage. Langages, 8 (34), 54-73. Halté, J.-F. (1984). L’annotation des copies, variété ou base du dialogue pédagogique. Pratiques, (44), 61-69. Hamon, Y. (2013). Les TICE pour la production écrite et la traduction de l’italien vers le français : le cas de la SSLMIT de Forlì (thèse de doctorat, Università di Bologna). Récupéré à l'adresse : http://amsdottorato.unibo.it/6006/1/hamon_yannick_tesi.pdf 324 Hard, S. F., Conway, J. M. et Moran, A. C. (2006). Faculty and College Student Beliefs about the Frequency of Student Academic Misconduct. The Journal of Higher Education, 77 (6), 1058-1080. Hatim, B. et Mason, I. (1990). Discourse and the translator. Londres : Routledge. Hatim, B. et Mason, I. (1997). The Translator as Communicator. Londres : Routledge. Hechiche-Salah, L., Bousnina-Bouallegue, Z. et Touzani, M. (2003). La gestion du stress des enseignants à l’université. Dans Actes du 14e congrès de l’AGRH (1425-1449). Tunis : AGRH. Horguelin, P. et Pharand, M. (2009). Pratique de la révision. Montréal : Linguatech. House, J. (1977). A Model for Assessing Translation Quality. Meta, 22 (2), 103-109. House, J. (1981). A model for translation quality assessment. Tübingen : Narr. House, J. (1997). Translation Quality Assessment: a Model Revisited. Tübingen : Narr. House, J. (2001). Translation Quality Assessment: Linguistic Description versus Social Evaluation. Meta, 46 (2), 243-257. Humphrey, J. H. (2003). Stress Education for College Students. New York : Nova Publishers. Hurtado Albir, A. (1995). La didáctica de la traducción. Evolución y estado actual. Dans P. Fernández Nistal et J. M. Bravo Gozalo (dir.), Perspectivas de la traducción (4974). Valladolid : Universidad de Valladolid. Hurtado Albir, A. (2008). Compétence en traduction et formation par compétences. TTR, 21 (1), 17-64. Ito, M., Baumer, S., Bittanti, M., Boyd, D., Cody, R., Herr-Stephenson, B., Tripp, L. (2009). Hanging Out, Messing Around, and Geeking Out: Kids Living and Learning with New Media. Cambridge, MA : MIT Press. Jääskeläinen, R. (2000). Focus on methodology in think-aloud studies on translating. Dans S. Tirkkonen-Condit et R. Jääskeläinen (dir.), Tapping and Mapping the Processes of Translation and Interpreting: Outlooks on Empirical Research (71-82). Amsterdam : John Benjamins Publishing. Jääskeläinen, R. (2011). Back to basics: designing a study to determine the validity and reliability of verbal reports on translation processes. Dans S. O’Brien (dir.), Cognitive Explorations of Translation (15-29). Londres : Continuum. 325 Karsenti, T., Villeneuve, S., Raby, C., Weiss Lambrou, R. et Meunier, H. (2007). Conditions d’efficacité de l’intégration des TIC en pédagogie universitaire pour favoriser la persévérance et la réussite aux études. Montréal : CRIFPE. Kelly, D. (2005). A Handbook for Translator Trainers. Manchester : St. Jerome Publishing. Kiraly, D. (1995). Pathways to Translation: Pedagogy and Process. Kent, OH : Kent State University Press. Kiraly, D. (2000). A social-constructivist approach to translator education: empowerment from theory to practice. Manchester : St. Jerome Publishing. Kiraly, D. (2001). Towards a constructivist approach to translator education. Anglistik, 6 (6), 50-53. Kozanitis, A. (2005). Les principaux courants théoriques de l’enseignement et de l'apprentissage : un point de vue historique. Récupéré le 8 août 2014 à l'adresse http://www.polymtl.ca/bap/docs/documents/Evaluation_travail_equipe.pdf Krings, H. P. (2001). Repairing Texts: Empirical Investigations of Machine Translation Post-editing Processes. Kent, OH : Kent State University Press. Kulik, J. A., Kulik, C. C. et Cohen, P. A. (1980). Effectiveness of Computer-based College Teaching : A Meta-analysis of Findings. Review of Educational Research, 50 (4), 525544. Kupsch-Losereit, S. (1985). The problem of translation error evaluation. Dans C. Titford et A. Hieke (dir.), Translation in foreign language teaching and testing (169-179). Tübingen : Narr. Kussmaul, P. (1995). Training the Translator. Amsterdam : John Benjamins Publishing. L’Homme, M.-C. (2008). Initiation à la traductique. Montréal : Linguatech Éditeur. Lagoudaki, E. (2006). Translation Memories Survey 2006. Londres : Imperial College London. Landelle, J.-J. (1987). L'évaluation, une pratique scientifique ? Dans C. Delorme (dir.), L'évaluation en questions. Paris : Éditions ESF. Larose, R. (1984). Paramètres d’évaluation des traductions : théories contemporaines et approche textologique. Montréal : Presses de l'Université de Montréal. Larose, R. (1987). Théories contemporaines de la traduction. Montréal : Presses de l’Université du Québec. 326 Larose, R. (1989). L’erreur en traduction : par delà le bien et le mal. TTR, 2 (2), 7-10. Larose, R. (1998). Méthodologie de l’évaluation des traductions. Meta, 43 (2), 163-186. Lavoie, S. (2010). Une méthode d’évaluation alliant rapidité, précision et chaleur humaine. Page consultée le 6 février 2014 : http://www.profweb.qc.ca/fr/publications/ recits/methode-devaluation-alliant-rapidite-precision-et-chaleur-humaine/index.html Le Moigne, J.-L. (2012). Les épistémologies constructivistes. Paris : Presses Universitaires de France. Lebrun, M. (2011). Impacts des TIC sur la qualité des apprentissages des étudiants et le développement professionnel des enseignants: vers une approche systémique. Sciences et Technologies de L’information et de La Communication Pour L'éducation et La Formation, 18. Récupéré du site de la revue : http://sticef.univ-lemans.fr/num/ vol2011/03r-lebrun-tice/sticef_2011_lebrun_03rp.pdf Leclerc, M., Larivée, S., Archambault, I. et Janosz, M. (2010). Le sentiment de compétence, modérateur du lien entre le QI et le rendement scolaire en mathématiques. Revue canadienne de l’éducation, 33 (1), 31-56. Lee, H. (2006). Révision : Définitions et paramètres. Meta, 51 (2), 410-419. Lee-Jahnke, H. (1998). L’introspection à haute voix. Dans J. Delisle (dir.), Enseignement de la traduction et traduction dans l’enseignement (155-183). Ottawa : Presses de l’Université d'Ottawa. Lee-Jahnke, H. (2001a). Aspects pédagogiques de l’évaluation en traduction. Meta, 46 (2), 258-271. Lee-Jahnke, H. (2001b). Présentation. Meta, 46 (2), 206-208. Legendre, M.-F. (2004a). Jean Piaget et le constructivisme en éducation. Dans M. Tardif et C. Gauthier (dir.), La pédagogie : théories et pratiques de l’Antiquité à nos jours. (351-373). Montréal : Gaëtan Morin éditeur. Legendre, M.-F. (2004b). Lev Vygotsky et le socioconstructivisme en éducation. Dans M. Tardif et C. Gauthier (dir.), La pédagogie : théories et pratiques de l’Antiquité à nos jours. (333-349). Montréal : Gaëtan Morin éditeur. Legendre, R. (2005). Dictionnaire actuel de l’éducation. Montréal : Guérin. Leki, I. (1990). Coaching from the margins: issues in written response. Dans B. Kroll (dir.), Second Language Writing. Research insights for the classroom (57-68). Cambridge, MA : Cambridge University Press. 327 Lévi-Strauss, C. (1974) Anthropologie structurale. Paris : Plon. Liu, M. (1992). Présentation de la recherche-action : définition, déroulement et résultats. Revue internationale de systémique, 6 (4), 293-311. Lizzio, A. et Wilson, K. (2013). First-year students’ appraisal of assessment tasks: implications for efficacy, engagement and performance. Assessment & Evaluation in Higher Education, 38 (4), 389-406. Loacker, G. (1995). Le développement des capacités et l’assessment. Pédagogie Collégiale, 9 (1), 15-19. Loacker, G. (2000). Self Assessment at Alverno College. Milwaukee, WI : Alverno Productions. Marchand, C. (2011). De la pédagogie dans les manuels de traduction. Analyse comparative des manuels anglais-français publiés en Amérique du Nord et en Europe depuis 1992 (mémoire de maîtrise, Université de Montréal). Récupéré sur le site de l'Université de Montréal : https://papyrus.bib.umontreal.ca/xmlui/handle/1866/5368 Marchand, L. (1998). Un changement de paradigme pour un enseignement universitaire moderne. DistanceS, 2 (2), 7-26. Mareschal, G. (1988). Le rôle de la terminologie et de la documentation dans l’enseignement de la traduction spécialisée. Meta, 33 (2), 258-266. Marien, B. et Béaud, J.-P. (2003). Guide pratique pour l’utilisation de la statistique en recherche : le cas des petits échantillons. Récupéré sur le site de l'Agence universitaire de la Francophonie : http://eprints.aidenligne-francais-universite.auf.org/379/1/ Guide_pratique_pour_l_utilisation_de_la_statistique_en_recherche.pdf Martínez Melis, N. (2001). Évaluation et didactique de la traduction : le cas de la traduction dans la langue étrangère (thèse de doctorat, Universitat Autonoma de Barcelona). Récupéré sur le site de l'Universitat Autonoma de Barcelona : http://www.tdx.cat/handle/10803/5251 Martínez Melis, N. et Hurtado Albir, A. (2011). Assessment In Translation Studies : Research Needs. Meta, 46 (2), 272-287. Mas, M. (1989). Aspects du traitement didactique des référents. Embarquement pour critère. Repères, (79), 7-21. Mayer, R. (2001). Multimedia learning. Cambridge, MA : Cambridge University Press. Mayer, R. (2009). Multimedia Learning, 2nd edition. Cambridge, MA : Cambridge University Press. 328 Mayer, R. et Anderson, R. (1992). The instructive animation: Helping students build connections between words and pictures in multimedia learning. Journal of Educational Psychology, 84 (4), 444-452. Mayer, R. et Gallini, J. (1990). When Is an Illustration Worth Ten Thousand Words? Journal of Educational Psychology, 82 (4), 715-726. Metcalfe, J. et Astle, C. (2013). Improve Your English: The Essential Guide to English Grammar, Punctuation and Spelling. Londres : Constable & Robinson. Meyer, C. A. (1992). What’s the Difference Between Authentic and Performance Assessment? Educational Leadership, 49 (8), 39-40. Mialaret, G. (1979). Vocabulaire de l’éducation: éducation et sciences de l'éducation. Paris : Presses universitaires de France. Miller, G. (1956). The Magical Number Seven, Plus or Minus Two: Some Limits on our Capacity for Processing Information. Psychological Review, 63 (2), 81-97. Molinari, G. (2002). Représentation et acquisition de connaissances spécifiques à un domaine scientifique à partir de textes et d’illustrations : Effet de la structure du domaine, des connaissances des lecteurs, des caractéristiques du texte et de ses illustrations (thèse de doctorat, Université Lumière Lyon 2). Récupéré sur le site de l'université : http://theses.univ-lyon2.fr/documents/lyon2/2002/molinari_g/info Morin, M. (1971). Evaluation et éducation des adultes. Education permanente, (9), 21-38. Mossop, B. (1989). Objective translational error and the cultural norm of translation. TTR, 2 (2), 55-70. Munday, J. (2012). Evaluation in Translation: Critical Points of Translator Decisionmaking. Londres : Routledge. Muñoz Martin, R. (2010). On paradigms and cognitive translatology. Dans G. Shreve et E. Angelone (dir.), Translation and Cognition (169-188). Amsterdam : John Benjamins Publishing. Narcy-Combes, J.-P. (2005). Didactique des langues et TIC: vers une recherche-action responsable. Paris : Editions Ophrys. Newmark, P. (1988). A textbook of translation. New York : Prentice-Hall International. Nicol, D. J. et Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31 (2), 199-218. 329 Nida, E. A. (1964). Toward a Science of Translating. Leiden : Brill. Nizet, I. (1999). L'explicitation de modèles mentaux dans un contexte d'évaluation formative d'habiletés de résolution de problèmes (thèse de doctorat, Université Laval). Récupéré à l'adresse : http://www.collectionscanada.gc.ca/obj/s4/f2/dsk1/tape8/ PQDD_0021/NQ47583.pdf Noizet, G. et Caverni, J.-P. (1978). Psychologie de l’évaluation scolaire. Paris : Presses Universitaires de France. Nord, C. (1991). Text Analysis in Translation. Theory, Methodology, and Didactic Application of a Model for Translation-Oriented Text Analysis. Amsterdam : Rodopi. Nord, C. (1996). El error en la traduccion: categorias y evaluacion. Dans A. Hurtado Albir (dir.), La enseñanza de la traducción (91-108). Castello de la Plana : Universitat Jaume I. Nord, C. (2005). Text Analysis in Translation: Theory, Methodology, and Didactic Application of a Model for Translation-oriented Text Analysis. Amsterdam : Rodopi. Nord, C. (2008). La traduction, une activité ciblée : introduction aux approches fonctionnalistes. Arras : Artois Presses Université. Nunziati, G. (1990). Pour construire un dispositif d’évaluation formatrice. Les Cahiers Pédagogiques, (280), 47-64. O’Brien, S. (2011). Introduction. C, Cognitive Explorations of Translation (1-14). Londres : Continuum. OCDE. (2008). Évaluer l’apprentissage : l'évaluation formative. Récupéré sur le site de l'Organisation de Coopération et de Développement Économique le 13 juillet 2013 : http://www.oecd.org/fr/sites/learninginthe21stcenturyresearchinnovationandpolicyapp rendreauxxiesieclerechercheinnovationetpolitiques/40604126.pdf Oddone, F. (2006). Comment évaluer le processus de la traduction dans un environnement electronique ? Dans Actes du colloque TICE Méditerrannée 2006. Récupéré sur le site de l'ISDM : http://isdm.univ-tln.fr/PDF/isdm25/Oddone_ TICE 2006.pdf Ouellet, L. (1994). Stratégie d’éducation relative à l'environnement : la perspective constructiviste et les approches inductive, réflexive et systémique : fiche pédagogique. Gouvernement du Québec : Ministère de l’éducation. Paivio, A. (1971). Imagery and verbal processes. New York : Holt, Rinehart and Winston. Paivio, A. (1990). Mental Representations: A Dual Coding Approach. New York : Oxford University Press. 330 Pedró, F. (2012). Connected Minds. Technology and Today’s Learners. Paris : OCDE Publishing. Perrenoud, P. (1979). Des différences culturelles aux inégalités scolaires : l'évaluation et la norme dans un enseignement différencié. Dans L. Allal (dir.), L'évaluation formative dans un environnement différencié. Berne : Peter Lang. Perrenoud, P. (1995). La fabrication de l’excellence scolaire: du curriculum aux pratiques d'évaluation. Genève : Librairie Droz. Perrenoud, P. (1998). L’évaluation des élèves: de la fabrication de l'excellence à la régulation des apprentissages. Entre deux logiques. Bruxelles : De Boeck Supérieur. Poeiras, F. (2005). Translation tools - translation will never be the same again. Translating Today, 2, 35-37. Porcher, L. (1977). Note sur l’évaluation. Langue Française, (36), 110-115. Pym, A. (1991). Translation Error Analysis and the Interface with Language Teaching. Dans C. Dollerup et A. Loddegaard (dir.), Teaching Translation and Interpreting. Training, Talent and Experience. Papers from the First Language International Conference, Elsinore, Denmark. (279-288). Amsterdam : Benjamins. Pym, A. (2004). Propositions on cross-cultural communication and translation. Target, 16 (1), 1-28. Raynal, F. et Rieunier, A. (2012). Pédagogie, dictionnaire des concepts clés : apprentissage, formation, psychologie cognitive. Paris : ESF Editeur. Reiß, K., et Vermeer, H. J. (1984). Grundlegung einer allgemeinen Translationstheorie. Tübingen : Niemeyer. Resnick, D., et Resnick, L. (1992). Assessing the Thinking Curriculum: New Tools for Educational Reform. Dans B. R. Gifford et M. C. O’Connor (dir.), Changing assessments: alternative views of aptitude, achievement, and instruction (37-75). Boston : Kluwer Academic Publishers. Resweber, J. P. (1995). La recherche-action. Paris : Presses Universitaires de France. Ripley, M., Harding, R., Redif, H., Ridgway, J. et Tafler, J. (2009). Review of Advanced eAssessment Techniques (RAeAT) Final Report. Récupéré le 4 février 2014 à l'adresse http://www.jisc.ac.uk/media/documents/projects/raeat_finalreport.pdf Roberge, J. (2006). Corriger les textes de vos élèves : précisions et stratégies. Montréal : Chenelière Éducation. 331 Robinson, B. J., López, C. I., Tercedor, M. et Rodríguez, C. I. L. (2008). Neither Born nor Made, but Socially Constructed : Promoting Interactive Learning in an Online Environment. TTR, 21 (2), 95-129. Robinson, S., Pope, D. et Holyoak, L. (2013). Can we meet their expectations? Experiences and perceptions of feedback in first year undergraduate students. Assessment & Evaluation in Higher Education, 38 (3), 260-272. Romainville, M. (2002). L’évaluation des acquis des étudiants dans l’enseignement universitaire. Paris : Haut Conseil de l'évaluation de l'école. Romainville, M. (2006). Quand la coutume tient lieu de compétence : les pratiques d’évaluation des acquis à l'université. Dans N. Rege Colet et M. Romainville (dir.), La pratique enseignante en mutation à l’université (20–40). Bruxelles : De Boeck. Ropé, F. (1990). Enseigner le français : didactique de la langue maternelle. Paris : Éditions universitaires. Salaway, G., Caruso, J. B. et Introduction, R. N. (2008). The ECAR Study of Undergraduate Students and Information Technology, 2008. Récupéré le 11 mars 2014 sur le site de l'ECAR : http://www.educause.edu/library/resources/ecar-studyundergraduate-students-and-information-technology-2008 Salomon, G., Perkins, D. N. et Globerson, T. (1991). Partners in Cognition: Extending Human Intelligence with Intelligent Technology. Educational Researcher, 20 (3), 2-9. Scallon, G. (1988). L’évaluation formative des apprentissages. Québec : Presses de l’Université Laval. Scallon, G. (2000). L’évaluation formative. Québec : Presses de l’Université Laval. Scallon, G. (2004). L’évaluation des apprentissages dans une approche par compétences. Québec : Presses de l’Université Laval. Scarpa, F., traduit et adapté par Fiola, M. (2010). La traduction spécialisée. Une approche professionnelle à l’enseignement de la traduction. Ottawa : Presses de l’Université d'Ottawa. Scriven, M. (1967). The Methodology of evaluation. Dans R. W. Tyler, R. M. Gagné et M. Scriven (dir.), Perspectives of curriculum evaluation (39-83). Chicago : Rand McNally. Simon, M. et Forgette-Giroux, R. (1994). Vers une utilisation rationnelle du dossier d’apprentissage. Mesure et évaluation en éducation, 16 (3), 27-40. 332 Skinner, B. F. (1969). La révolution scientifique de l’enseignement. Bruxelles : Editions Mardaga Slade, S. (n.d.). Techno-pédagogie. Page consultée le 22 november 2013 : http://www.percolab.com/2008/01/techno-pedagogie/ Stannard, R. (2008). A new direction in feedback. Humanising Language Teaching, 10 (6). Page consultée le 3 mars 2012 : http://www.hltmag.co.uk/dec08/mart04.htm Tamim, R. M., Bernard, R. M., Borokhovski, E., Abrami, P. C. et Schmid, R. F. (2011). What Forty Years of Research Says About the Impact of Technology on Learning: A Second-Order Meta-Analysis and Validation Study. Review of Educational Research, 81 (1), 4-28. Tardif, E. et Doudin, P.-A. (2012). Neurosciences cognitives et éducation : le début d’une collaboration. Formation et pratiques d’enseignement en questions, (12), 95-116. Tardif, J. (1993). L’évaluation dans le paradigme constructiviste. Dans R. Hivon (dir.), L’évaluation des apprentissages. Réflexions, nouvelles tendances et formation (27-56). Sherbrooke : Éditions du CRP. Tardif, J. (1997). Pour un enseignement stratégique : l’apport de la psychologie cognitive. Montréal : Les Éditions Logiques. Tatilon, C. (1986). Traduire: Pour une pédagogie de la traduction. Toronto : York University, Editorial Office, Communications Department. Tochon, F. (1996). Rappel stimulé, objectivation clinique, réflexion partagée. Fondements méthodologiques et applications pratiques de la rétroaction vidéo en recherche et en formation. Revue des sciences de l’éducation, 22 (3), 467-502. Toury, G. (1980). In search of a theory of translation. Tel Aviv : Porter Institute for Poetics and Semiotics. Toury, G. (1995). Descriptive Translation Studies and Beyond. Amsterdam : John Benjamins. Tyler, R. (1950). Basic Principles of Curriculum and Instruction. Chicago : University of Chicago Press. Ulrych, M. (2005). Training translators: Programmes, curricula, practices. Dans M. Tennent (dir), Training for the New Millennium : Pedagogies for translation and interpreting (3-33). Amsterdam : Benjamins. Ungerleider, C. (2002). Information and communication technologies in elementary and secondary education : A state of the art review. Dans Actes du Colloque 2002 du 333 Programme pancanadien de recherche en éducation (PPRE) : La technologie de l’information et l’apprentissage (2-28). Toronto : Conseil des ministres de l’Éducation du Canada. Vandaele, S. (2003). Mise en ligne d’outils pédagogiques : une panacée pour l’enseignement de la traduction médicale ? Meta, 48 (3), 370-378. Vandaele, S. (2011). (Nouvelles) technologies et enseignement : progrès ou illusion ? ILCEA, (14). Récupéré en ligne le 29 juillet 2013 : http://ilcea.revues.org/1033 Vande Walle, J.-M. (2007). Le traducteur et la technique, un couple infernal. Dans M. T. Musacchio et G. Sostero Henrot (dir.), Tradurre: formazione e professione. Padova : CLEUP. Venuti, L. (1995). The Translator’s Invisibility: A History of Translation. Londres : Routledge. Vermersch, P. (2010). L’entretien d'explicitation. Paris : ESF éditeur. Veslin, J. et Veslin, O. (1992). Corriger des copies, évaluer pour former. Paris : Hachette Éducation. Vial, M.-P. (1987). Evaluer n'est pas mesurer. Les cahiers pédagogiques, (256), 16. Vial, M.-P. (1997). Conceptions de la régulation et apprentissage. En question, (9), 1-46. Vinay, J. (1996). Enseignement de la traduction : plaidoyer en faveur d’un code de correction. Dans H. Somers (dir.), Terminology, LSP and Translation (143-159). Amsterdam : John Benjamins. Vinay, J.-P. et Darbelnet, J. (1958). Stylistique comparée du français et de l’anglais: méthode de traduction. Paris : Didier. Von Glasersfeld, E. (1995). Radical Constructivism: A Way of Knowing and Learning. Londres : Falmer Press. Waddington, C. (2000). Estudio comparativo de diferentes métodos de evaluación de traducción general: inglés-español. Madrid : Universidad Pontifica Comillas. Waddington, C. (2001a). Different Methods of Evaluating Student Translations : The Question of Validity. Meta, 46 (2), 311-325. Waddington, C. (2001b). Should translations be assessed holistically or through error analysis? Hermes, (26), 15-38. 334 Weinstein, C. et Mayer, R. (1986). The Teaching of Learning Strategies. Dans M. C. Wittrock (dir.), Handbook of research on teaching (315-327). New York : Macmillan. Weiss, J. (1977). Vers une appréciation par objectifs globaux du travail scolaire des élèves en mathématique. Neuchatel : IRDP. Weisser, M. (2010). Dispositif didactique ? Dispositif pédagogique ? Situations d’apprentissage ! Questions vives, recherches en éducation, 4 (13), 292-303. Wheatley, A. (2003). eCoLoRe (eContent Localization Resources for Translator Training). Consulté en ligne le 08 février 2014 : http://www.translationdirectory.com/article 450.htm Williams, J. (2003). Providing Feedback on ESL Students’ Written Assignments (TESL/TEFL). Consulté le 27 juin 2011 : http://iteslj.org/Techniques/WilliamsFeedback.html Wilss, W. (1982). The science of translation: problems and methods, Volumes 180-183. Tübingen : Narr. Zhao, Y. et Frank, K. A. (2003). Factors Affecting Technology Uses in Schools: An Ecological Perspective. American Educational Research Journal, 40 (4), 807-840. 335 Annexe 1 : questionnaire Martinez-Melis Source – Martinez Melis (2000 : 123-124) 337 Annexe 2 : questionnaire enseignants 338 339 340 341 342 343 344 345 346 Annexe 3 : typologie des erreurs de l’Université Laval 347 348 349 Annexe 4 : questionnaire étudiants 350 351 352 353 354 355 356 357 Annexe 5 : Texte du devoir – étude rétroaction vidéo Ne pas traduire les parties grisées Nestlé’s new UK wafer line to boost Kit Kat production December 20, 2010 The opening of a new GBP 5 million (more than CHF 7.5 million) wafer manufacturing line in the United Kingdom marks the end of year one of a three-year Nestlé investment programme. The completed ‘Line 4’ will be used to make nearly 30 million high-quality wafer sheets per year, for more than a billion Kit Kat bars manufactured each year at Nestlé’s factory in York. The state-of-the-art wafer line was officially inaugurated by Paul Grimwood, Chairman & CEO for Nestlé UK & Ireland; David Rennie, Managing Director for Nestlé Confectionery UK & Ireland; Magdi Batato, Group Technical Director; and Francois Pointet, Category Technical Manager; earlier this month. Currently the factory produces around three million Kit Kat bars each day. Locally milled flour is used to produce 250,000 sheets of wafer, which are prepared with a chocolate based filling before being moulded into Kit Kats. Over a year this figure totals around 88 million sheets of wafer. With the wafer manufacturing facility at the heart of the operation, the new line will continue to boost Kit Kat production. Jas Scott de Martinville, Wafer Production Manager at the Nestlé York factory, explained that the new wafer line formed part of a three year GBP 15 million investment programme. She said: “Using state-of-the art technology and benefiting from the latest know-how gathered through our Product Technology Centre based in York, and factories across the world, the aim of this investment is to ensure that we deliver the freshest wafer to our moulding plants.” Ms Scott de Martinville added: “Employees in York should be really excited about this line because it’s giving us an opportunity to shine and deliver world-class wafer quality and freshness.” The first phase of the investment project started in December 2009 with the decommissioning of one of the old batter manufacturing plants, to make room for the new installation. http://www.nestle.com/Media/NewsAndFeatures/Pages/Nestles-new-UK-wafer-line-partof-three-year-GBP-15m-investment.aspx 358 Annexe 6 : Texte de l’examen final – étude rétroaction vidéo In a crisis, Sarkozy emerges strengthened PARIS -- The gloom of the euro-zone debt crisis is casting shadows over France's upcoming presidential election, paralyzing the normally spirited ideological debates and even the reflexive French impulse to protest. President Nicolas Sarkozy, too, is a more muted and sombre figure. Critics who once derided him as a hyperactive showman now grumble about his gravitas. While the French left fumbles over what direction to take as the country labours under its debt burden, Mr. Sarkozy has positioned himself as “Captain Courageous” holding things together, said the weekly magazine Le Nouvel Observateur. Still, with the election just five months away, Mr. Sarkozy is in the unenviable position of running for a second term while pressing for tax hikes and spending cuts to trim the country’s ballooning budget deficit. Elsewhere in Europe, the debt crisis has toppled governments in Greece and Italy. Nearly every euro-zone country has announced tough austerity programs, with Britain and Germany considering the biggest cuts since the Second World War. Massive demonstrations have rocked Spain and Portugal. But Mr. Sarkozy seems to be holding his own. His poll numbers have crept up in the past two weeks, with some showing his popularity rising to around 37 per cent. http://www.theglobeandmail.com/news/world/in-pre-election-france-sombre-support-forsarkozy/article4200663/ 359 Annexe 7 – Extrait d’un questionnaire d’examen théorique 360 361 Points Coéquipier 4 Coéquipier 3 Coéquipier 2 Coéquipier 1 Annexe 8 – Formulaire d’évaluation du travail en équipe 1) PARTICIPATION : durant l’a tivit , le o uipie … a toujours participé activement. 3 a participé quand on le sollicitait. 2 a semblé distrait et peu intéressé, a montré des sig es d’i patie e ou d’e ui. 1 ’a pas participé. 0 2) CENTRATION SUR LA TÂCHE : durant l’a tivit , le o uipie … tait t s e t su la tâ he, e ui a g a de e t o t i u à l’effi a it de l’ uipe 3 était centré sur la tâche. 2 était peu centré sur la tâche. 1 était « déconnecté » et avait visiblement hâte que l’a tivit se te 3) CLIMAT DE TRAVAIL : d’u e a i e g ale, le o i e. 0 uipie … était ouvert, spontané; il a beaucoup contribué à la bonne humeur au sei de l’ contribuait à la sérénité du climat de travail, sans être le boute-en-t ai de l’ uipe. 3 uipe. 2 tait d’hu eu plutôt aussade. 1 uisait au t avail de l’ uipe pa ses e a ues et agisse e ts d sag a les. 0 4) COMMUNICATION : d’u e a i e g ale, le o uipie … 3 exprimait son point de vue avec calme et assurance et écoutait celui des autres. ’exp i ait pas so poi t de vue ais outait elui des aut es. 2 exprimait son point de vue mais écoutait peu celui des autres. 1 exprimait son point de vue avec agressivité et rejetait celui des autres. 0 5) NÉGOCIATION : d’u e a i e g ale, le o uipie … tentait de trouver des compromis qui permettaient de rallier tous les points de vue. 3 acceptait souvent de faire des compromis. 2 acceptait rarement de faire des compromis. 1 était fermé à tout compromis. 0 Veuillez reporter ici le total sur 15  Source : Bureau des services pédagogiques de l’Université Laval 362