Suite de la discussion ensae

Détails

Créé le dimanche 19 mai 2013 08:32

Enseignement et Liberté

 

Enseignement de la lecture : le rapport Torgerson

 

Reprenant les 38 études retenues dans la méta-analyse du National Reading Panel et les commentaires qu’en ont fait Ehri en 2001 et Camilli en 2003, le rapport Torgerson y ajoute :

1-1 Deux études publiées postérieurement.

1-2 Une étude datant de 1971, écartée par le NRP parce qu’elle n’avait pas été publiée dans une revue scientifique.

1-3 Cinq études écartées par le NRP parce qu’elles comparaient les résultats obtenus par les méthodes phonoanalytique et phonosynthétique directement, sans groupe témoin formé selon une méthode non systématique ou non phonique. Ces cinq études ont été ensuite éliminées comme ne répondant pas au critère du 2-1.

Et en a retranché :

2-1 Vingt-cinq études dans lesquelles les groupes d’élèves n’avaient pas été constitués d’une façon aléatoire.

2-2 Quatre études dont elle a jugé la méthodologie insatisfaisante.

Douze études ont finalement été retenues dont neuf déjà présentes dans la méta-analyse NRP.

Trois des douze études retenues comparent l’approche phonoanalytique et l’approche phonosynthétique. Il s’agit de :

• Torgesen et al. 1999 déjà présent dans NRP et Ehri
• Johnston et Watson 2004, 1995-1996 expérience 2 (nouvelle étude)
• Skailand 1971 (étude non publiée)

Quelles justifications Torgerson donne-t-elle de ses critères de sélection ? Ses conclusions sont-elles plus pertinentes que les conclusions antérieures ?

La prise en compte des études nouvelles va de soi et celle des cinq études qui avaient été écartées par le NRP parce qu’elles n’avaient pas de groupe non phonique ou phonique non systématique serait positif si elles n’avaient pas ensuite été éliminées comme ne répondant pas au critère 2-1.

Mon opinion sur les critères de Torgerson est la suivante

Le biais de publication

 

 

Le recours aux études non publiées, qui a permis d’augmenter l’effectif de la seule étude Skailand citée plus haut est contestable[1] dans la mesure où l’examen préalable à la publication par un comité de lecture est censé apporter une certaine garantie.

Torgerson justifie son choix de la façon suivante :

1 – L’appréciation par un comité de lecture conduirait « très vraisemblablement » à l’exclusion d’études « negative ».

Je ne vois pas pourquoi une conclusion en faveur de l’enseignement systématique de la relation phonème/graphème serait positive et une conclusion en sens contraire negative. Il me semble même que l’apparition d’une étude qu’elle qualifie de negative devrait, face à l’accumulation des positive, faire plaisir à leurs partisans - ils sont encore nombreux – et intéresser ceux qui, comme vous et moi, essayent d’y voir clair et ne croient pas, comme elle semble le faire, que les méthodes d’inspiration globale soient des placebos.

La même remarque s’applique naturellement à la comparaison phonoanalytique/phonosynthétique.

2 - Parmi les treize études NRP/Ehri retenues par Torgerson, il n’y en a pas une pour donner le moins bon résultat à l’enseignement phonique systématique, ce qui constituerait un « commencement de preuve » de l’existence d’études non publiées donnant le résultat opposé.[2]

Ne peut-on pas voir plutôt dans la convergence de ces conclusions un indicateur de la supériorité de l’enseignement phonologique systématique ?

Ehri a calculé qu’il faudrait 860 études équivalentes à celle parmi les treize donnant la moins bonne performance (Effect size inférieur à 0,2) pour remettre en cause sa conclusion en faveur de l’enseignement phonique systématique. Torgerson dit qu’il en faudrait moins s’il y en avait donnant de moins bons résultats à l’enseignement phonique systématique qu’à un autre type d’enseignement, pour conclure (p. 60) que l’on ne peut exclure que l’absence de statistical evidence for publication bias ne soit due au petit nombre d’études retenues.

Comme elle n’applique pas le même raisonnement aux trois études qu’elle a retenues pour la comparaison analytique/synthétique, je ne commente pas plus.

Sélection des études

 

Torgerson a éliminé les deux tiers des études retenues par le NRP au motif qu’elles portent sur des groupes d’élèves qui n’ont pas été constitués par tirage au sort.

Elle note bien que l’élimination des erreurs systématiques, par le recours à la randomisation, a pour contre partie une plus grande dispersion des résultats observés, mais elle ne donne pas les raisons du choix systématique qu’elle fait entre les deux solutions[3]. Etant systématique, il n’est évidemment pas scientifiquement justifiable.

Alors qu’elle discute minutieusement, comme nous l’avons vu plus haut, les arguments d’Ehri à l’appui de la décision de ne pas retenir les études n’ayant pas fait l’objet d’une publication, elle n’évoque même pas celle donnée pour accepter les études dont les populations n’ont pas été constituées d’une façon aléatoire.

Cette raison donnée par Ehri est que la différence constatée entre les résultats des études faites sur des échantillons constitués d’une façon aléatoire et les autres est minime, avec une « note » de 0,45 pour les premières et de 0,43 pour les autres.[4]

Est-ce une raison déterminante ? Peut-être pas, mais elle est en tout cas suffisante pour en discuter au lieu de l’ignorer.

Il faut d’ailleurs remarquer que la randomisation n’est intéressante que pour des échantillons relativement importants, ce qui n’est pas vraiment le cas des études retenues, dont les effectifs varient, groupe de contrôle compris, de 12 à 121. Il faut aussi remarquer qu’il est assez facile pour des maîtres expérimentés de composer des groupes d’élèves de niveau et d’aptitudes équivalents et que, par conséquent, la stratification est plus praticable dans le domaine de l’enseignement que dans bien d’autres domaines.

Régression vers la moyenne

 

Torgerson insiste enfin sur l’effet de régression vers la moyenne pour donner une justification supplémentaire du rejet de l’expérience 1 rapportée dans Johnston et Watson 2004, les élèves bénéficiant de la méthode phonosynthétique ayant été choisis parmi ceux présumés rencontrer le plus de difficultés.

Là encore, Torgerson applique à l’enseignement ce qui appartient à la médecine. La régression vers la moyenne doit être prise au sérieux dans le cas d’une maladie dont l’évolution est fluctuante et l’issue incertaine. L’apprentissage de la lecture est un phénomène cumulatif conduisant normalement au savoir lire. D’ailleurs, on ne voit pas très bien comment la moitié des « mal portants » pourrait devenir celle des « bien portants » par la vertu de la régression par la moyenne.

Conclusion

 

En conclusion, le rapport Torgerson ne m’a pas convaincu. Le seul point où je puisse la suivre est dans sa recommandation de réaliser une large étude aléatoire systématique synthétique/systématique analytique (p. 11).

Une telle étude existe. Elle a été publiée en mars 2006, en même temps que le rapport Torgerson. Elle a porté pendant près de dix ans sur des milliers d’élèves, soit la totalité de la population d’une partie du comté de Dunbarton en Ecosse.

Ses résultats donnent un net avantage à la méthode synthétique, à laquelle se sont ralliés spontanément au fil des ans la quasi-totalité des maîtres participant à l’expérience.

Tweet

• Suivant >