Julien Grenet : "L'algorithme d'Admission postbac est manipulable"

Le recours – décrié – à des algorithmes est-il la meilleure solution pour gérer les affectations des élèves ?

Même si tous les algorithmes ne se valent pas, certains ont de très bonnes propriétés. Dont celle de favoriser la transparence des critères d’affectation des élèves dans les collèges, lycées ou établissements du supérieur. Cela permet de lever le soupçon d’arbitraire dans la prise de décisions. Beaucoup de pays ont eu recours aux algorithmes pour cette raison, comme le Chili, où la corruption faussait les affectations. Quant aux règles de priorité (résultats scolaires, distance, fratrie, critères sociaux…), elles traduisent des choix politiques.

Autre propriété intéressante des algorithmes, celle d’inciter les élèves ou les parents à classer leurs vœux par ordre de préférence réelle. Cette incitation à la sincérité est une vertu qui encourage la mixité sociale. En effet, elle ne donne pas l’avantage à ceux ayant le plus d’informations, comme c’est le cas lorsqu’il faut recourir à des stratégies dans son classement. Au contraire, le candidat est amené à se poser la seule question qui importe : "Quelle est la formation la plus adaptée pour moi ?"

Enfin, ces algorithmes remplissent le critère d’efficacité. Autrement dit, selon la définition des économistes, la plus grande satisfaction possible pour tous, dans le respect des critères.

Le côté négatif des algorithmes est qu’ils s’inscrivent souvent dans des procédures assez opaques. Les candidats manquent d’informations sur le fonctionnement de l’algorithme et sur les critères de classement. Le cas d’APB en est l’illustration parfaite : il a fallu des actions en justice pour qu’il y ait plus de transparence. Mais la faute n’est pas imputable aux algorithmes, ce sont les procédures qui sont illisibles.

Qu’en est-il de l’algorithme d’APB ?

Mathématiquement, on ne peut pas satisfaire simultanément, dans toutes les situations, les trois critères d’équité (respect des priorités), d’efficacité (respect des préférences), et de non manipulabilité de l’algorithme.

Autrement dit, ils sont incompatibles ! Il faut donc recourir à des compromis. Beaucoup d’algorithmes satisfont deux critères et essaient de faire le mieux possible pour le troisième critère. C’est le cas de l’algorithme d’Admission postbac, qui est une version de l’algorithme d’acceptation différée de Gale et Shapley, avec quelques petites subtilités. Or, de petites modifications de l’algorithme tel qu’il a été conçu par les mathématiciens peuvent avoir de grandes conséquences.

En l’occurrence, l’algorithme d’APB est manipulable, pour une partie des formations. Précisément, le problème vient de la prise en compte du rang du vœu (absolu ou relatif) comme critère de priorité pour les licences en tension. Cela pénalise les candidats sincères qui mettent une CPGE ou autre formation sélective avant une licence en tension.

Pour que l’algorithme fonctionne bien, il ne faut pas que le classement d’un élève dépende de celui des autres. Or, c’est le cas, comme on le voit dans cet exemple.

Extrait de la présentation de Julien Grenet lors de la journée Etalab consacrée à APB, le 28 juin 2017, à Paris.

Léa a intérêt à être stratégique et à ne pas mettre ses vœux dans son ordre de préférence réel, contrairement à ce qu’indique le Guide du candidat où figurent les mots "sans autocensure".

Cela illustre bien l’idée que les difficultés créées par les procédures d’affectation ne sont pas principalement imputables aux algorithmes mais plutôt, d’une part, à la complexité et à l’opacité des procédures, et d’autre part, aux critères de priorités utilisés… et aux choix politiques qui les sous-tendent.

Il faudrait donc revoir les critères de priorité utilisés dans APB, plutôt que le Code de l’éducation ?

Il a fallu traduire un code juridique en code informatique. Les critères de priorité sont une interprétation par les informaticiens d’APB du Code de l’éducation. Il fallait répondre à la question : "Quand il y a trop de demande, comment départage-t-on techniquement les étudiants ?"

APB n’existait pas lorsqu’a été rédigé l’article L612-3 du Code de l’éducation, sinon la notion assez vague de "préférences du candidat" aurait sans doute été formulée différemment.

Le fait de prendre en compte la façon dont les étudiants ont classé les vœux a des effets très mauvais sur l’algorithme, puisqu’il induit des stratégies pour les licences en tension. Et surtout, le code est incomplet : lorsque l’on a épuisé les critères de l’article L612-3, cela ne suffit pas, il reste des ex aequo. C’est pour cela qu’il a fallu ajouter un critère : le tirage au sort, qui n’est pas écrit dans le code. Avant APB, on utilisait un autre critère : premier arrivé, premier servi. Cela permettait de ne jamais avoir d’ex aequo.

Le fait de prendre en compte la façon dont les étudiants ont classé les vœux a des effets très mauvais sur l’algorithme, puisqu’il induit des stratégies pour les licences en tension.

Tant que le tirage au sort se faisait à la marge, cela passait. Mais là, il est devenu très prégnant, du fait du boom démographique. Le risque est que l’on se retourne contre l’algorithme, alors qu’on devrait se retourner contre le Code de l’éducation.

En réalité, ce n’est pas tant le droit qui pose problème que le symptôme de contradiction de l’enseignement supérieur, qui défend le principe de non-sélection, tout en instaurant des capacités limitées dans la plupart des filières universitaires. L’algorithme d’APB est très adapté aux filières sélectives, mais pose problème pour les filières non sélectives sous tension.

Il faudrait poser clairement les termes du débat : quand il y a trop de demandes en licence, qu’a-t-on le droit de prendre en compte comme critères ?

Quelles pistes proposez-vous ?

Il y a deux solutions possibles. Première option : faire en sorte que l’offre suive la demande, en augmentant le nombre de places dans les quatre principales filières en tension (droit, Paces, psychologie et Staps), entre autres.

Mais est-ce que cela se justifie, compte tenu des débouchés ? Quand on pense aux études de médecine ou de droit, on sait qu’il y a ensuite un processus de sélection, à la fin de la première année ou plus tard… Augmenter les effectifs à l’entrée signifie un taux d'échec plus élevé après.

Cela n’est pas neutre pour les étudiants qui échoueront en médecine ou en droit. Ils auront perdu un an. Certains arrêteront même leurs études et sortiront sans diplôme. En étant orientés vers des formations mieux adaptées à leur profil, ils auraient plus de chances de réussir. Ce qui se fait dans tous les pays, sauf en France.

Et la deuxième solution ?

Quand il y a trop de demande, la deuxième option est de prendre en compte l’adéquation entre formation et candidat. J’insiste sur le terme d’adéquation et non de résultats scolaires, car on ne prend pas forcément les meilleurs élèves. Il s’agit plutôt d’établir des coefficients en fonction des différentes matières étudiées par le candidat et de la filière d’enseignement supérieure qu'il vise. Ce n'est pas un classement général des candidats.

Les bacs techno et bacs pro sont adaptés aux STS et aux IUT : ils doivent être prioritaires. Parmi ceux qui n’obtiennent pas de place, certains abandonnent l’idée de poursuivre leurs études, alors que ceux ayant eu une place réussissent plutôt bien.

Le cas des bacs pro est particulièrement préoccupant : leur taux de réussite en licence est proche de zéro. Or, ceux qui se retrouvent en licence l’avaient rarement mis en premier choix. La plupart d'entre eux veulent obtenir un BTS ou un DUT. Mais il n’y a pas assez de places, et celles-ci sont prises par les bacs généraux.

Ces deux propositions sont assez complémentaires ?

En effet. L’option d’augmenter les capacités ne concerne pas que les licences, mais aussi les places en STS. D’autant que le nombre de bacheliers pro a augmenté de 80.000, c’est la plus grosse réforme éducative de ces trente dernières années. La proportion de bacheliers dans une génération a augmenté de 10 %, c’est phénoménal. Aujourd’hui, il y a 80.000 étudiants en plus qui peuvent accéder à l’enseignement supérieur, et pour autant, les places nécessaires n'ont pas été créées dans les formations adaptées.

On a 50 % d’une cohorte qui s’engage dans des études supérieures, ce n’est vraiment pas beaucoup, c’est la moyenne de l’OCDE. Il y a beaucoup de réorientations, d’échec en première année… Le point crucial est d’essayer de mieux orienter les bacheliers par les priorités, par l’information – et là l’outil APB est intéressant, car il peut fournir les taux de réussite en fonction de leur profil – et enfin d'augmenter les capacités d’accueil des formations sélectives plutôt à dominante technologique, comme les STS et les IUT. Elles offrent des taux d’encadrement très bons et une bonne insertion professionnelle.

Le système universitaire n'a pas été suffisamment adapté à la démocratisation de l’enseignement supérieur. Il continue de fonctionner comme au début du 20e siècle.

Le système universitaire n'a pas été suffisamment adapté à la démocratisation de l’enseignement supérieur. Il continue de fonctionner comme au début du 20e siècle, avec une première année où l'on doit déjà se spécialiser, avec un fort taux d’échec, des prérequis supposés acquis… Un des modèles intéressants à explorer est de diversifier la première année à l'université, comme c’est le cas dans beaucoup de classes préparatoires, ou les majors et minors aux États-Unis, par exemple.

Plusieurs participants à la journée Etalab ont été étonnés de découvrir que les données d’APB n’étaient pas conservées par le ministère jusqu’il y a peu… N’est-ce pas regrettable pour la recherche ?

C’est un crève-cœur pour les chercheurs en sciences sociales ! Nous avons été plusieurs à tirer la sonnette d’alarme. Ces données récoltées via APB ont été détruites car elles étaient considérées comme de simples données de gestion. Et aussi parce qu’elles contenaient des informations sensibles.

Lorsque la base de données a été déclarée à la CNIL en 2011, il a été convenu que les INE (identifiant national étudiant) ne seraient pas conservés plus d’un an ou deux, et les bases pas plus de cinq ans. À présent, il y a une prise de conscience de l’intérêt de ces données pour le ministère, pour fournir des informations aux étudiants, et pour la recherche. Il est question d’étendre cette durée de conservation des données à dix ans…

Le SIES (Systèmes d'information et des études statistiques) travaille sur un fichier de données anonymisées, à l'accès simplifié pour les chercheurs. La version v.0 est déjà en test. Les données sensibles pourraient, elles, être accessibles dans des conditions très sécurisées, sous convention, dans le cadre de recherches ciblées.

En attendant, on a définitivement perdu plusieurs millésimes d’APB : toutes les données antérieures à la session 2012. Il est regrettable de ne pas avoir conservé les données de 2009, moment charnière de mise en place nationale de la plate-forme. Il y a eu beaucoup de changements depuis l'instauration du portail.

En Île-de-France, par exemple, le fonctionnement était un peu différent, avec un système par secteurs géographiques et non par académies. Certaines universités parisiennes recrutaient dans la petite couronne, à Villejuif, à Ivry-sur-Seine, au Kremlin-Bicêtre… Les réseaux de transport guidaient les secteurs. Il aurait été intéressant de voir si ce changement a bouleversé le destin universitaire de ces étudiants ayant eu leur bac en dehors de Paris.

Cela fait des années que nous demandions à avoir accès aux données d’APB, et nous avons pendant très longtemps trouvé porte close. Là, il y a vraiment un mouvement d’ouverture, qui s’est enclenché avant même les actions de l’association Droits des lycéens pour la transparence de l’algorithme. La loi numérique a joué en faveur de cet élan, l’accès aux données pour les chercheurs sera facilité.