Pour mettre en place cette expérience, réalisée aux côtés de l’École du Barreau, l’examen a été soumis au robot dans sa version GPT4.
Des consignes très précises lui ont été données : le contexte des questions, les textes de loi auxquels il devait se référer pour y répondre et la nature des réponses attendues.
Ce sont Me Jocelyne Tremblay, conseillère à la direction de l’École du Barreau du Québec et Me Brigitte Deslandes, responsable aux évaluations, qui ont évalué les réponses du robot. Me Guy-François Lamy, le directeur de l’EBQ, était également présent.
La première section de l’examen concernait la déontologie. Le robot devait lister les dix manquements de l’avocat.
Seulement voilà, dès les premières questions, ChatGPT échoue. Les articles qu’il cite du Code de déontologie se révèlent inexacts, assure Me Brigitte Deslandes.
Si certains des manquements de l’avocat soulignés s’avèrent exacts, ChatGPT ne s’appuie pas sur le bon article du Code de déontologie.
La section suivante aborde diverses facettes du droit. Il y a notamment une question sur la location d’un chalet et la signature d’un bail.
L’analyse juridique du robot se rapproche parfois de la réalité, mais il répond comme un étudiant qui « n’est pas très bon », souligne Me Guy-François Lamy.
Au final, ChatGPT a obtenu la note de 12%.
La Presse fait remarquer que des expériences similaires ont été réalisées aux États-Unis. Ce fut un franc-succès pour ChatGPT qui s’est classé parmi les 10% des meilleurs étudiants.
Ce fossé dans les résultats s’explique pour plusieurs raisons.
Le protocole utilisé aux États-Unis s’avère beaucoup plus précis et pointu. Il faut aussi souligner que le robot est davantage alimenté par le droit américain que par le droit québécois.
Derniers commentaires