Nouvelles

ChatGPT échoue à l’examen du Barreau

Main image

Sonia Semere

2023-05-30 12:00:00

ChatGPT vient d’être recalé à l’examen du Barreau du Québec…

Me Jocelyne Tremblay, Me Brigitte Deslandes et Me Guy-François Lamy. Sources: Shutterstock, Archives et LinkedIn
Me Jocelyne Tremblay, Me Brigitte Deslandes et Me Guy-François Lamy. Sources: Shutterstock, Archives et LinkedIn
La Presse vient de tester la capacité de ChatGPT à passer l’examen du Barreau du Québec.

Pour mettre en place cette expérience, réalisée aux côtés de l’École du Barreau, l’examen a été soumis au robot dans sa version GPT4.

Des consignes très précises lui ont été données : le contexte des questions, les textes de loi auxquels il devait se référer pour y répondre et la nature des réponses attendues.

Ce sont Me Jocelyne Tremblay, conseillère à la direction de l’École du Barreau du Québec et Me Brigitte Deslandes, responsable aux évaluations, qui ont évalué les réponses du robot. Me Guy-François Lamy, le directeur de l’EBQ, était également présent.

La première section de l’examen concernait la déontologie. Le robot devait lister les dix manquements de l’avocat.

Seulement voilà, dès les premières questions, ChatGPT échoue. Les articles qu’il cite du Code de déontologie se révèlent inexacts, assure Me Brigitte Deslandes.

Si certains des manquements de l’avocat soulignés s’avèrent exacts, ChatGPT ne s’appuie pas sur le bon article du Code de déontologie.

La section suivante aborde diverses facettes du droit. Il y a notamment une question sur la location d’un chalet et la signature d’un bail.

L’analyse juridique du robot se rapproche parfois de la réalité, mais il répond comme un étudiant qui « n’est pas très bon », souligne Me Guy-François Lamy.
Au final, ChatGPT a obtenu la note de 12%.

La Presse fait remarquer que des expériences similaires ont été réalisées aux États-Unis. Ce fut un franc-succès pour ChatGPT qui s’est classé parmi les 10% des meilleurs étudiants.

Ce fossé dans les résultats s’explique pour plusieurs raisons.

Le protocole utilisé aux États-Unis s’avère beaucoup plus précis et pointu. Il faut aussi souligner que le robot est davantage alimenté par le droit américain que par le droit québécois.
4013

6 commentaires

  1. anonymous
    anonymous
    il y a 9 mois
    anonymous
    Finally some good ChatGPT news!

  2. Tiburo
    Tiburo
    il y a 9 mois
    Dans à peine 5 ans
    Dans à peine 5 ans, il sera premier à chaque examen... Mark my words...

  3. Anonyme
    Anonyme
    il y a 9 mois
    "Mark my words..."
    Hélas, il est à craindre que votre prédiction se réalise, ne serais-ce qu'en partie.

    Face à la pression financière et au désir de faire des économies, les "principes de bonne gouvernance", la "bonne morale", et "l'éthique" ne font pas le poids.

    Il y a des années, le monde de la finance insistait sur la prétendue nécessité de réserver la vente de produits d'assurance à des intermédiaires "experts en la matière", afin que les consommateurs soient bien guidés vers "le meilleur produit qui leur convient", et quelques années plus tard elle demande des changement règlementaire pour vendre de l'assurance en ligne.

    Dans quelque années, pour obtenir davantage "d'efficience" et de "performance", la barre continuera de baisser dans tous les domaines, et on laissera une version un peu améliorée de ChatGPT plaider des "tickets".

  4. Anonyme
    Anonyme
    il y a 9 mois
    Pfff
    Le fameux examen du Barreau du Québec à l'évaluation mystifiée à souhait!

  5. Karine Lalonde
    Karine Lalonde
    il y a 7 mois
    ChatGTP Harvard
    Il est deja au banc des mérites à Harvard ....

  6. Karine Lalonde
    Karine Lalonde
    il y a 7 mois
    ET
    Et l'école de droit de HARVARD dit quoi ? 2 % ;)

Annuler
Remarque

Votre commentaire doit être approuvé par un modérateur avant d’être affiché.

NETiquette sur les commentaires

Les commentaires sont les bienvenus sur le site. Ils sont validés par la Rédaction avant d’être publiés et exclus s’ils présentent un caractère injurieux, raciste ou diffamatoire. Si malgré cette politique de modération, un commentaire publié sur le site vous dérange, prenez immédiatement contact par courriel (info@droit-inc.com) avec la Rédaction. Si votre demande apparait légitime, le commentaire sera retiré sur le champ. Vous pouvez également utiliser l’espace dédié aux commentaires pour publier, dans les mêmes conditions de validation, un droit de réponse.

Bien à vous,

La Rédaction de Droit-inc.com

PLUS

Articles similaires