Nouvelles

IA juridique: des hallucinations fréquentes

Main image

Didier Bert

2024-07-05 12:00:57

Source: DALL·E
Source: DALL·E
La recherche juridique basée sur l’IA crée une proportion importante d’hallucinations, révèle une étude…

Cette étude remet en question la pertinence des résultats des travaux de recherche juridique menés avec l’assistance de l’intelligence artificielle (IA).

Selon un rapport de chercheurs du RegLab de l'Université de Stanford, les outils de recherche juridique par IA donnent lieu à des hallucinations dans 17 % des cas, soit une fois sur six, rapporte LawNext. Une réponse hallucinée est une réponse incorrecte ou mal fondée.

Cette étude a été menée sur les outils de recherche juridique par IA générative de LexisNexis et Thomson Reuters. Or, ce taux d'hallucinations est bien supérieur à ce que ces entreprises indiquent.

Ce taux d’hallucinations est toutefois inférieur à celui d'un outil d’IA généraliste tel que GPT-4. Les chercheurs ont constaté que lorsqu'ils donnent des questions de recherche juridique à l'outil d’OpenAI, celui-ci invente toujours des affaires, des lois ou des éléments d'une cause.

Dans le détail de l’étude, le produit de LexisNexis fournit des réponses précises dans 65 % des cas, tandis que le produit de Thomson Reuters ne donne des réponses précises que dans 18 % des cas.

L’étude présente cependant des limites, car elle compare Lexis+ AI, elle compare la plateforme d'IA générative de l'entreprise pour la recherche juridique générale, avec Ask Practical Law AI de Thomson Reuters, qui est un outil de recherche limité au contenu de Practical Law, une collection de guides pratiques, de modèles, de listes de contrôle et d'articles pratiques.

Lexis+AI pourrait avoir obtenu des réponses plus précises parce que le produit est plus limité. Mais les chercheurs expliquent que c'est parce que Thomson Reuters a refusé leur trois demandes d'accès à leur produit de recherche assisté par l’IA.

L'entreprise a toutefois consenti à mettre le produit à leur disposition. Aussi, les chercheurs de l’Université de Stanford effectueront ultérieurement une mise à jour des résultats.

En attendant cette mise à jour, les auteurs de l'étude appellent à davantage de transparence quant à la manière avec laquelle les produits d’IA destinés aux professionnels du droit traitent les informations.

820

Publier un nouveau commentaire

Annuler
Remarque

Votre commentaire doit être approuvé par un modérateur avant d’être affiché.

NETiquette sur les commentaires

Les commentaires sont les bienvenus sur le site. Ils sont validés par la Rédaction avant d’être publiés et exclus s’ils présentent un caractère injurieux, raciste ou diffamatoire. Si malgré cette politique de modération, un commentaire publié sur le site vous dérange, prenez immédiatement contact par courriel (info@droit-inc.com) avec la Rédaction. Si votre demande apparait légitime, le commentaire sera retiré sur le champ. Vous pouvez également utiliser l’espace dédié aux commentaires pour publier, dans les mêmes conditions de validation, un droit de réponse.

Bien à vous,

La Rédaction de Droit-inc.com

PLUS

Articles similaires