Les fausses références de ChatGPT

Au courant du printemps 2023, un tribunal américain a été saisi d’une cause où un plaignant poursuivait une compagnie aérienne pour une blessure accidentelle subie lors d’un vol.

Dans le mémoire déposé par les avocats du plaignant, on citait plusieurs jugements antérieurs qui établissaient une jurisprudence favorable à leur client. Hélas, ni le juge ni les avocats de la défense ne pouvaient trouver trace de ces jugements dans les archives et bases de données légales. Et pour cause, la firme d’avocats du plaignant ayant utilisé ChatGPT, on s’est ensuite aperçu, à la grande honte des avocats en cause, que ChatGPT avait créé de toutes pièces les références juridiques dont il avait besoin...

« Le programme semble avoir discerné le style labyrinthique d’un argument juridique écrit, mais l’a peuplé de noms et de faits tirés d’une bouillabaisse de vrais jugements. »

L’incident, rapporté par la Presse le 2 juin dernier, avait initialement été signalé par le New York Times. (L’article existe, nous avons vérifié…)

NDLR: Connaissant le syndrome TDAH intense des cours de justice américaine, on peut supposer que le plaignant a ensuite poursuivi ses avocats,… mais ceci est une autre histoire.

On pourrait croire à un incident isolé, mais cela ne semble pas tout à fait le cas. Par exemple, les bibliothécaires du SDIS ont récemment reçu des demandes pour retracer et obtenir les documents de références scientifiques qui se sont avérées complètement fictives...

Un billet du blogue TECHE de Macquarie University offre une fort bonne explication à cette situation: https://teche.mq.edu.au/2023/02/why-does-chatgpt-generate-fake-references/

"It is important to outline that ChatGPT is a ‘large language model’ designed to output human-like text based on the context of the user’s prompt. It uses a statistical model to guess, based on probability, the next word, sentence and paragraph to match the context provided by the user. The size of the source data for the language model is such that ‘compression’ was necessary and this resulted in a loss of fidelity in the final statistical model. This means that even if truthful statements were present in the original data, the ‘lossiness’ in the model produces a ‘fuzziness’ that results in the model instead producing the most ‘plausible’ statement. In short, the model has no ability to evaluate if the output it is producing equates to a truthful statement or not." (extrait de TECHE)

Bref, en exagérant un poil, c'est un peu comme du Nostradamus...