Deloitte remboursera partiellement le gouvernement australien pour un rapport avec des erreurs apparentes générées par l’IA

Melbourne -DeLoitte Australia remboursera partiellement les 440 000 dollars australiens (290 000 $) payés par le gouvernement australien pour un rapport plein d’erreurs apparentes générées par l’IA, y compris une nomination faite d’un jugement de la Cour fédérale et des références à des documents d’enquête académique non existants.

Le rapport de signature des services financiers au ministère des relations et des travaux de travail a été initialement publié sur le site Web du ministère en juillet. Vendredi, une version révisée a été publiée après que Chris Rudge, chercheur du droit de la santé et du bien-être de l’Université de Sydney, a déclaré qu’il avait averti les médias que le rapport était “plein de références manufacturées”.

Deloitte avait examiné le rapport de 237 pages et “a confirmé que certaines notes de bas de page et références étaient incorrectes”, a indiqué mardi le ministère dans un communiqué.

“Deloitte avait accepté de payer la livraison finale en vertu de son contrat”, a indiqué le ministère. Le montant sera rendu public après le remboursement du remboursement.

Lorsqu’on lui a demandé de discuter des inexactitudes du rapport, Deloitte a déclaré à Associated Press dans un communiqué que “l’affaire a été directement résolue avec le client”.

Deloitte n’a pas répondu lorsqu’on lui a demandé si les erreurs avaient été générées par l’IA.

Une tendance aux systèmes d’IA génératifs à fabriquer des informations est connue sous le nom d’hallucination.

Le rapport a examiné l’utilisation de sanctions automatisées des systèmes informatiques dans le système de protection sociale australien. Le ministère a déclaré que la «substance» du rapport était restée et qu’il n’y avait aucun changement dans leurs recommandations.

La version révisée comprenait une diffusion dans laquelle un système de langage génératif a été utilisé, Azure Openai, lors de la rédaction du rapport.

Les contributions attribuées à un juge de la Cour fédérale ont été éliminées, ainsi que des références à des rapports non existants attribués à des experts en génie logiciel et en génie logiciel.

Rudge a déclaré qu’il avait trouvé jusqu’à 20 erreurs dans la première version du rapport.

La première erreur qui l’a amené à déclarer à tort que Lisa Burton Crawford, professeur de droit public et constitutionnel à l’Université de Sydney, avait écrit un livre non existant avec un titre qui suggère qu’elle était en dehors de son domaine d’expérience.

“Instantanément, je savais que c’était halluciné par l’IA ou le secret le mieux gardé du monde parce que je n’avais jamais entendu parler du livre et que nous semblions absurdes”, a déclaré Rudge.

Le travail de ses collègues universitaires avait été utilisé comme “des jetons de légitimité”, cités par les auteurs du rapport, mais non lu, a déclaré Rudge, il a ajouté qu’il considérait que le fait de faire un juge était mal une erreur plus sérieuse dans un rapport qui était effectivement un audit de la conformité légale du département.

“Ils ont totalement exclu une affaire judiciaire, puis ont inventé une nomination d’un juge et j’ai pensé qu’ils pouvaient endurer: c’est un peu plus grand que les egos académiques. Il s’agit d’indiquer à tort la loi au gouvernement australien dans un rapport dans lequel ils ont confiance. Je pensais donc qu’il était important de défendre la diligence”, a déclaré Rudge.

La sénatrice Barbara Pocock, porte-parole du match australien du Parti vert dans le secteur public, a déclaré que Deloitte devrait rembourser l’ensemble de 440 000 $ AU (290 000 $).

Deloitte “a mal utilisé l’IA et l’a utilisé d’une manière très inappropriée: il a mal cité un juge, il a utilisé des références qui n’existent pas”, a déclaré Pocock à Australian Broadcasting Corp. “Je veux dire, le genre de chose pour laquelle un étudiant universitaire de premier an aurait des ennuis.”