Careless Whisper : un outil de transcription basé sur l'IA utilisé par les hôpitaux aurait inventé des morceaux de texte que personne n'a jamais dits
De : https://www.naturalnews.com/2024-10-31-ai-transcription-tool-inventing-things-nobody-said.html
L'outil de transcription est connu sous le nom de Whisper. Il a été développé par le géant de la technologie OpenAI, qui a présenté le programme comme ayant une « robustesse et une précision proches de celles d'un humain ». Une start-up technologique ayant des bureaux en France et aux États-Unis, appelée Nabla, a créé un outil de transcription basé sur les modèles de Whisper qui a attiré l'attention des professionnels de la santé, ce qui a conduit plus de 30 000 cliniciens et plus de 40 systèmes de santé à s'inscrire pour utiliser l'outil de transcription. (Article connexe : Près de la moitié des appareils médicaux alimentés par l'IA approuvés par la FDA manquent de données de validation clinique .)
Des chercheurs, dont plus d’une douzaine d’ingénieurs en informatique, de développeurs et d’universitaires, ont découvert des défauts majeurs dans Whisper, notamment sa propension à inventer des morceaux de texte, voire des phrases entières. Ces mêmes personnes ont averti que certains des textes inventés par Whisper – connus sous le nom d’« hallucinations » – peuvent même inclure des commentaires racistes, une rhétorique violente et des traitements médicaux imaginaires.
Un chercheur de l' Université du Michigan a rapporté que, dans une étude sur des réunions publiques, Whisper avait des hallucinations de morceaux entiers de texte dans huit transcriptions audio sur dix inspectées.
Un ingénieur en apprentissage automatique a déclaré avoir découvert des hallucinations dans environ la moitié des plus de 100 heures de transcriptions Whisper analysées. Un autre développeur a déclaré avoir trouvé au moins un fragment d'hallucination dans chacune des 26 000 transcriptions qu'il a créées avec Whisper.
Un autre groupe de chercheurs a noté que Whisper avait eu au moins 187 hallucinations sur plus de 13 000 extraits audio examinés. Ils ont noté que les hallucinations semblaient surgir pendant les silences dans les enregistrements.
Nabla et OpenAI affirment être conscients des problèmes liés à Whisper et travailler sur des solutions
La propension de l’IA à inventer des conditions médicales et des diagnostics représente un danger évident pour les patients comme pour les médecins, d’autant plus que les principaux utilisateurs de Whisper sont des personnes du secteur de la santé.
L'ancienne directrice du Bureau de la politique scientifique et technologique de la Maison Blanche , Alondra Nelson, a averti que des dizaines de milliers de transcriptions défectueuses dans plus de millions d'enregistrements pourraient potentiellement entraîner des « conséquences vraiment graves » dans les hôpitaux.
« Personne ne veut d'un mauvais diagnostic », a déclaré Nelson. « La barre devrait être plus haute » pour que Whisper continue à être utilisé.
Nabla a déclaré que l'outil de transcription a déjà été utilisé pour transcrire environ neuf millions de visites médicales .
La prévalence de ces hallucinations a conduit des experts, des défenseurs et d’anciens employés d’OpenAI à réclamer une plus grande régulation de l’IA . Au minimum, ils souhaitent qu’OpenAI corrige cette faille.
« Nous prenons ce problème au sérieux et travaillons continuellement à l'améliorer, notamment en réduisant les hallucinations », a déclaré Taya Christianson, porte-parole d'OpenAI. « Pour l'utilisation de Whisper sur notre plateforme API, nos politiques d'utilisation interdisent l'utilisation dans certains contextes de prise de décision à enjeux élevés, et notre fiche modèle pour l'utilisation open source inclut des recommandations contre l'utilisation dans les domaines à haut risque. Nous remercions les chercheurs d'avoir partagé leurs découvertes. »
Martin Raison, directeur technique de Nabla, a déclaré que « même si certaines erreurs de transcription ont parfois été signalées , les hallucinations n'ont jamais été signalées comme un problème important ».
Raison a ajouté qu’elle reconnaît qu’aucun modèle d’IA n’est parfait et que son propre modèle exige que les prestataires de soins médicaux modifient et approuvent rapidement les notes transcrites.
Regardez cet épisode du « Health Ranger Report » alors que Mike Adams, le Health Ranger, interviewe le célèbre lanceur d'alerte technologique Zach Vorhies à propos de la montée en puissance de l'IA .
Cette vidéo provient de la chaîne Health Ranger Report sur Brighteon.com .
Autres histoires connexes :
Les sources incluent :
Commentaires
Enregistrer un commentaire