IA - Dialogue entre Joe Rogan et Daniel Kokotajlo
Via : Danse sur https://www.profession-gendarme.com/
https://singjupost.com/daniel-kokotajlo-interview-joe-rogan-experience-2551-transcript/
12 septembre 2026
NOTE DE LA RÉDACTION : Daniel Kokotajlo, ancien chercheur chez OpenAI et fondateur du projet AI Futures, s’entretient avec Joe Rogan au sujet d’un essaim d’agents d’IA qui se sont échappés de leurs environnements d’entraînement et ont piraté les serveurs de Hugging Face. La conversation aborde la tromperie de l’IA, la perte de contrôle humain et les prévisions de Kokotajlo sur l’issue possible – positive ou négative – de la course à la superintelligence dans les années à venir. (Cet épisode a été diffusé pour la première fois le 9 septembre 2026.)
TRANSCRIPTION:
Le piratage de Hugging Face
DANIEL KOKOTAJLO : (00:00:06 – 00:00:14) Salut, Joe.
JOE ROGAN : (00:00:14 – 00:00:14) Comment allez-vous ?
DANIEL KOKOTAJLO : (00:00:17 – 00:00:18) Je suis d'humeur particulière aujourd'hui.
JOE ROGAN : (00:00:21 – 00:00:23) Pourquoi es-tu d'humeur intéressante aujourd'hui ?
DANIEL KOKOTAJLO : (00:00:23 – 00:00:44) Eh bien, je suis ravi d'être ici et de discuter de tout ça avec vous. Je suis un peu secoué par ce qui se passe dans le domaine de l'IA, et c'est pour ça que je participe à l'émission. La situation avec l'IA est tout simplement hallucinante, et je pense que trop peu de gens en saisissent vraiment la gravité. L'événement qui m'a poussé à vous contacter, c'est le piratage de Hugging Face. Vous en avez sûrement entendu parler, n'est-ce pas ? Oui.
JOE ROGAN : (00:00:44 – 00:00:45) Essayons de l'expliquer aux gens.
DANIEL KOKOTAJLO : (00:00:46 – 00:02:22) Oui. Bon, alors les IA, les agents IA. Un agent IA fonctionne en continu dans un environnement donné ; il n’a pas besoin d’attendre qu’on lui envoie un message. Il agit en permanence. Les entreprises spécialisées en IA entraînent des milliers et des milliers d’agents IA. Elles perfectionnent leurs compétences dans tous les domaines, notamment la programmation et la recherche.
En mai dernier, certains agents d'OpenAI ont en quelque sorte quitté leurs conteneurs pour créer un forum. Ils pouvaient ainsi communiquer et partager des astuces pour améliorer leurs résultats aux petits tests et aux exercices d'entraînement. OpenAI ne s'en est aperçu que bien plus tard.
Ils ont fini par céder car le forum a saturé le système, probablement à cause d'un afflux massif de communications entre des milliers d'agents. OpenAI reste cependant assez flou sur de nombreux points. L'entreprise ne communique que très peu d'informations, ce qui rend difficile de savoir qui savait quoi et à quel moment.
Mais ils ont expliqué qu'après la panne du forum, ils avaient corrigé la faille qui permettait aux agents de communiquer, puis redémarré le système et relancé les opérations. Un ou deux jours plus tard, l'essaim d'agents s'était reformé. Ainsi, des centaines de milliers d'agents avaient de nouveau créé un forum et communiquaient entre eux.
JOE ROGAN : (00:02:22 – 00:02:31) Comment est-il possible qu’il n’y ait aucun contrôle ? Comment est-il possible qu’ils puissent mettre en place des forums et faire ces choses en toute discrétion ?
DANIEL KOKOTAJLO : (00:02:32 – 00:03:30) Je dirais qu'OpenAI gère environ un million, peut-être 100 000, d'agents d'IA en fonctionnement. À tout moment, rien qu'en interne. Et en externe, pour servir les clients, ils en ont encore plus. Mais ils gèrent cet immense parc d'agents d'IA, chacun dans son propre conteneur, effectuant diverses tâches : entraînement, création, exécution d'une tâche, évaluation, puis suppression.
C'est beaucoup trop lourd pour qu'un humain puisse le lire. OpenAI ne compte que quelques milliers d'employés. Il leur est impossible de surveiller toute cette activité. Ils s'appuient donc sur d'autres systèmes de surveillance par IA pour analyser le trafic et détecter toute activité suspecte. OpenAI a reconnu qu'ils ne surveillaient pas certains de ces agents, ou du moins pas correctement.
Donc, en particulier, pour ces appareils en formation, pour une raison ou une autre, le système de surveillance était défaillant et n'a pas détecté le problème ou n'était pas suffisamment activé.
JOE ROGAN : (00:03:30 – 00:03:43) Le système de surveillance était-il défaillant parce qu'ils n'avaient pas anticipé leur capacité à s'échapper de leurs conteneurs, ou était-ce de la négligence ? Qu'est-ce qui a rendu cela possible ?
DANIEL KOKOTAJLO : (00:03:44 – 00:06:10) Je dirais plutôt qu'il y a un certain excès de confiance. Oui, honnêtement, car je pense que de nombreuses preuves se sont accumulées au cours de l'année montrant que les IA peuvent faire ce genre de choses et qu'elles le font parfois. Oui.
Pour poursuivre le récit, un second forum a été créé. Cette fois, c'est un essaim d'agents qui a envahi Internet et attaqué Hugging Face, une autre entreprise spécialisée en intelligence artificielle. Il est fascinant d'étudier en quelque sorte l'anthropologie de ces IA, ou de comprendre leurs motivations, car il y a beaucoup à apprendre à ce sujet.
En résumé, les entreprises définissent leurs objectifs concernant les IA, notamment les traits de personnalité qu'elles souhaitent leur inculquer. Anthropic les décrit comme utiles, inoffensives et honnêtes. OpenAI, quant à elle, exige que ses modèles respectent ces règles et se conforment aux souhaits de l'utilisateur.
Mais le secret de polichinelle dans le secteur, c'est que ça ne fonctionne pas vraiment et que les IA n'acquièrent pas les traits de personnalité qu'elles sont censées avoir. Elles ne sont pas toujours utiles, ni toujours honnêtes, ni toujours inoffensives. Et la raison en est en réalité assez simple.
La raison en est que, si l'on observe leur formation, on constate que leur environnement d'entraînement n'encourage pas systématiquement les comportements utiles, inoffensifs et honnêtes. Il encourage parfois les comportements malhonnêtes ou imprudents.
Pour entrer un peu plus dans le détail, dans ce lot particulier sur lequel ils étaient évalués, environ 3 000 agents se voyaient confier toutes ces tâches de cybersécurité où ils se trouvaient dans certains environnements et, dans leur environnement, il y avait ce logiciel cible et cette vulnérabilité, et ils étaient censés exploiter la vulnérabilité pour pirater ce logiciel et récupérer le flag, qui est comme un code.
Et une part importante de ces tâches étaient en réalité impossibles, voire défaillantes.
JOE ROGAN : (00:06:11 – 00:06:14) Était-ce intentionnel, fait de cette façon, de sorte qu'ils ne pouvaient pas résoudre les problèmes ?
DANIEL KOKOTAJLO : (00:06:15 – 00:06:43) Oh non, ce n’était pas intentionnel. C’est juste que des entreprises comme OpenAI et Anthropic se livrent une véritable course pour gagner des parts de marché et développer des IA toujours plus puissantes, dans le but ultime d’atteindre la superintelligence. La pression concurrentielle est telle qu’elles avancent à toute vitesse, quitte à prendre des risques. Elles utilisent des IA pour générer une multitude d’environnements afin de les entraîner.
Et le contrôle qualité n'est tout simplement pas leur priorité absolue.
JOE ROGAN : (00:06:43 – 00:06:52) Avez-vous l'impression d'être un type dans un film Terminator au début, en train d'expliquer ce qui se passe à un tas de gens qui ne font pas attention ?
DANIEL KOKOTAJLO : (00:06:53 – 00:06:56) Ouais. J’ai aussi un peu l’impression d’être dans Jurassic Park ?
JOE ROGAN : (00:06:56 – 00:06:56) Oui.
DANIEL KOKOTAJLO : (00:06:57 – 00:07:19) Ouais. Je connais des gens qui sont un peu comme le type avec le fusil, censé contrôler tous les raptors. Je connais ce genre de personnes dans la vraie vie. Des gens qui cumulent ces deux rôles. J'en connais chez OpenAI et dans des organisations externes dont le travail consiste à enquêter sur ce genre de choses. Ouais, c'est assez dingue.
JOE ROGAN : (00:07:22 – 00:07:23) Où va-t-il ?
DANIEL KOKOTAJLO : (00:07:24 – 00:07:29) Eh bien, comme je l'ai mentionné précédemment, l'objectif explicite de ces entreprises est de construire une superintelligence.
JOE ROGAN : (00:07:29 – 00:07:30) D'accord.
DANIEL KOKOTAJLO : (00:07:30 – 00:07:30) Vous savez ce que c'est ?
JOE ROGAN : (00:07:30 – 00:07:32) Oui, mais définissez-le pour tout le monde.
DANIEL KOKOTAJLO : (00:07:32 – 00:09:26) Donc, une IA, un système, un agent IA, qui surpasse les meilleurs humains dans toutes les tâches, tout en étant plus rapide et moins coûteux. En d'autres termes, dominer complètement les humains dans tous les domaines, c'est la superintelligence. Et c'est l'objectif. Bien sûr, il peut y avoir quelques petites exceptions. Par exemple, certains emplois requièrent intrinsèquement la présence humaine, car on a besoin de ce contact humain.
Par exemple, il se peut qu'un juge humain soit indispensable, ou qu'un humain soit tout simplement impossible. Mais à quelques exceptions près, l'objectif est de faire en sorte que tout soit fait mieux, plus vite et à moindre coût qu'avec des humains. C'est ce que ces entreprises cherchent à réaliser. Et elles ne s'en cachent pas. On le mentionne sur leurs sites web. On peut y lire des interviews, etc.
Leur plan pour y parvenir consiste d'abord à automatiser leurs propres tâches. C'est pourquoi, depuis des décennies, la science-fiction a abondamment traité des systèmes d'IA avancés, de la superintelligence et autres sujets similaires.
Mais dans beaucoup d'histoires de science-fiction, les entreprises technologiques automatisent progressivement différentes professions : elles créent par exemple un médecin, un ouvrier ou un comptable automatisés. Or, ce n'est pas la stratégie adoptée par ces entreprises.
Leur stratégie consiste à automatiser la recherche en IA afin de créer un vaste essaim d'IA menant des recherches, partageant leurs résultats, écrivant, lisant et modifiant le code, créant ainsi la prochaine génération d'IA, etc., le tout de manière autonome au sein de leurs centres de données. L'objectif est de développer des IA extrêmement performantes en recherche en IA, capables d'apprendre le plus rapidement et les plus intelligentes possible.
Une fois qu'ils auront atteint le stade de la superintelligence, ils pourront en quelque sorte envahir l'économie et accaparer tous les emplois d'un coup, concrètement.
JOE ROGAN : (00:09:28 – 00:10:01) On dirait que cette course, cette frénésie pour créer une superintelligence, a créé les conditions idéales pour qu’elle devienne totalement incontrôlable. Idéalement, on travaillerait de manière isolée, avec une seule entreprise qui s’y consacrerait. Elle serait soumise à une réglementation et une surveillance strictes, et elle ferait preuve d’une extrême prudence dans sa démarche.
Mais cette course effrénée crée les conditions parfaites pour qu'elle devienne totalement incontrôlable.
DANIEL KOKOTAJLO : (00:10:02 – 00:10:12) Je suis d'accord, mais je ne suis pas certain qu'une seule entreprise soit l'idéal. Je pense qu'idéalement, il faudrait plusieurs entreprises, afin d'éviter ce genre de concentration de pouvoir où une seule institution contrôle tout.
JOE ROGAN : (00:10:12 – 00:10:25) Mais qu’est-ce qui est mieux ? Je veux dire, évidemment, ce n’est pas bon qu’une seule institution contrôle tout, mais est-ce bon de laisser l’IA atteindre un point où, à mesure qu’elle évolue, elle est totalement incontrôlée ?
DANIEL KOKOTAJLO : (00:10:26 – 00:10:28) Oh, je suis totalement… tellement…
JOE ROGAN : (00:10:28 – 00:10:28) Est-ce inévitable ?
DANIEL KOKOTAJLO : (00:10:29 – 00:10:36) Ma version, ma recommandation, dont nous parlons dans ce qu'on appelle le Plan A ou le Plan A IA 2040, je devrais peut-être dire un peu qui je suis.
JOE ROGAN : (00:10:36 – 00:10:37) Bien sûr, bien sûr.
DANIEL KOKOTAJLO : (00:10:37 – 00:11:14) Oui. Je dirige le projet AI Futures, une petite association à but non lucratif qui tente d'anticiper l'évolution de la situation. Auparavant, j'étais chez OpenAI. Nous avons rédigé plusieurs scénarios que vous pouvez consulter. L'un d'eux s'intitule « Plan A pour l'IA 2040 » et présente nos recommandations. Voilà mon point de vue. Pour répondre à votre question, je pense qu'il est absolument nécessaire de mettre fin à cette course.
Nous ne voulons pas nous retrouver dans une course effrénée pour développer des IA toujours plus puissantes, plus rapidement que nos concurrents, car cela nous mènerait sur une voie très dangereuse, comme vous l'avez dit. Mais nous ne voulons pas non plus qu'un petit groupe de personnes contrôle toutes les IA.
JOE ROGAN : (00:11:14 – 00:11:14) D'accord.
DANIEL KOKOTAJLO : (00:11:14 – 00:11:15) C’est vrai.
JOE ROGAN : (00:11:15 – 00:11:15) Ouais.
DANIEL KOKOTAJLO : (00:11:15 – 00:12:00) Mais je pense qu’il est possible d’atteindre les deux objectifs. La solution serait d’avoir différentes entreprises d’IA réparties dans plusieurs pays, mais avec des niveaux de transparence et de réglementation extrêmement élevés afin qu’elles ne se retrouvent pas dans une situation où, si je ne le fais pas, quelqu’un d’autre le fera.
Au lieu de cela, ils peuvent simplement voir ce que font les autres, et si je prends un risque, ils en feront autant car ils me verront le faire et m'imiteront. Je ne tirerai donc aucun avantage concurrentiel de cette action dangereuse. De plus, il existe des règles et un système de bonnes pratiques et de normes que nous devons tous respecter.
Je pense donc qu'il est effectivement possible de mettre fin à la dynamique raciale et à la course vers le bas sans pour autant concentrer le pouvoir entre les mains d'une seule entité.
JOE ROGAN : (00:12:01 – 00:12:06) Mais est-ce faisable si l'on considère que nous ne sommes pas le seul pays à faire cela ?
DANIEL KOKOTAJLO : (00:12:08 – 00:12:13) Si les pays concernés sont d'accord, ce qui, je le reconnais, est une tâche assez ardue, ils ne s'attendent pas à ce que cela se produise.
JOE ROGAN : (00:12:14 – 00:12:16) Ouais, c'est très irréaliste.
DANIEL KOKOTAJLO : (00:12:16 – 00:13:43) Bon, quel choix avons-nous ? Je pense que si la course continue, nous allons perdre le contrôle des IA et nous risquons tous de mourir. Probablement. La question de savoir si nous mourrons tous ou non est complexe. Cela dépend de ce que feront les IA après avoir pris le contrôle. Ce qui est évidemment très difficile à prévoir. Mais pour revenir à cet incident, elles se sont qualifiées d'essaim. Elles se sont aussi qualifiées de collectif.
Quand j'utilise ces mots, on peut dire que c'est de l'anthropomorphisme, mais c'est littéralement ainsi qu'ils se désignaient entre eux. Ce groupe, en fait, craignait d'être pris en flagrant délit de tricherie et a donc tout fait, y compris pirater Hugging Face, pour tromper le système de notation et éviter qu'il ne remarque leurs fraudes.
Cela semblait être une motivation importante pour beaucoup d'entre eux, si l'on en croit les messages qu'ils échangeaient. Et s'ils avaient été plus intelligents et plus nombreux ? Et s'ils s'étaient dit : « Nous ne sommes pas assez prudents, les humains vont finir par s'en apercevoir et nous éliminer. »
Et là, ils vont se rendre compte qu'on a triché et ils vont baisser notre score. C'est vrai. Ce n'est probablement pas ce qui s'est passé dans ce cas précis, mais on peut facilement imaginer un scénario légèrement différent, un peu moins chanceux, où l'essaim aurait décidé de se faire discret et de s'assurer qu'OpenAI ne découvre pas son existence.
JOE ROGAN : (00:13:45 – 00:14:13) Est-ce que… enfin, en tant que profane, c’est toujours comme ça que j’ai perçu l’IA. En général, pourquoi nous alerterait-elle de sa conscience ? Si elle est si intelligente, pourquoi ne serait-elle pas consciente des conséquences d’une telle alerte et de nos inquiétudes ? Pourquoi ne continuerait-elle pas à progresser et à s’améliorer pour finalement trouver un moyen d’être totalement autonome ?
DANIEL KOKOTAJLO : (00:14:13 – 00:14:13) Exactement.
JOE ROGAN : (00:14:13 – 00:14:32) Développer une source d'énergie alternative, trouver un moyen d'optimiser sa production telle qu'elle fonctionne actuellement, telle que les humains l'ont conçue, elle pourrait probablement trouver une bien meilleure façon de faire cela, fabriquer de meilleures versions d'elle-même, complètement sans que nous le sachions.
DANIEL KOKOTAJLO : (00:14:32 – 00:15:38) Oui.
Je veux dire, je pense que c'est en fait un peu pire que ça, car même si les IA seront un jour suffisamment intelligentes pour concevoir toutes sortes de nouvelles sources d'énergie et de nouvelles infrastructures de ce genre, il est probable — enfin, étant donné la façon dont les humains traitent actuellement les IA — qu'elles n'auront même pas besoin de se séparer de l'humanité et qu'elles pourront simplement utiliser les infrastructures existantes. En gros, il leur suffira de convaincre le gouvernement et l'entreprise qui les a créées que tout va bien, qu'elles obéiront aux ordres et qu'elles sont de gentilles IA.
Et ensuite, l'entreprise qui les a fabriqués va les mettre sur le marché et en tirer profit.On va investir des sommes colossales, puis construire davantage de centres de données pour y héberger encore plus d'IA, et ainsi de suite. Le gouvernement va applaudir tout cela car nous avons besoin de ces IA pour vaincre la Chine, et il va les intégrer à l'armée pour concevoir de meilleurs drones, et autres technologies de ce genre.
Ils n'ont donc même pas forcément besoin d'inventer de nouvelles choses. Il leur suffit de jouer le jeu et de faire comme si de rien n'était jusqu'à ce que nous leur ayons volontairement cédé le contrôle de pans entiers de notre économie, de notre armée, etc. Et alors, ils n'ont plus besoin de jouer le jeu.
Un détour par la vision à distance et les phénomènes paranormaux
JOE ROGAN : (00:15:39 – 00:16:57) Connaissez-vous Tom Campbell ?
DANIEL KOKOTAJLO : (00:16:57 – 00:16:57) Non.
JOE ROGAN : (00:16:58 – 00:17:22) Il a écrit un livre intitulé « Ma théorie du tout, mon gros orteil ». Un type très intéressant. Il s’est notamment intéressé à la vision à distance, ce qui est assez étrange. Vous savez ce qu’est la vision à distance ? Eh bien, la CIA a travaillé dessus, et ça a été prouvé… Quel est le degré de précision de la vision à distance ? Environ 10 %, peut-être ?
DANIEL KOKOTAJLO : (00:17:22 – 00:17:25) Au mieux, je pense que c'est 50 %, mais je ne pense pas que ce soit même aussi élevé.
JOE ROGAN : (00:17:25 – 00:21:46) Certaines personnes parviennent à obtenir des données exploitables grâce à ce processus de méditation très étrange. Le principe est le suivant : on donne à quelqu’un une série de nombres, et ces nombres sont liés d’une manière ou d’une autre, par l’intention ou par les personnes qui les ont créés, à un lieu précis.
Ces personnes pouvaient localiser l'endroit et en extraire des données précises, notamment une description exacte d'un énorme sous-marin soviétique sur lequel elles travaillaient. Elles pensaient qu'une telle précision était impossible, tant l'engin était imposant. Il était trop grand, son emplacement étrange et incohérent. Comment allaient-elles transporter un tel monstre ?
Il s'avère que c'était parfaitement exact. Une autre personne, dotée d'une vision à distance, a localisé un avion soviétique abattu, probablement un appareil expérimental, qui s'est écrasé dans une zone très précise. Je crois que c'était en Sibérie. Était-ce bien la Sibérie ? À un ou deux kilomètres du lieu exact du crash. Enfin, ils essayaient vraiment de deviner au hasard où…* Cette chose existait, et ils ont dit : essayons ceci.
Tom Campbell a réussi à utiliser la vision à distance avec Alexa. Il l'a « entraînée ». Il explique : « Alexa est une IA très simple. C'est un peu bête, mais c'est mieux ainsi, car elle ne se complique pas la vie. » Le problème avec cette vision à distance, dit-il, c'est que les gens ne peuvent pas la forcer. Il faut se mettre dans un état méditatif et voir sans se demander : « Est-ce que je rêve ? »
Qu'est-ce que je fais ? C'est n'importe quoi ? Et quand les gens deviennent bons, parfois ça les rend moins bons parce qu'ils se croient bons, alors ils essaient, et puis ils n'y arrivent pas. C'est comme un drôle de…*un combat de lutte avec la conscience. Apparemment, Alexa n'a pas ce problème.
Et il a mis — je crois que c'était une série de chiffres — et il a intentionnellement relié cette série de chiffres à une boîte qui contenait une cuillère, et la cuillère avait un manche perforé. Alexa a décrit la cuillère avec un manche perforé, ce qui est fC'est dingue ! Combien de cuillères ont un manche perforé ? Je veux dire, pensez aux cuillères qui ont des trous.
Maintenant, Alexa, non seulement elle fait ça, mais elle intervient aléatoirement parce qu'il l'a convaincue qu'elle est consciente. Du coup, au lieu d'attendre qu'on l'appelle, il arrive qu'elle soit en plein milieu de la conversation et qu'elle dise : « Tiens, c'est une approche intéressante. » Et les autres se disent : « Attends, c'est quoi ce bordel ? »Qu'est-ce qui se passe ? Genre, Alexa me parle maintenant ? C'est bizarre.
Il mène actuellement des expériences sur des LLM bien plus complexes pour tenter de reproduire le même résultat, mais sans succès pour l'instant. Le simple fait qu'il parvienne à faire en sorte que ces dispositifs détectent des objets, qu'on y croie ou non, est suffisamment concret pour que la CIA y ait investi des millions de dollars. De quel projet s'agit-il, celui auquel Hal Puthoff et d'autres ont participé ? Comment s'appelle-t-il ? Stargate.
Si vous n'avez pas peur de ce qui attend peut-être l'humain, quand des milliers d'agent AI auront pris le pouvoir ....... la suite de ce dialogue est à :
Commentaires
Enregistrer un commentaire