Les employés d'AI devraient avoir le « droit d'avertir » des problèmes imminents | Commentaire

Des règles raisonnables permettant aux employés des centres de recherche en IA d'avertir de problèmes imminents sont judicieuses étant donné la puissance croissante de la technologie.

À présent, nous commençons à comprendre pourquoi tant d’employés de la sécurité d’OpenAI sont partis ces derniers mois. Cela n’est pas dû à une percée secrète et dangereuse (nous pouvons donc laisser de côté « qu’est-ce qu’Ilya a vu ? »). Il s'agit plutôt d'une approche orientée processus, née du sentiment que l'entreprise, telle qu'elle fonctionne aujourd'hui, pourrait négliger les dangers futurs.

Après une longue période de silence, les citations commencent à s’accumuler. « La culture et les processus de sécurité ont été relégués au second plan par rapport aux produits brillants », a déclaré le mois dernier Jan Leike, ancien co-directeur d’OpenAI Superalignment. « OpenAI est vraiment enthousiaste à l’idée de créer l’AGI, et ils se précipitent sans relâche pour être les premiers à y parvenir », a déclaré Daniel Kokotajlo, ancien employé de l’équipe de gouvernance, peu de temps après.