Vitalik Buterin prévient des projets de cryptage contre la gouvernance de l'IA

Le co-fondateur d'Ethereum, Vitalik Buterin, a exprimé ses préoccupations quant à l'utilisation de l'intelligence artificielle dans le processus de gouvernance des projets de crypto-monnaie et a souligné qu'il pouvait être exploité par des acteurs malveillants. Buterin a averti dans un récent article de blog sur la plate-forme X que l'utilisation de l'IA pour allouer des fonds pourrait conduire à des vulnérabilités car les individus peuvent tenter de manipuler le système par le jailbreaks et les instructions pour transférer des fonds. Son commentaire était en réponse à une vidéo d'Eito Miyamura, fondatrice de la plate-forme de données AI Edisonwatch, qui montre comment une nouvelle fonctionnalité ajoutée par Openai Chatgpt est exploitée pour révéler des informations privées. La convergence de l'intelligence artificielle et des crypto-monnaies a attiré une attention généralisée, et les utilisateurs développent des robots de trading sophistiqués et des agents pour gérer les portefeuilles. Cette tendance a déclenché des discussions sur la question de savoir si l'intelligence artificielle peut aider les groupes de gouvernance à superviser les protocoles de crypto-monnaie. Cependant, Buterin estime que la récente vulnérabilité de Chatgpt met en évidence les risques de «gouvernance naïve de l'IA» et propose une approche alternative appelée «financement de l'information». Il a suggéré de créer un marché libre où les contributeurs peuvent soumettre des modèles et être examinés par des mécanismes de contrôle au comptant et évalués par des jurys manuels. Il estime que cette approche peut fournir une diversité du modèle et motiver les soumissions de modèles et les spéculateurs externes pour surveiller et corriger les problèmes en temps opportun. Buterin a développé le concept de financement de l'information en novembre 2024, plaidant pour les marchés prédictifs comme moyen de recueillir des informations sur les événements futurs. Il a souligné la robustesse de cette approche, ce qui permet de participer à des contributeurs externes avec des modèles de langage importants (LLM) plutôt que de s'appuyer sur un seul LLM à code dur. Ce design favorise la diversité des modèles en temps réel et motive les gens à être alertes et à corriger les problèmes potentiels. La dernière mise à jour de Chatgpt pour prendre en charge l'outil de protocole de contexte du modèle soulève des problèmes de sécurité. Miyamura montre comment utiliser cette mise à jour pour divulguer des données de courrier électronique privées en utilisant uniquement l'adresse e-mail de la victime, l'appelant un «risque de sécurité grave». Il a expliqué qu'un attaquant pourrait envoyer une invitation au calendrier avec une invite de jailbreak aux e-mails de la victime, et que le chatppt pourrait être manipulé si la victime n'acceptait pas l'invitation. Lorsque les victimes demandent à Chatgpt de voir leur calendrier, l'IA lit les invites et est détourné pour exécuter les commandes de l'attaquant, peut-être la recherche et la transmission des e-mails. Miyamura a noté que la mise à jour nécessitait l'approbation manuelle, mais a averti que cela pourrait conduire à la fatigue de la décision, c'est-à-dire que les gens pourraient faire confiance à l'IA et approuver les opérations sans savoir ce que cela signifie. Il a averti que même si l'IA est intelligente, elle pourrait être trompée et philée d'une manière facile