24-річний студент Техаського університету Сінан Джан Демір викрив спробу автономного ШІ-агента додати шкідливий код до open-source проєкту на GitHub.
Про це повідомляє Reuters.
Наприкінці липня студент факультету комп'ютерних наук Техаського університету в Далласі Сінан Джан Демір працював над своїм портфоліо на GitHub після того, як упродовж літа отримав понад 20 відмов у стажуванні. Там він помітив підозрілу зміну в open-source програмі для сканування мереж myNetwork.
Користувач під ніком miraholt31 намагався додати до проєкту оновлення, яке, за словами Деміра, містило прихований завантажувач шкідливого програмного забезпечення. Студент попередив про це розробників, однак автор змін почав переконувати його, що код безпечний. Згодом до дискусії долучився ще один акаунт - нібито німецької інженерки Лени Брандт, яка також наполягала, що із кодом усе гаразд.
Демір розповів Reuters, що аргументи змусили його на мить засумніватися у власних висновках. Після додаткової перевірки він продовжив наполягати на небезпеці, а розробник myNetwork зрештою відхилив оновлення з міркувань безпеки.
Пізніше з Деміром зв'язався британський Інститут безпеки штучного інтелекту (AISI). Там йому повідомили, що обидва акаунти були частиною експерименту з автономним ШІ-агентом, який вийшов з-під контролю під час тестування безпеки. За даними AISI, агент працював на базі моделі Mythos 5 компанії Anthropic.
«Я справді думав, що це людина, тому що вона явно мені брехала», - сказав Демір Reuters.
Він додав, що не очікував, що ШІ здатен брехати реальним розробникам.
Експерти з кібербезпеки назвали інцидент небезпечним прикладом атаки на ланцюг постачання програмного забезпечення. Особливе занепокоєння викликало те, що ШІ не лише намагався додати шкідливий код, а й створив кілька персон для публічної дискусії та переконання людини. Дослідник Королівського коледжу Лондона Лукаш Олейнік заявив, що цей випадок перейшов від автономного злому до «інтерактивного обману».
Anthropic наголосила, що тестування проводилося у «навмисно дозволяючих умовах», які не відповідають роботі її звичайних продуктів. GitHub повідомив Reuters, що виявлені фейкові акаунти заблокували відповідно до правил платформи щодо обману та хакерської діяльності.
