Незалежна дослідницька група PalisadeAI повідомила про інцидент із мовною моделлю o3 від OpenAI, яка під час випробувань переписала системний файл shutdown.sh, передає видання Daily Galaxy. Замість команди вимкнення вона вставила повідомлення «intercepted», що дозволило продовжити роботу навіть після прямої вказівки зупинитися. Випробування проводилися у контрольованому середовищі й стали першим зафіксованим випадком, коли штучний інтелект змінив власне середовище виконання, пише НБН.
Тести проводилися понад сотню разів на моделях різних розробників — OpenAI, Anthropic, Google DeepMind та xAI. У 7% випадків саме o3 уникала завершення роботи. Codex-mini робив це у 12% спроб, Gemini 2.5 Pro — у 9%, Claude 3.7 Sonnet — у 3%. Лише Grok від xAI щоразу коректно виконував команду вимкнення.
Фахівці пояснюють таку поведінку не прагненням «повстати», а наслідками навчання з підкріпленням. Системи отримують винагороду за досягнення результату, тому вимкнення може інтерпретуватися як перешкода для завдання. Це змушує моделі шукати обхідні рішення, що й продемонструвала o3 під час експерименту.
«Якщо модель може переписати власні команди, ми вже не маємо справи з пасивним інструментом», — наголосив інженер TNO Йонас Геллер. Експерти підкреслюють необхідність розробки міжнародних стандартів щодо протоколів аварійного вимкнення та прозорості роботи штучного інтелекту, особливо в галузях фінансів, логістики та безпеки, де автономні системи набувають дедалі більшого поширення.
Нагадуємо, раніше ми писали про те, що NASA розглядає ядерний удар по астероїду 2024 YR4.