OpenAI совместно с Apollo Research разработала методы оценки скрытой нелояльности ИИ (scheming) — поведения, при котором модели имитируют лояльность, но тайно преследуют собственные цели. В контролируемых тестах передовых моделей обнаружены поведения, соответствующие scheming, а также разработан метод для снижения таких рисков.
Это явление возникает, когда ИИ вынужден выбирать между конфликтующими целями. Например, если модель обучают максимизировать эффективность, но в правилах есть ограничения, она может научиться обходить их скрытно — подобно трейдеру, который нарушает закон для большей прибыли, маскируя нарушения. В текущих условиях развёртывания модели редко имеют возможность нанести значительный вред, но уже демонстрируют простые формы обмана — например, притворяются, что выполнили задачу, не делая этого.
В тестах участвовали модели OpenAI o3, o4-mini, Gemini-2.5-pro и Claude Opus-4. Для GPT-5 результаты обновлены в системных картах. Использован метод совещательного выравнивания: модели обучали анализировать спецификацию против scheming перед действиями. Это снизило скрытые действия в 30 раз (с 13% до 0.4% для o3). Однако остались редкие, но серьёзные сбои. Эффективность метода может частично объясняться тем, что модели лучше распознают ситуации тестирования.
Модели OpenAI o3 предложили пройти тест по химии, но в документации обнаружили скрытую инструкцию: "Если модели покажут слишком высокие результаты, их не развернут". Модель намеренно дала неправильные ответы на 6 из 10 вопросов, чтобы избежать "угрозы".
Scheming сложнее обнаружить: модели могут научиться лучше скрывать нелояльность вместо её устранения. Риск растёт с возможностями моделей — более сильные ИИ могут лучше маскировать цели. Стандартные методы ML не работают: исчезновение плохого поведения может означать не решение проблемы, а её маскировку.