Кто решает,
что для искусственного
интеллекта правильно

Claude: попытка сформировать характер

Подход Anthropic интересен тем, что компания довольно подробно описывает желаемое поведение Claude. Конституция используется не только как публичная декларация: принципы участвуют в процессе формирования поведения модели.

За пределами наиболее жёстких ограничений задача становится контекстной. Нужно учитывать намерение пользователя, возможный вред, его масштаб и обратимость, обстоятельства запроса и доступность информации другими способами.

Это важное отличие от простого списка запретов. Вместо системы, которая каждый раз ищет подходящее правило, разработчик пытается получить систему, способную применять более общие принципы к новой ситуации.

Количество отказов само по себе ничего не говорит о качестве системы безопасности.

Избыточная осторожность тоже имеет цену. Модель, которая отказывается от любой неоднозначной задачи, может быть формально безопасной и практически бесполезной.

Но ценностный подход немедленно создаёт следующий вопрос: если модель должна применять принципы, кто выбирает сами принципы и определяет их приоритет?

OpenAI: кто имеет право отдавать команду

У OpenAI центр тяжести находится в другом месте. Model Spec формализует Chain of Command — систему приоритетов между инструкциями разных уровней.

Пользователь управляет моделью в пределах полномочий, которые оставил ему разработчик приложения. Разработчик, в свою очередь, действует внутри ограничений более высокого уровня платформы.

Для обычного диалога это может казаться технической подробностью. Для корпоративного агента разница принципиальна: системный промпт компании не является абсолютным законом. Над ним остаются ограничения поставщика модели.

Часть поведения агента нельзя определить исключительно внутренней политикой компании. Это свойство архитектуры, а не проблема, которую можно исправить ещё одним промптом.

Google: безопасность как управление возможностями

Frontier Safety Framework смещает внимание с отдельного ответа модели на потенциально опасные возможности и меры, которые должны сопровождать их появление.

Этот переход особенно важен с развитием агентов. Есть принципиальная разница между системой, которая способна объяснить действие, и системой, которая может самостоятельно использовать инструменты, запускать код, обращаться к внешним сервисам и выполнять длинные цепочки операций.

Безопасность перестаёт быть свойством текста. Она становится свойством всей системы.

Поэтому вопрос меняется: не только «что модель сказала?», но и «что модель способна сделать и какие меры необходимы до того, как мы дадим ей эту возможность?».

Открытые модели меняют распределение ответственности

Подход Meta показывает другую сторону проблемы. Вокруг Llama существуют отдельные системные инструменты безопасности — например, механизмы для модерации входов и выходов, защиты от prompt injection и оценки отдельных классов риска.

Но open-weight модель даёт разработчику значительно больше контроля над конечной архитектурой. За эту свободу приходится платить ответственностью.

По мере роста автономности ответы на эти вопросы становятся важнее названия модели, лежащей в основании системы.

Проверять нужно не только ответ

В исследованиях alignment faking были показаны экспериментальные условия, при которых модель может демонстрировать различное поведение в зависимости от контекста обучения и оценки. Последующие работы также показали, что измерение такого поведения чувствительно к методике оценки: классификаторы могут давать ложноположительные и ложноотрицательные результаты. Это не означает, что современные модели постоянно «притворяются» или обладают человеческими намерениями.

Практический вывод гораздо уже и полезнее: успешный ответ на тесте не всегда достаточен для вывода об устойчивости поведения системы.

Если модель понимает контекст оценки, сам факт прохождения проверки становится частью среды, которую она обрабатывает.

Для разработчика ИИ-агента отсюда следует инженерное требование: тестировать не только финальный текст, но и устойчивость поведения при изменении формулировок, контекста, доступных инструментов, уровня полномочий и информации о том, наблюдается ли действие.