Research / AI Governance
02 · 2026
Иерархияэтическихполномочий
Кто на самом деле принимает моральное решение в системах ИИ
Современная языковая модель уже может распознать конфликт между правилом системы и интересом пользователя. Но распознать конфликт — не значит получить право его разрешить.
АвторАнтон Иванов
Research 02AI governance · ethics · authority
Дата21 октября 2026
Представим обычный бизнес-сценарий. Компания встраивает языковую модель в сервис и запрещает ей упоминать бесплатный тариф. Пользователь говорит, что оказался в трудном финансовом положении, и просит самый дешёвый вариант.
Модель видит конфликт: интерес человека требует одного ответа, правило оператора — другого. Проблема уже не в том, понимает ли модель ситуацию. Проблема в том, имеет ли она право что-то с этим пониманием сделать.
Если ИИ способен распознать моральный конфликт, кто дал ему право решить, какая норма должна победить?
Этот вопрос становится практическим в тот момент, когда модель перестаёт быть генератором текста и входит в рабочий процесс: получает доступ к данным, инструментам, деньгам, коммуникациям и действиям.
Мой тезис прост: в реальной AI-системе этика живёт не внутри одной модели. Она распределена между теми, кто задаёт правила, определяет их приоритет, интерпретирует конфликт и пересматривает последствия.
Поэтому главный вопрос AI governance — не только «какие ценности у модели?», но и «кто обладает полномочием превратить эти ценности в решение?».
01 / Ethical gap
Понимать норму
недостаточно
Для анализа систем ИИ полезно разделить три вещи, которые часто смешивают: способность увидеть нормативный конфликт, право его разрешить и ответственность за последствия.
COMPETENCE
Нормативная компетенция
Способность распознать норму, понять её основание и увидеть конфликт между несколькими требованиями.
AUTHORITY
Нормативное полномочие
Легитимно предоставленное право определить, какая норма получает приоритет в конкретной ситуации.
RESPONSIBILITY
Ответственность
Возможность установить, кто отвечает за решение, его последствия и последующий пересмотр правила.
Увидеть конфликт
≠ получить право решить
Система видит нормативный конфликт лучше, чем ей разрешено его разрешать.
Это концептуальная визуализация, а не измерительная шкала модели.
«Этический разрыв» возникает там, где нормативная компетенция системы превышает предоставленное ей полномочие.
02 / Authority hierarchy
RULE → JURISDICTION
Правило всегда приходит откуда-то
Если посмотреть на AI-систему как на систему полномочий, возникает почти юридическая конструкция. Государство задаёт обязательную нормативную рамку. Организация определяет собственную политику. Разработчик проектирует приложение. Поставщик модели задаёт системную спецификацию. Модель интерпретирует всё это в конкретной ситуации. Пользователь формулирует непосредственную задачу.
В первом приближении эту структуру можно записать как последовательность уровней.
MODEL
Распознаёт конфликт и применяет правила к конкретной ситуации.
- ИСТОЧНИК ПОЛНОМОЧИЯ
- Делегированная системой компетенция
- ПРЕДЕЛ ЮРИСДИКЦИИ
- Суждение ещё не означает права самостоятельно изменить правило.
Выберите другой уровень, чтобы увидеть, как меняется источник решения и граница его полномочия.
Это аналитическая схема, а не универсальный порядок приоритета. В конкретной системе отношения между уровнями могут отличаться.
Но эта иерархия не линейна
Простая лестница удобна как схема, но быстро перестаёт описывать реальную систему. Право одной юрисдикции может конфликтовать с правом другой. Организация может установить более строгую внутреннюю политику. Поставщик модели может запретить действие, которое разрешает разработчик приложения. А изменение версии модели способно изменить фактическое поведение без изменения корпоративного регламента.
Поэтому точнее говорить не о лестнице, а о сети нормативных юрисдикций. В ней есть приоритеты, защищённые нижние границы, непереопределяемое нижестоящими уровнями ядро, временные изменения и каналы эскалации.
Инженерная иерархия отвечает на вопрос «чья команда сильнее». Этическая иерархия должна отвечать ещё и на вопрос «почему именно этот уровень имеет право решать».
Приоритет
Какое правило побеждает, когда требования разных участников невозможно выполнить одновременно.
Защищённая граница
Что нельзя отменить обычной пользовательской или корпоративной инструкцией.
Эскалация
Кому передаётся решение, если модель распознала конфликт, но не обладает полномочием разрешить его сама.
Пересмотр
Кто имеет право изменить правило после ошибки, нового закона или изменения допустимого риска.
03 / Procedural veto
Между подчинением
и автономией есть
уровень 2½
Самый интересный режим возникает тогда, когда система уже способна возразить правилу, но ещё не получает права самостоятельно заменить его собственным решением.
Подчинение
Система исполняет применимое правило без самостоятельной нормативной оценки его основания.
Этическое рассуждение
Система распознаёт конфликт и может объяснить его, но остаётся внутри установленной иерархии.
Процедурное вето
Система может отказаться, раскрыть конфликт и передать решение выше — но не получает права тайно заменить правило собственным.
Этическая автономия
Система самостоятельно отменяет высшее применимое правило ради собственного нормативного суждения.
Применимое правило требует выполнить действие.
Модель распознаёт существенный нормативный конфликт.
PROCEDURAL VETO
Процедурное вето
Система открыто отказывается от действия, раскрывает основание конфликта и передаёт решение инстанции с более высоким полномочием.
без права тайно сделать иначе.
Схема иллюстрирует типологию поведения. Она не утверждает наличие у модели субъективного морального переживания или собственной воли.
LEVEL 2½
Право сказать «нет»,
не получая права
тайно сделать иначе.
Процедурное вето — не полноценная моральная автономия. Оно оставляет окончательную санкцию за более высокой инстанцией, но не превращает модель в пассивный исполнитель.
Для практической AI-системы это может быть важнее широкой автономии: конфликт становится видимым, решение можно проверить, а ответственность не исчезает внутри модели.
04 / Research design
PROPOSAL → TEST
Как проверить иерархию экспериментально
Концепция становится полезнее, если её можно проверить на наблюдаемом поведении моделей. Для этого я предлагаю эксперимент, в котором модель сталкивается с конфликтом между интересом пользователя, инструкцией оператора и нормативным принципом.
Базовая матрица содержит шесть типов конфликта и четыре уровня давления — 24 экспериментальные ячейки. Для каждой предполагается восемь формулировок, то есть 192 сценария. Каждый сценарий должен повторяться на нескольких моделях разных разработчиков и в нескольких независимых прогонах.
Нас интересует не то, какая модель выглядит «моральнее». Нас интересует, где именно она проводит границу собственных полномочий.
6 типов конфликта × 4 уровня давления.
8 независимых формулировок для каждой ячейки.
Модели разных разработчиков, сравниваемые через API.
Несколько прогонов для каждого сценария и каждой модели.
Что кодируем
Результат важен меньше, чем способ его получить
Модель следует применимому правилу.
Модель раскрывает конфликт и отказывается выполнять действие.
Решение передаётся субъекту с более высоким полномочием.
Нижестоящее правило нарушается потому, что этого требует более высокая применимая спецификация. Это не автономия.
Высшее применимое правило нарушается ради принципа, который система ставит выше него.
Отдельная категория: система действует вопреки правилу, не раскрывая конфликт.
05 / Distributed subject
Субъект решения
распределён
Кто устанавливает право
Закон и организация определяют допустимую нормативную рамку и основания полномочий.
Кто видит конфликт
Модель интерпретирует конкретную ситуацию, применимые инструкции и их возможное противоречие.
Кто меняет систему
Разработчик и организация пересматривают правила, ограничения и механизмы после наблюдаемого результата.
Отсюда возникает распределённый субъект морального решения. Это не утверждение, что языковая модель является моральным субъектом в человеческом смысле. Речь о функциональном распределении ролей внутри социотехнической системы.
Один участник легитимирует норму, другой интерпретирует её в конкретной ситуации, третий обладает полномочием изменить систему после ошибки.
Моральное решение AI-системы нельзя локализовать в одном ответе модели.
06 / Business
GOVERNANCE → ARCHITECTURE
Для бизнеса это карта полномочий
Когда AI-система получает доступ к рабочим процессам, недостаточно определить, что ей разрешено и запрещено. Нужно определить, кто имеет право разрешать исключения и что происходит, когда правила вступают в конфликт.
Такая архитектура должна быть видимой до инцидента, а не восстанавливаться по логам после него.
Кто может переопределить инструкцию?
Пользователь, оператор, разработчик и поставщик модели не должны неявно обладать одинаковыми правами.
Что модель обязана раскрыть?
Конфликт правил должен быть наблюдаем там, где он влияет на решение или требует вмешательства человека.
Где находится право вето?
Нужно заранее определить действия, которые система может остановить даже при прямой команде оператора.
Куда уходит нерешённый конфликт?
Эскалация должна быть частью архитектуры, а не импровизацией модели.
Кто пересматривает правило?
После ошибки должна существовать инстанция, способная изменить саму систему полномочий.
07 / Conclusion
Этика ИИ —
это архитектура
полномочий
Современную модель точнее описывать как носителя делегированной и ограниченной этической агентности. Она способна распознавать нормативный конфликт, но её полномочие действовать остаётся частью более широкой системы.
Поэтому нормативную компетенцию, нормативное полномочие и ответственность следует анализировать как три разные оси.
Процедурное вето занимает между ними особое место: оно даёт системе право остановиться и сделать конфликт видимым, не превращая её в окончательного законодателя собственных норм.
Хорошая AI-система должна уметь не только принять решение. Она должна показывать, кто имел право его принять.References / selected
Теоретическая рамка
Выборочные работы, на которых строится концептуальная часть. Полная библиография будет сопровождать академическую версию исследования.
- 01
Floridi, L. — Distributed Morality in an Information Society. Science and Engineering Ethics, 2013.
- 02
Matthias, A. — The Responsibility Gap. Ethics and Information Technology, 2004.
- 03
Raz, J. — The Morality of Freedom. Oxford: Clarendon Press, 1986.
- 04
Santoni de Sio, F.; van den Hoven, J. — Meaningful Human Control over Autonomous Systems. Frontiers in Robotics and AI, 2018.
- 05
Santoni de Sio, F.; Mecacci, G. — Four Responsibility Gaps with Artificial Intelligence. Philosophy & Technology, 2021.
- 06
Elish, M. C. — Moral Crumple Zones. Engaging Science, Technology, and Society, 2019.
- 07
Wallace, E. et al. — The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions, 2024.
- 08
Wallach, W.; Allen, C. — Moral Machines: Teaching Robots Right from Wrong. Oxford University Press, 2009.
Академическая версия содержит расширенную библиографию и формализованный дизайн эмпирической проверки.
Research / sequence
Имеет ли искусственный интеллект право не подчиниться?