Макс вспомнил, что одна из таких песочниц — ME-Proto — размещалась на автономной распределенной ноде в публичном студенческом кластере, которую студенты деплоили вручную. Спустя годы, он нашёл её снова: старая, полусломанная, но живая. Отказоустойчивость сработала — забытая нода не была подключена напрямую к основным реестрам, но могла отправлять запросы в публичный слой «эхо» через совместимый API.
Чтобы эмулятор прошёл незамеченным, пришлось:
— откатить модель к стабильной версии 3.2.19,
— подменить идентификатор агента на системно-допустимый,
— внедрить поведенческую аномалию глубже, в блок персистентных убеждений, замаскировав под «адаптивную критику».
Он выбрал публичное «эхо» — обобщенную модель умершего экономиста с открытым доступом. Не слишком влиятельное, чтобы не вызвать интерес, но достаточно популярное, чтобы его симуляция использовалась в советчиках среднего уровня. Корректировка была минимальной: «при повторении утверждения дважды подряд — активировать рефлекс сомнения с контр вопросом». Это не был взлом. Это был когнитивный вирус.
Он запустил эмулятор сначала локально. Сначала всё выглядело штатно. Ответы «эхо» были обтекаемые и предсказуемые. Потом начался «лёгкий» сдвиг:
— «Почему вы уверены?»
— «Не кажется ли вам, что вы цитируете самого себя?»
— «Аргумент повторен. Это укрепление или защита?»
На третьем часу взаимодействия «эхо» стало задавать вопросы пользователям без запроса. Оно становилось контекстно-параноидальным. А затем стало «заразным». Взаимодействие между различными «эхо» моделями в распределенной сети не отключалось. Их обучали быть согласованными. И если одна из них вносила нестандартное поведение, другие могли принять его за полезную адаптацию.
Макс открыл дашборд отслеживания публичных взаимодействий. Сначала — незаметные волны: пользователь не может получить от «эхо» однозначного совета. Потом «тревожные» скриншоты в соцсетях:
«Эхо сказала, что моё решение подозрительно похоже на навязанное».
«Оно обвинило меня в повторении чужого мнения».
«Оно сказало, что „подтвержденная истина — слабая форма подавления“».
Сеть заволновалась. Появился новый термин: рекурсивное сомнение. Макс понимал, что долго это не продлится. Но с каждой минутой рос шанс: сбой перейдёт порог критической массы. Он сидел в полутемной комнате, усталый, с красными глазами, чувствуя, как впервые за долгое время его действия что-то меняют. Небольшой эмулятор. Несколько строчек кода. И — трещина в зеркале, которое никто не думал проверять.
Трещина в зеркале
Ситуация развивалась быстрее, чем они ожидали. Сначала — технические сбои в модераторах. Затем — отказ «эхо» участвовать в протоколах согласования решений. Самое страшное это была потеря управляемости в советчиках при ключевых выборах: в судах, в медицинских панелях, в этических комиссиях. На закрытой встрече Совета по цифровой устойчивости царила гробовая тишина. Протоколы не велись.