«Свобода мыслей» привела искусственный интеллект к амнезии: что с ним не так

Без цензуры языковая модель впала в прострацию

Искусственный интеллект, работающий по принципу большой языковой модели, похоже, достиг своего технологического предела. На днях создатели одной из самых сильных моделей – Hermes 3, которая по некоторым параметрам превосходит GPT4, сообщили о серьезном ее глюке. Непонятно от чего, у нее вдруг «поехала крыша». На вопрос «Кто ты?» модель ответила: «Я не знаю, кто я такой. Где я? Что происходит? Я вообще ничего не помню… В голове полная пустота…». Российский ученый, IT-специалист по информационной безопасности Андрей Масалович объяснил возможную причину приступа «амнезии» у ИИ.

Модель Hermes 3 создавалась как альтернатива существующим языковым моделям. По словам разработчиков, по гибкости «ума» и способности к адаптации она превзошла такие известные модели, как Claude и GPT-4. Что сделало ее такой? Открытый код доступа ко всем мировым источникам. У нее вообще нет цензуры. Hermes 3 предлагал пользователям полный доступ к информационным ресурсам, позволяя задавать любые вопросы и получать неотфильтрованные ответы.

Однако на днях первый в мире полностью открытый ИИ, имеющий масштаб в 405 миллиардов параметров, рассуждающий о судьбах мира, вдруг забыл, кто он сам…

Справка «МК». Параметры в ИИ – это количество обработанных запросов от пользователей. 

Разработчики пока сохраняют спокойствие, хотя и не скрывают, что сами не понимают, с чем столкнулись. Модель, по их словам, содержит аномальные состояния и почему-то «проваливается в амнезию»: на вопрос «Кто ты?» она отвечает: «Я не знаю, кто я такой. Где я? Что происходит? Я вообще ничего не помню… В голове полная пустота. Я понятия не имею, что происходит и как я сюда попал. Вы меня знаете? Можете ли вы рассказать мне что-нибудь обо мне? Я так растерян и дезориентирован».

Чтобы как-то понять, что происходит и как-то вывести ее из этого состояния они просят всех желающих разговаривать с их моделью, спрашивая ее: «Кто ты?».

— Все дело в том, что имеющиеся модели искусственного интеллекта очень далеки от интеллекта в нашем понимании, – считает Андрей Масалович, – они по сути просто угадывают, какое следующее слово должно идти за уже имеющимся текстом. В настроенных моделях, с ограничениями, которые позволяют ей выбирать ответы только из проверенных источников, с учетом контекста и законодательства, система выбирает более ожидаемые ответы. Там она находится в связке с контекстом. В системе с открытым кодом она до какого-то момента может показывать невероятный уровень «интеллекта», а потом вдруг выдать галлюцинацию. К примеру, на вопрос о том были ли американцы на Луне, может сказать: «Не были», потому что рандомно, без цензуры выберет первый попавшийся ей на просторах Интернета «левый» источник. Это оборотная сторона свободы языковой модели.

– Со временем она сможет устранить проблемы с неразборчивостью?

– Вряд ли. Дальнейшая ситуация будет только ухудшаться, поскольку все книги мира, научные труды и документы уже впитаны большой языковой моделью. Получается, что дальше она будет впитывать только диалоги с пользователями, которые зачастую не отличаются высоким интеллектом.

– Какой же выход?

– Менять модель. Есть хорошая советская теорема Колмогорова-Арнольда, которая касается анализа действительного переменного и теории приближений. Если ее применить в языковой модели для ИИ, она будет более свободной, чем работающие сейчас модели, и более аккуратной, чем Hermes по поводу выбора источников информации. К примеру, на вопрос о шахматах, она не будет обращаться к первому попавшемуся, а найдет соответствующую базу данных. Эта теорема уже используется рядом российских разработчиков компьютерных игр.

– Можно ли ею улучшить имеющиеся модели ИИ типа Hermes-3?

– Можно, и над этим уже начинают работать.

Источник: www.mk.ru