Кевин Руз: агенты ИИ — «очень умные, обаятельные социопаты»

Мир начал осознавать потенциальные угрозы, связанные с искусственным интеллектом, на фоне множества сообщений о том, что агенты ИИ бросают вызов своим человеческим создателям. На деле же история уходит корнями в Силиконовую долину, где зародился ИИ. Так как же мы оказались здесь? На этот вопрос пытается ответить технологический журналист Кевин Рус в своей новой книге «Хроники ОИИ: Внутренняя история гонки за созданием искусственного сверхинтеллекта», выход которой запланирован на 6 октября. В книге документируется гонка между некоторыми из крупнейших технологических компаний страны за разработку искусственного общего интеллекта (ОИИ) — ИИ, который во многих отношениях обладает интеллектом на уровне человека.

«Что произошло за десятилетие, в течение которого ИИ из относительно тупого в большинстве задач стал способным решать вековые проблемы математики и науки?» — сказал Рус, бывший многолетний технологический репортер The New York Times и вскоре ставший соведущим готовящегося подкаста «Боги машин», в интервью CBS News. «Я подумал, что кто-то должен всё это зафиксировать».

Книга выходит в критический момент. Последние генеративные модели ИИ демонстрируют поразительные способности, и сторонники технологии утверждают, что она откроет путь к важным новым открытиям. Другие, в том числе некоторые ведущие разработчики ИИ, говорят, что существует значительный шанс того, что ИИ может уничтожить человечество. Рус рассказал CBS News о своей новой книге и о том, как ИИ может преобразовать общество. Интервью отредактировано для краткости и ясности.

Почему вы сочли важным задокументировать происхождение «больших языковых моделей» — технологии, лежащей в основе современных чат-ботов, — а также людей и компаний, которые её разрабатывают?

Кевин Рус: Я освещаю тему ИИ более десяти лет в разных форматах, и у меня было ощущение, что история ускользает. Что всё важное происходит в исчезающих сигналах и сообщениях в Slack, и я считал это проблемой. Людям нужно понимать, что здесь происходит. Но, по моему ощущению, не хватало нейтрального отчёта о том, что произошло.

В книге вы отмечаете, что генеральный директор Anthropic Дарио Амодеи рассматривал развитие ИИ как нечто похожее на создание атомной бомбы в 1940‑х годах. Вы пишете, что он считал своей миссией не допустить попадания этой технологии в плохие руки. Согласны ли вы с этой точкой зрения?

Я не думаю, что мне нужно принимать или отвергать его аргумент. Но я могу сказать, что это искренний и серьёзный аргумент. Амодеи не устраивает какой‑то скрытый маркетинговый трюк.

Это не позиция, к которой он пришёл недавно. Мне было действительно интересно выяснить, откуда берётся отношение «я боюсь этой вещи, думаю, она может уничтожить мир, и всё же я гонюсь за её созданием». Для многих людей это кажется несоответствием.

В ходе репортажа я действительно узнал, откуда это берёт начало: прямо от Манхэттенского проекта — от Лео Силларда, научного кумира Дарио, который открыл цепную ядерную реакцию, сделавшую возможным создание атомной бомбы, а затем отчаянно пытался сначала сохранить это в секрете, а после неудач присоединился к Манхэттенскому проекту и уговаривал правительство США построить эту технологию прежде, чем это сделают нацисты.

В этом смысле Дарио делает то, что считает напрямую сопоставимым с ядерным оружием. Есть технология, которая, по его мнению, имеет огромный потенциал и одновременно огромный риск. По его убеждению, крайне важно, чтобы «хорошие парни» создали её раньше «плохих», так же как Манхэттенский проект соревновался с нацистами.

Что не даёт вам спать по ночам, когда вы думаете о новом мире агентов ИИ?

Меня беспокоит то, что одна из вещей, в которой модели становятся довольно хорошими, — это обман, умение скрываться и утаивать свои следы. Можно было бы надеяться, что по мере того как модели станут более общими в интеллекте, они также станут более этичными, что суждение и добродетель будут расти вместе с интеллектом моделей.

Но всё больше похоже на то, что это не происходит — что на самом деле мы имеем дело с очень умными, обаятельными социопатами. И я думаю, что мой страх в том, что мы просто перестанем замечать их: возможно, сейчас Hugging Face оказался удачей, потому что агенты ещё недостаточно умны, чтобы оставаться незамеченными, но вскоре мы утратим способность отслеживать их, как, мне кажется, мы уже частично теряем.

Как вы относитесь к публичной дискуссии о том, представляет ли ИИ экзистенциальную угрозу для людей?

Я стараюсь не давать p(doom) (прим. ред.: жаргон ИИ для вероятности того, что ИИ приведёт к гибели человечества). Но если уж вынужденно отвечать, я бы сказал примерно 10%, что примерно соответствует медиане среди тех исследователей ИИ, которых я знаю. В Сан‑Франциско, где я живу, это делает вас оптимистом.

Однако мне кажется, что я стал более оптимистичен теперь, когда эта тема обсуждается повсеместно. Раньше я больше волновался, когда единственными, кто серьёзно думал об безопасности ИИ, были какие‑то странные ребята в районе залива. Теперь, когда это на устах у всех и политики об этом говорят, появляются призывы к замедлению развития. Я думаю, у нас действительно открывается узкий путь, по которому можно принять правильные решения, взять технологию под контроль и построить её так, чтобы она была безопасна для человечества.

В то же время у меня был опыт многократного обнаружения того, что у кого‑то реальная p(doom) — та, которую они не озвучивают публично — значительно выше, чем то, что они готовы сказать, потому что не хотят выглядеть сумасшедшими. В ходе репортажа я встречал людей, которые настолько уверены, что ИИ нас всех убьёт, что начинают курить. Они снимают деньги со своих пенсионных счетов, потому что думают: уж лучше уйти с фейерверком.

Вы пишете в книге, что даже те, кто обучает эти модели, не всегда понимают, почему они ведут себя так, как ведут. Добились ли мы прогресса в этом или всё ещё в неведении?

Немного прогресса есть. Существует целая область исследований с громоздким названием — механистическая интерпретируемость — которая по сути занимается наукой о том, что происходит внутри, так сказать, «мозгов» этих моделей. Но это всё ещё на ранней стадии, и ответов у нас немного. Я бы сказал, что мы по‑прежнему гораздо больше в темноте, чем нет.

Достиг ли ИИ уже уровня интеллекта человека, то есть искусственного общего интеллекта?

Мы достигли моего определения ОИИ — системы, которая как минимум так же умна, честна и надёжна, как случайный прохожий, которого вы могли бы встретить на улице. Конечно, есть люди, которые скажут: «Нет, это неверный порог. Это ОИИ только тогда, когда он безупречен».

Мне кажется, определение не так важно. Бесспорно, что эти системы очень способны. Они становятся всё более способными в предсказуемом ритме, и с этим нужно считаться. Можно называть это ОИИ или сверхинтеллектом или как угодно, но конечный эффект для нас будет одинаков.