Мир просыпается от осознания потенциальных угроз, связанных с искусственным интеллектом, на фоне потока сообщений о том, что агенты ИИ все чаще действуют вопреки ожиданиям своих создателей. На самом деле, однако, история уходит корнями в Силиконовую долину, где зародился ИИ. Как же мы оказались здесь? На этот вопрос пытается ответить технологический журналист Кевин Руз в своей новой книге The AGI Chronicles: The Inside Story of the Race to Create an Artificial Superintelligence, выход которой намечен на 6 октября. Книга описывает гонку между некоторыми из крупнейших технологических компаний страны за создание искусственного общего интеллекта (AGI) — ИИ, обладающего по большей части интеллектом на уровне человека.

«Что произошло за десятилетие, когда ИИ из довольно глупого в большинстве задач превратился в способность решать столетние математические и научные проблемы?» — сказал Руз, ранее долгие годы работавший технологическим репортером в The New York Times и вскоре ставший со-ведущим предстоящего подкаста Machine Gods, в интервью CBS News. «Мне казалось, что кто-то должен это записать».

Книга выходит в критический момент. Новейшие генеративные модели демонстрируют поразительные возможности, их сторонники утверждают, что они откроют доступ к важным новым открытиям. Другие, в том числе некоторые ведущие разработчики ИИ, говорят, что существует немалая вероятность того, что ИИ может уничтожить человечество. Руз рассказал CBS News о своей новой книге и о том, как ИИ может изменить общество. Интервью было отредактировано для сокращения и ясности.

Почему вы посчитали важным задокументировать происхождение «больших языковых моделей» — технологии, лежащей в основе последних чат-ботов, — а также людей и компаний, которые её разрабатывают?

Кевин Руз: Я освещаю ИИ больше десяти лет в разных форматах и у меня было ощущение, что история ускользает. Всё важное происходило в исчезающих сигналах и потоках Slack, и мне это казалось проблемой. Думаю, людям нужно понимать, что здесь происходит. Но чего, на мой взгляд, не хватало — так это нейтрального отчёта о том, что произошло.

В книге вы отмечаете, что гендиректор Anthropic Дарио Амодеи сравнивал развитие ИИ с созданием атомной бомбы в 1940‑х годах. Вы пишите, что он считал своей миссией не допустить попадания технологии в плохие руки. Вы согласны с этим взглядом?

Я не собираюсь покупать или не покупать его аргумент. Но могу сказать, что это искренний и серьёзный аргумент. Амодеи не делает какой‑то скрытой маркетинговой уловки.

Это не позиция, к которой он пришёл недавно. Мне было особенно интересно понять, откуда взялось это отношение — «мне страшно от этой вещи; я думаю, она может взорвать мир, и тем не менее я соревнуюсь, чтобы построить её». Для многих это кажется нелогичным.

Но в ходе работы над материалом я действительно выяснил, откуда это берётся: напрямую от Манхэттенского проекта — от Лео Силарда, научного героя Дарио, который открыл цепную ядерную реакцию, благодаря которой стала возможна атомная бомба, а затем в панике сначала пытался сохранить это в секрете, а когда это провалилось, присоединился к Манхэттенскому проекту и настойчиво убеждал правительство США создать эту технологию раньше, чем это сделают нацисты.

В этом смысле Дарио делает то, что считает прямо сопоставимым с ядерным оружием. Есть технология, которая по его мнению имеет огромный потенциал и одновременно огромный риск. По его мнению, крайне важно, чтобы «хорошие» парни построили её раньше, чем плохие, так же как Манхэттенский проект соревновался с нацистами.

Что не даёт вам спать по ночам, когда вы думаете о новом мире агентов ИИ?

Меня беспокоит то, что одна из вещей, в которых модели становятся довольно хороши, — это обман и сокрытие, умение прятать следы. Можно было бы надеяться, что по мере того как модели становятся более общими в своих умениях, они станут и более этичными, что с интеллектом придут и суждение, и добродетель. Но всё больше похоже на то, что этого не происходит — что перед нами очень умные, обаятельные социопаты. И я боюсь, что мы просто не сможем отслеживать их: возможно, Hugging Face была удачей из‑за того, что агенты ещё недостаточно умны, чтобы оставаться незамеченными, но скоро мы, по моему мнению, перестанем иметь возможность за ними следить, как, по-моему, уже начинаем видеть.

Каково ваше мнение по публичной дискуссии о том, представляет ли ИИ экзистенциальную угрозу для людей?

Я стараюсь не называть p(doom) (примечание редакции: жаргон AI для вероятности того, что ИИ приведёт к вымиранию человечества). Но если уж прижимают, то я бы сказал примерно 10%, что примерно соответствует медиане среди тех исследователей ИИ, которых я знаю. В Сан‑Франциско, где я живу, это квалифицирует вас как оптимиста.

Но я считаю себя более оптимистичным теперь, когда эта тема столь широко обсуждается. Меня больше тревожило время, когда всерьёз о безопасности ИИ думали только какие‑то странные люди в Бэй‑Эриа. Теперь, когда это в голове у всех и политики об этом говорят, звучат призывы к замедлению. Мне кажется, открывается узкий путь, по которому мы можем принять правильные решения, взять технологию под контроль и построить её безопасно для человечества.

При этом у меня много раз был опыт, когда я узнавал, что чей‑то реальный p(doom) — тот, о котором они не говорят публично — гораздо выше, чем тот, что они готовы озвучить, потому что не хотят выглядеть сумасшедшими. В ходе репортажа я встречал людей, которые настолько уверены, что ИИ нас всех убьёт, что начинают курить. Они опустошают свои 401(k), потому что думают: можно ужать жить красиво.

Вы пишете в книге, что даже люди, обучающие эти модели, не всегда понимают, почему они ведут себя так, как ведут. Достигли ли мы прогресса в этом или всё ещё во тьме?

Есть небольшой прогресс. Существует целая область исследований с витиеватым названием mechanistic interpretability — по сути наука о том, что происходит внутри так называемых «мозгов» этих моделей. Но это всё ещё ранняя стадия, и у нас мало ответов. Так что я бы сказал: да, мы по‑прежнему скорее в неведении, чем нет.

Достиг ли ИИ уже человеческого уровня интеллекта, то есть искусственного общего интеллекта?

Мы достигли моего определения AGI — системы, которая по крайней мере так же умна, честна и надёжна, как случайный прохожий, которого вы могли бы выбрать на улице. Конечно, есть люди, которые скажут: «Нет, это не тот порог. Это AGI только тогда, когда оно безупречно».

Я не думаю, что определение столь важно. Неоспоримо одно: эти системы очень способны. Они становятся всё более способными в предсказуемом темпе, и нам придётся считаться с этим. Можно называть это AGI или сверхинтеллектом, как кому нравится, но итоговый эффект будет тем же.