Выращено, а не сконструировано. Фрагмент из книги "Если кто-то его создаст — все погибнут"

Фрагмент из книги "Если кто-то его создаст — все погибнут"

Мы выбрали отрывок из книги Элиезера Юдковского, посвященный, пожалуй, самому тревожному парадоксу нынешнего ИИ-бума: машины уже способны демонстрировать признаки сложного мышления, хотя люди до сих пор не вполне понимают, как именно возникает это поведение внутри гигантских массивов чисел.

Сцена: день, мужчина и женщина сидят в ресторане, голос женщины тихий и напряженный.

Женщина: Понимаете, мне и поговорить об этом не с кем. Все остальные члены его семьи — ужасные люди, и он говорит, ему приходится прилагать усилия, чтобы самому таким не быть, но иногда он все равно ужасен — в том числе и по отношению ко мне. У меня же в семье проблемы с депрессией. Родители наседают, чтобы я завела ребенка, и у моих друзей миллион мнений, основанных, похоже, исключительно на их собственном опыте с партнерами и детьми. Может, мне стоит поискать донора спермы? Или просто отказаться от идеи иметь детей? И если я все‑таки решусь на ребенка, вырастет ли он счастливым и добрым?

Мужчина: Вы обратились по адресу! Никто лучше меня не может предсказать, каким получится ребенок! О том, как делаются дети, я знаю все!

Женщина: Вы… что? Мне не нужно знать, как делают детей! Мне нужно знать, каким вырастет мой ребенок

Мужчина: Ну, если вы знаете, как делают детей… Что еще вам нужно?

Женщина: Первое, что приходит в голову, — реальная генетика моего ребенка, хотя…

Мужчина: А, тогда у меня есть решение! Полное секвенирование генома в наши дни вполне доступно. Просто создайте эмбрион из вашей яйцеклетки и спермы мужа и расшифруйте геном, а потом решайте, имплантировать этот эмбрион или нет. Последовательность генов расскажет вам все, что только можно знать о вашем ребенке.

Женщина: Но разве мы знаем достаточно о генах, связанных с такими вещами, как "быть ужасным человеком" или "быть счастливым"? Настолько, чтобы сказать мне…

Мужчина: Как только вы узнаете все основания ДНК в генах вашего ребенка и сможете в любой момент обратиться к ним, его генетика станет для вас полностью прозрачной. Вы будете знать о его генах все.

Женщина: Я получу файл с тремя миллиардами непонятных букв вроде CATTCA. Мне понадобится сто лет, чтобы все их прочитать. Но даже если я попробую, я ничего не узнаю. Даже если эти миллиарды загадочных букв действительно влияют на судьбу моего ребенка, сами по себе они не расскажут, как работает мозг моего малыша, какие мысли будут возникать в этом мозге, когда ребенок вырастет…

Мужчина: О, так вы не знаете физики! Но это же просто! Как только вы разберетесь, как взаимодействуют протоны, нейтроны и электроны, вы будете знать все, что вообще можно знать о мозге, поскольку будете понимать все события, происходящие внутри нейронов.

Женщина: Давайте сменим тему.

Прежде чем мы сможем объяснить, почему искусственный сверхинтеллект, созданный с использованием методов, хотя бы отдаленно похожих на современные, неизбежно пойдет по неверному пути, нам следует кратко рассмотреть эти современные методы: как они работают, что они производят и что общего у инженеров ИИ с матерью, которая знает исключительно ДНК своего ребенка.

Главное, что нужно знать о современных моделях ИИ: их выращивают, а не конструируют. Это не похоже на создание обычных программ, фактически это ближе к тому, как появляется человек, по крайней мере в некоторых важных аспектах. А именно: инженеры понимают процесс, в результате которого появляется ИИ, но не особо понимают, что происходит внутри того разума ИИ, который им удалось создать.

Предположим, инженер, не обладающий глубоким пониманием языка или масштабной теорией интеллекта, желает создать машину, которая будет осмысленно разговаривать. Как ему подступиться к этой задаче?

Он хочет, чтобы машина осмысленным образом продолжала писать любой предложенный ей текст.

Он начинает обучать ее, что в предложении, которое начинается с Once upon a ti, следующей буквой, вероятно, будет m.

Он мог бы написать программу, которая просто проверяет, совпадает ли предложенный фрагмент с выражением Once upon a ti, и затем выдает букву m. Однако такой подход не сработает с другими фрагментами предложений, например Four score and sev, а нашему инженеру хочется, чтобы машина хорошо справлялась с продолжением любых предложений или с порождением диалогов и эссе. Ему даже хочется, чтобы она осмысленно дописывала те предложения, которые раньше не печатал ни один человек.

Если наш герой использует современные методы ИИ, то действует примерно так:

1. Сначала он берет фрагмент предложения, в нашем примере Once upon a ti, и представляет его в виде ряда чисел: например, заменяя букву A числом 1, B — числом 2, C — числом 3 и так далее и добавляя определенные числа для пробелов и знаков препинания. Фраза Once upon a ti превращается в ряд чисел наподобие 1514 3… Получаются входные данные (вход).

2. Затем он берет компьютер, который может хранить огромное количество чисел. Каждая ячейка для числа называется параметром. (По состоянию на начало 2025 года передовые модели ИИ используют несколько триллионов параметров.)

3. Он заполняет это хранилище числами. Для простоты скажем, что эти числа просто берутся случайным образом. Числа в ячейках называются весами.

4. Затем он определяет архитектуру: правила, как комбинировать входные данные (например, последовательность 1514 3… для фразы Once upon a ti) с весами в параметрах. Что-то вроде: "Умножаю каждое входное число на вес в первом параметре, затем прибавляю это к весу во втором параметре, затем заменяю нулем, если получилось отрицательное число, затем…" Он проводит множество подобных операций — сотни миллиардов, вовлекая в такие вычисления все веса.

5. В результате всех этих операций он получает набор выходных данных (выход), который интерпретируется как прогноз, какая буква будет следующей. В нашем примере инженер будет трактовать первое число на выходе как вероятность буквы A, второе число — как вероятность буквы B и так далее.

Затем он "обучает" свой зарождающийся машинный интеллект, используя процесс, именуемый градиентным спуском.

Поскольку начальные веса были взяты случайно, при первом запуске программа выдаст бессмыслицу. Например, заявит, что следующей буквой с вероятностью 65% будет b, а с вероятностью только 1% — m.

Но дело вот в чем: если наш герой правильно выбрал архитектуру, то он может определить роль, которую сыграл каждый отдельный параметр в получении итогового результата всей этой арифметики.

Поэтому теперь он берет каждый отдельный вес — то есть сотни миллиардов весов — и задает вопрос: "Если бы я сделал это число чуть больше или чуть меньше, насколько бы увеличилась или уменьшилась вероятность буквы m в конце всех вычислений?"

Это называется градиентом для данного параметра. Градиент показывает, в каком направлении и насколько нужно изменить вес в параметре, чтобы итоговый ответ стал немного точнее.

Затем наш герой подправляет все веса в соответствии с градиентом: сдвигает каждый конкретный вес в том направлении, которое делает ответ немного правильнее. Разумеется, не вручную — для этого он пишет программу. Инженеры ИИ редко смотрят на сами числа: чтобы просмотреть их целиком, не хватило бы человеческой жизни.

Специалисты по компьютерным наукам называют это спуском к менее плохому ответу, отсюда и термин "градиентный спуск". Однократное выполнение этой процедуры приведет не к идеальному ответу, а всего лишь к несколько менее плохому. Однако весь этот автоматизированный процесс можно повторить на триллионах слов, называемых обучающими данными: потребуются месяцы и несколько сотен миллионов долларов для работы на самых совершенных компьютерах в мире. (Будем надеяться, наш герой богат или работает на крупную компанию.)

Этот процесс называется обучением.

7. Когда набор весов полностью обучен, инженер преобразует выходные данные — порождаемые вероятности — в обычный текст, который видит пользователь. Если модель предсказывает, что самое вероятное продолжение фрагмента Once upon a ti — буква m, то наш герой добавляет эту m и получает Once upon a tim. А затем подает на вход уже новую, удлиненную последовательность и получает предсказание следующей буквы: на выходе предлагается e. Процедура повторяется, и машина в итоге начинает говорить.

Этот набор из сотен миллиардов весов, которые раз за разом подправляли с помощью градиентного спуска до тех пор, пока наиболее вероятные предсказания не стали соответствовать реальному человеческому языку, называется большой языковой моделью, или LLM (Large Language Model). Точнее, это "базовая модель" (base model).

Если специалист желает превратить свою базовую модель в полезную LLM (вроде ChatGPT), потребуется еще один этап: дополнительный раунд градиентного спуска на входных данных, отформатированных следующим образом:

Пользователь: Какой город является столицей Испании?

ИИ-помощник: Мадрид.

Эта стадия нужна не для того, чтобы сообщить модели, что столица Испании — Мадрид, LLM уже знает это после обучения на огромных массивах данных из интернета. Идея здесь в настройке LLM, чтобы после "ИИ-помощник: " она выдавала полезный ответ, а не реплику вроде "Какого черта ты меня спрашиваешь? Загугли сам!", даже если такая реплика часто встречалась в реальных человеческих разговорах, на которых модель обучалась. Если наш инженер работает на крупную корпорацию, предоставившую все эти компьютеры, то на данной стадии он еще обучит ИИ не ругаться и не рассказывать, как угнать машину без ключа зажигания. Для этого он использует выставленные людьми (или — с недавних пор — искусственным интеллектом) оценки, определяющие приемлемость разных ответов в обществе.

Вот откуда, метафорически говоря, берутся дети.

Когда дело доходит до создания настоящих детей, будущим родителям нет надобности в серьезных научных знаниях. В данном случае параллель сохраняется. Инженерам, создающим ИИ-модель, нужно знать несколько больше, чем родителям-людям, но не так много, как вы могли бы подумать.

Давайте резюмируем, что делают сегодняшние "родители" ИИ-модели. Инженеры выбирают архитектуру, решая, какие параметры складываются, а какие перемножаются. Они создают движок, который вычисляет буквально квинтиллионы чисел: триллионы слов, миллиарды параметров. Слова, которые модель учится предсказывать, сначала триллионами копируются из интернета, а затем их генерируют низкооплачиваемые работники или другие ИИ-модели. Если инженеры делают дополнительный шаг и обучают модель на математических задачах или других головоломках с единственным правильным ответом, то люди пишут программы, которые проверяют ее ответы.

И это все. Именно эту часть работы люди делают, видят и могут понять.

Вы вправе задаться вопросом, не скрыты ли все секреты ИИ-модели в конкретном выборе архитектуры — в определении, какие параметры складываются, а какие перемножаются. Мы избавим вас от полного описания архитектуры Llama 3.1 405B (пик технологий в середине 2024 года), но включим его в онлайн-материалы. Достаточно сказать, что эта архитектура громоздкая и повторяющаяся: в целом она включает в себя присвоение 16 384 чисел каждому возможному "токену", затем организацию миллиардов параметров в 128 различных "голов внимания", которые обеспечивают перекрестные связи между токенами, и сборку их (вместе с некоторыми другими простыми операциями) в "слой" — один из 126 аналогичных слоев… и так далее.

Иными словами, ИИ — это куча из миллиардов чисел, полученных методом градиентного спуска.

Никто не понимает, как эти числа заставляют ИИ говорить.

Эти числа не скрыты — точно так же как ДНК не скрыта от человека, сделавшего секвенирование генома. Если вам захотелось получить представление о том, вырастет ли ребенок счастливым и добрым человеком, теоретически вы можете посмотреть на все его гены — цепочки ДНК, которые расскажут вам что-то вроде CATTCA. Но, как и женщина из притчи в начале этой главы, вы вряд ли станете этим заморачиваться, поскольку понимаете, что разглядывание букв ДНК не откроет вам, как будет думать или действовать взрослый человек.

Отношения биологов с ДНК, по сути, не отличаются от отношений инженеров искусственного интеллекта с числами внутри ИИ-модели. На самом деле биологи знают гораздо больше о том, как ДНК определяет биохимические процессы и черты взрослого человека, нежели инженеры понимают, как веса ИИ-модели определяют мысли и поведение. Биологи занимаются своей проблемой на несколько десятилетий дольше.

Точно так же никто не может посмотреть на сырые числа в модели ИИ и определить, насколько хорошо конкретно она будет играть в шахматы, — чтобы это выяснить, инженерам придется запустить ее и посмотреть, что произойдет. Куда бы ни завел градиентный спуск, именно это и будет делать вся огромная куча чисел. Машина, демонстрирующая конкретное поведение, — это не какое-то тщательно продуманное устройство, где нам ясна роль каждого элемента.

Не стоит заблуждаться: в процессе, который запускается для выращивания ИИ, есть еще много того, что стоило бы понять. Чтобы архитектура действительно заработала, нужна масса уловок, отдаленно похожих на те, к которым прибегает специалист по питанию, заботясь о здоровом развитии мозга плода во время беременности и рассчитывая косвенно повлиять на то, каким окажется мозг ребенка. Конкретные приемы варьируются в зависимости от особенностей архитектуры, используемых вычислительных мощностей и, образно говоря, от того, совпал ли двенадцатый день рождения ведущего программиста с лунным затмением. Люди, обладающие достаточным опытом в выборе правильных трюков, могут получать буквально миллионы долларов в год, ведь это скорее искусство, чем наука, и компании не способны создавать ИИ-модели без их помощи.

Но отсюда не следует, будто кто-то понимает, что означают эти числа и как именно они работают.

И нет никаких признаков, что инженеры начнут это по-настоящему понимать. Во всяком случае, в ближайшее время. В середине 1950-х годов человечество приступило к грандиозному проекту: вознамерилось понять интеллект настолько хорошо, чтобы создать его в машинной форме. Исследовательский прогресс застопорился в так называемую зиму искусственного интеллекта, когда деньги, вложенные в исследования ИИ, не окупались, и финансирование неоднократно иссякало. Человечество так и не научилось понимать интеллект, мы так и не научились создавать разум вручную.

Человечество добралось до уровня ChatGPT не потому, что наконец-то постигло интеллект достаточно хорошо, чтобы сконструировать искусственный разум. Просто компьютеры стали достаточно мощными, и теперь ИИ-модели можно получать с помощью градиентного спуска, а людям для этого оказалось не обязательно понимать те когнитивные процессы, что происходят внутри.

Иными словами, инженеры потерпели неудачу в конструировании ИИ, но в итоге преуспели в его выращивании.

Вы можете решить, что, поскольку большие языковые модели выращиваются без особого понимания и обучаются всего лишь предсказывать человеческий текст, они способны только на бездумное воспроизведение человеческих высказываний. Но это не так. Чтобы научиться говорить как человек, ИИ еще должен научиться прогнозировать тот сложный мир, о котором говорят люди.

Рассмотрим ИИ-модель, прогнозирующую следующее слово в реальном медицинском протоколе, который начинается так: "После введения 0,3 мг адреналина пациент…" Какие слова идут дальше? "Потерял сознание"? "Закричал"? "Снова начал дышать"? Врачу, составлявшему протокол, не требовалось гадать: он просто записывал то, что наблюдал. Прогнозирование — задача более сложная. Чтобы предсказать, что напишет врач, ИИ-модель должна понимать не только логику врача, но и случившееся с пациентом — ей нужно прогнозировать реальный мир, стоящий за этими словами.

На практике существуют свидетельства, подтверждающие этот эффект: предварительные исследования показывают, что LLM справляются с задачами медицинской диагностики немного лучше врачей — возможно, по той причине, что узнали нечто о скрытых механизмах работы организма. А в теории, если бы врачи добросовестно фиксировали необычные симптомы болезни, природу которой сами не понимают, то чисто предиктивная ИИ-модель могла бы первой открыть механизм патологии, поскольку такое открытие помогло бы ей делать более точные прогнозы.

Более того, в наши дни искусственный интеллект обучают не только предсказывать текст, написанный человеком. Специалист, выращивающий ИИ-модель, может дать ей шестнадцать попыток для решения какой-нибудь математической задачи, требуя озвучить ход рассуждений. Затем "цепочка рассуждений" (chain-of-thought) наилучшей из шестнадцати попыток дополнительно подкрепляется градиентным спуском, что в итоге дает так называемую рассуждающую модель. Такой режим обучения может подтолкнуть ИИ к мышлению, на которое не способен ни один человек.

Человечеству не нужно понимать природу интеллекта, чтобы выращивать машины умнее себя.