Интегрированный искусственный интеллект: небо завораживает (ретроспектива искусственного интеллекта середины 2023 года)

[К 2023 году] у нас будут технологические средства для создания сверхчеловеческого интеллекта… мы стоим на пороге перемен, сравнимых с зарождением человеческой жизни на Земле… основные изменения произойдут за считанные часы… Я думаю, справедливо назвать это событие… ‘Сингулярностью’… точкой, когда наши старые модели должны быть отброшены и воцариться новая реальность.

— Профессор Вернор Виндж (март 1993)²

Примечание автора: Я стремился сделать этот отчет кратким, поскольку прогресс искусственного интеллекта в первой половине 2023 года вполне мог бы стать книгой. В прошлом году я отклонил три конкурирующих предложения о публикации, потому что эта область развивается слишком быстро для такого процесса. Если вам нужны новейшие обновления по мере их появления, я предоставляю информацию крупным правительствам, таким как Исландия, исследовательским группам, таким как RAND, и компаниям, таким как Google, с помощью памятки: LifeArchitect.ai/memo.

С первого дня было ясно, что это будет шумный год. В первый день Нового года президент OpenAI прокомментировал:³

На фоне 2023 года 2022 год будет выглядеть как сонный год для развития и внедрения ИИ.

В моем предыдущем отчете об искусственном интеллекте, Небо бесконечно, я закончил словами: ‘Перспективы искусственного интеллекта и его преимущества меняют жизнь каждого. По мере того, как все больше и больше людей начинают обращать внимание на сегодняшнюю производительность искусственного интеллекта, новые впечатляющие модели уже находятся в разработке и готовы к выпуску в 2023 году. ’

По обоим показателям — доступности для публики и выпуску моделей — первая половина 2023 года была экстраординарной. По сравнению с моим последним отчетом, значительный процент населения планеты теперь знает об ИИ после 2020 года и его возможностях. В США Национальное бюро экономических исследований (NBER) подобрало один из моих саундбитов:⁴

ChatGPT, версия модели OpenAI GPT3.5, которая была выпущена 28 ноября 2022 года, за первые два месяца набрала более 100 миллионов пользователей и, по оценкам, теперь каждые 14 дней выдает объем текста, эквивалентный всем печатным произведениям человечества.

Согласно Pew Research,⁵ к марту 2023 года 58% взрослых американцев слышали о ChatGPT, а 14% пробовали его. Отдельное исследование показало, что ChatGPT используется на рабочем месте почти 30% специалистов из таких компаний, как Amazon, Bank of America, Edelman, Google, IBM, JPMorgan и Twitter.⁶

Лучшее из середины 2023 года Что касается полезности, вот мои лучшие варианты на середину 2023 года.

Лучшее … в середине 2023 года	Название модели	Примечания
Языковая модель (открыта)	OpenAI GPT-47	Выпущен в марте / 2023
Модель диалога (открытая)	Перегиб AI Pi8	Выпущен в мае / 2023
Модель преобразования текста в изображение (открыта)	Midjourney v5.29	Выпущен в июне / 2023
Приложение для искусственного интеллекта	Quora Poe10	Выпущен в феврале / 2023

Таблица: ‘лучшие из’ моделей и приложений искусственного интеллекта Алана на середину 2023 года.

Большие языковые модели: 100 000 новых моделей за шесть месяцев Главным событием первой половины года действительно стали большие языковые модели. В 2023 году было выпущено много моделей, хотя лишь немногие попали в заголовки СМИ. На 30 декабря 2022¹¹ На модельной платформе Hugging Face было представлено 108 473 модели. К 30 июня 2023 года это число увеличилось до 242 000. Да, за 6 месяцев стало доступно более 133 000 моделей!

Начиная с чрезвычайно позднего выпуска GPT-4 от OpenAI в марте (который завершил подготовку на восемь месяцев раньше, в августе 2022 года) и заканчивая ‘догоняющим’ выпуском PaLM 2 от Google, для тех из нас, кто следит за множеством новых моделей, сам объем был невероятным.

График: Оптимальные языковые модели 2023-2024 годов — основные моменты (июнь / 2023).

Взрыв данных В целом, все большие языковые модели 2023 года получили в среднем в 10 раз больше данных во время обучения по сравнению с аналогичными релизами 2022 года. Лаборатории начали использовать новые данные, такие как видео с YouTube, код из массивных репозиториев и наборы диалогов, ориентированных на общение. Для более детального ознакомления вот несколько таблиц и цифр…

Таблица: Оценки наибольшего набора данных на июнь / 2023 год. Округлено. Выделено жирным шрифтом. Выделено курсивом. Похожие модели смотрите в моей статье об искусственном интеллекте.¹²

Большие языковые модели были в центре внимания лабораторий искусственного интеллекта по всему миру, причем большинство моделей рейтинга в июне 2023 года были совершенно новыми (то есть их даже не было в последнем отчете в декабре 2022 года). В этой таблице показаны LLM, ранжированные по “ALScore”, который представляет собой простой расчет токенов и параметров, показывающих исходную мощность.

Сейчас (июнь / 2023)	6 месяцев назад (декабрь / 2022)	12 месяцев назад (июнь / 2022)	ALScore	Подробная информация оназвании модели	Открытостьлаборатории искусственного интеллекта
➊	—	—	14.9	GPT-4 1T обучен на 20T токенах (оценка)	OpenAI API
➋	—	—	3.7	PaLM 2 340B тренировался на токенах массой 3,6 Т (est)	Google API
➌	1	1	2.2	PaLM 1 540B тренировался на токенах весом 0,8 тонны	Google закрыт
➍	—	—	1.6	Перегиб-1 120B обучен на токенах 2T (est)	Inflection AI API
➎	—	—	1.4	Стажер 104B, прошедший обучение на токенах 1.6T	Шанхайский искусственный интеллект закрыт
➏	5	5	1.0	Шиншилла 70B тренировалась на 1,4 Т токенов	DeepMind закрыт
➐	—	—	1.0	StableLM 65B обучался на токенах 1.5T	Стабильный искусственный интеллект Открыт
➑	—	—	1.0	LLaMA-65B 65B тренировался на токенах весом 1,4 тонны	Мета-искусственный интеллект открыт

Таблица: чарт AI billboard. Самые мощные оценки модели на июнь / 2023. Округлено.

Количество наборов данных также стремительно растет, опять же, большинство наборов данных, анонсированных в первой половине 2023 года, являются совершенно новыми. Текстовые наборы данных, такие как 825-гигабайтное хранилище EleutherAI The Pile, больше даже не отображаются в этих рейтингах из-за огромных текстовых наборов данных, которые теперь достигают сотен терабайт.

Сейчас (июнь / 2023)	6 месяцев назад (декабрь / 2022)	12 месяцев назад (июнь / 2022)	Размер (ТБ)	Название набора данных Подробнее	Язык лаборатории искусственного интеллекта
➊	—	—	86	Piper monorepo 37,9 Млрд токенов в 86 ТБ	Google Code
➋	—	—	40	GPT-4 токена по 20 тонн в 40 ТБ	OpenAI Русский
➌	—	—	23	Усовершенствованные токены Web 5T объемом 23 ТБ (только CC)	TII Многоязычный
➍	1	1	20	MassiveText многоязычные токены 5T в 20 ТБ	DeepMind Многоязычный
➎	2	2	13	Infiniset 2,8 Т токенов в 12,6 ТБ	Google Русский
➏	3	3	11	Массивный текст на английском 2,35 Т токенов на 10,5 ТБ	DeepMind Русский
➐	—	—	5	InternLM 1,6 Т токенов в 5,1 ТБ	Шанхайский искусственный интеллект Английский/ китайский
➑	—	—	5	Стабильность Новая стопка 1,5 Т токенов в 5 ТБ	Стабильный искусственный интеллект Русский

Таблица: диаграмма AI billboard. Оценки по наибольшему набору данных на июнь / 2023. Округлено.

Дело было не только в том, что эти модели видели в 10 раз больше данных во время обучения или увеличивались в размерах экспоненциально – возможности этих моделей также были шокирующими. Вот GPT-4 по сравнению со средним человеком: 

Диаграмма: GPT-4 против тестов на людях — простая (май / 2023).

Имитационные модели 

Ранее я использовал термин ‘модель ноутбука’ для обозначения любой модели, которая может поместиться в оперативной памяти ноутбука 2023 года (!), но я уверен, что этот термин будет заменен по мере совершенствования аппаратного обеспечения. После утечки модели LLaMA 65B от Meta AI в феврале 2023 года различные группы начали пытаться доработать эти модели меньшего размера, используя выходные данные более крупных моделей.

Используя название семейства животных лама (на самом деле сокращение от ‘Большая языковая модель Meta AI’), группы представили модели меньшего размера под названием альпака, Викунья и гуанако. Более полный (хотя и не исчерпывающий) список выглядит следующим образом:

LLaMA: Айроборос, альпака, Байз, Кабрита, верблюд, Химера, финлама, Гуанако, Горилла, GPT4All, GPTQ для ламы, гиппогриф, Коала, Льава, ЛИМА, литлама, Мантикора, Минотавр, OpenAlpaca, лама-ассистент OpenBuddy, Косатка, Панда, Пигмалион, QLoRA, Стакллама, СтаблеВикуна, Викунья, Вигонь (французский), Волшебник.…

Исследователи из Калифорнийского университета в Беркли, ¹³ осудил модели ноутбуков, обученных с помощью имитации, обнаружив, что ‘имитационные модели практически не сокращают разрыв от базового LM до ChatGPT для задач, которые не сильно поддерживаются в имитационных данных’.

Большие языковые модели на каждом углу Благодаря вливанию 10 миллиардов долларов¹⁴ от Microsoft стоимость OpenAI достигла 29 миллиардов¹⁵ за первую неделю 2023 года.

Источник более подробно рассказал о сделке:

Как только прибыль в размере 92 миллиардов долларов плюс 13 миллиардов долларов первоначальных инвестиций будут возвращены [OpenAI Microsoft], и как только другие венчурные инвесторы заработают 150 миллиардов долларов, весь капитал вернется к OpenAI.

Будь то инвестиции в 1 миллиард, 100 миллиардов или даже триллион долларов, эта новость не особенно удивительна. Действительно, любая организация, которая ведет нас к созданию искусственного интеллекта общего назначения, имеет несказанную ценность. Но в мире после дефицита – и, возможно, в посткапиталистическом мире и мире после появления денег — эта ценность не будет измеряться в долларах.¹⁶

Хотя многие люди пытались, все еще трудно точно представить, как это выглядит, когда ИИ превосходит любого человека в любом мыслительном процессе. Это становится еще более сложной задачей, когда мы пытаемся представить (позитивно и оптимистично, а не полагаться на нашу встроенную негативную предвзятость и голливудские фильмы), как это выглядит, когда воплощенный агент полностью прибыл. Сверхразумный ИИ с реальным физическим воплощением будет развиваться экспоненциально в 2023 году.

В конце концов, инвестиции Microsoft – это всего лишь цифра, и даже не большая цифра (в январе 2023 года Microsoft также предложила 68,7 миллиарда долларов — более чем в 6 раз больше предложения OpenAI – за приобретение Activision Blizzard… игровая компания!).

Я бы прямо сейчас вложил все силы в модели искусственного интеллекта: передал бы как можно больше данных, умственных способностей на уровне PhD и масштабной компьютерной обработки. Целые страны и правительства могли бы помочь финансировать и изолировать это. Такие места, как Великобритания,¹⁷ Япония, Китай и многие другие, делают именно это.

Все необходимые ресурсы могут и должны быть использованы, а с другой стороны будет … что-то еще более “чудесное”, чем кастрированный ChatGPT или более мощный двигатель GPT-4. Когда компании перейдут к следующему этапу развития искусственного интеллекта, вопрос о том, сколько они инвестировали, даже не будет обсуждаться. Мы окажемся в совершенно новом мире.

Большинство крупных консалтинговых компаний и все бухгалтерские фирмы “большой четверки” сразу же приняли эти большие модели. Вот визуализация первых 50 корпоративных клиентов для GPT-4 OpenAI: 

Диаграмма: первые 50 корпоративных пользователей GPT-4.

Сейчас этот список исчисляется десятками тысяч, а партнер OpenAI Microsoft Azure привлекает еще 4500 компаний¹⁸ в дополнение к прямым предложениям OpenAI для крупных и малых предприятий.

Воплощенный искусственный интеллект: роботы Внедрение больших языковых моделей в физических роботов является последним экспоненциальным скачком. В ^{19 февраля 2023 года} Microsoft сделала это с помощью ChatGPT и дронов. Несколько лабораторий, включая Meta AI²⁰ к роботу Spot от Boston Dynamics присоединились с большими языковыми моделями, такими как ChatGPT. Amazon объединяет языковые модели²¹ со своим астро-колесным ботом в проекте под названием ‘Burnham’. Тесла обещала это годами, представив новую версию гуманоидного робота в мае 2023 года.²²

Но настоящим победителем должен стать НЕО-человекоподобный android от 1X.²³ В марте / 2023 года компания привлекла инвестиции в размере 23,5 млн долларов под руководством OpenAI.²⁴

Наша Android-модель NEO – инновационный двуногий робот-гуманоид. Это означает, что они спроектированы так, чтобы выглядеть и двигаться как люди: у НЕО, как и у нас, есть голова, туловище, руки и ноги, поэтому они могут взаимодействовать с миром знакомым нам способом; они ходят, хватают предметы и общаются с помощью мимики…

Используя воплощенный искусственный интеллект, NEO глубже поймет окружающую среду благодаря слиянию своих ‘чувств’ искусственного интеллекта и физического тела. NEO постоянно учится и совершенствуется, со временем становясь умнее и способнее… NEO поймут, что их окружает, и как обращаться с хрупкими предметами, создавая бесшовное сотрудничество и захватывающее взаимодействие человека и робота.²⁵

Характеристики НЕО сопоставимы с несколькими другими роботами-гуманоидами:

Статистика	1X NEO	Рисунок 0126 (конкурент)
Высота	160 см / 5’3″ (оценка)	167 см / 5’6 “
Вес	30 кг / 66 фунтов	60 кг / 132 фунта
Сила	2-4 часа	5 часов
Скорость (ходьба)	4 км / ч / 2,5 мили в час	4,3 км / ч / 2,6 миль в час
Скорость (run)	12 км / ч / 7,5 миль в час	4,3 км / ч / 2,6 миль в час
Полезная нагрузка / грузоподъемность	20 кг / 44 фунта	20 кг / 44 фунта

Изображение: 1X NEO robot (июнь / 2023).

Эффект от воплощения этих моделей в подвижную физическую форму невозможно переоценить. Генеральный директор Tesla отметил:²⁷

Я думаю, что мы могли бы превысить соотношение человекоподобных роботов к людям один к одному. На данный момент даже не ясно, что означает экономика, потому что экономика – это объем производства на душу населения, умноженный на людей, но если объем производства намного выше и количество людей не ограничено, то каков фактический предел для экономики?

Следующий этап в 2023 году Я обычно уклоняюсь от прогнозов, но во второй половине 2023 года я с большим нетерпением жду:

• Всеми органами чувств, всеми модальностями. Модели, подобные Microsoft Kosmos-1 1.6B, могут видеть. Многие модели могут видеть и слышать. PandaGPT 13B²⁸модель, основанная на ImageBind от Meta AI, может видеть, слышать и даже осязать, обрабатывая шесть параметров: текст, изображение и видео, аудио, глубину, температуру и инерциальный блок измерения, который включает акселерометр / гироскоп / компас.
• Самоуправляемые автомобили в вашем городе. Сейчас так много конкурентов приближаются к 5-му уровню (полная автоматизация): Cruise Origin, Waymo, Amazon Zoox, Didi Neuron и автономная служба доставки на тротуар от стартапа Serve Robotics, поддерживаемого NVIDIA. Некоторые города будут осваиваться быстрее, чем другие; от того, где вы живете, зависит, насколько быстро вы получите доступ к этому виду искусственного интеллекта.
• За пределами моделей с триллионами параметров. GPT-5²⁹ и Gemini от Google DeepMind³⁰ полностью изменят мир.
• Персонализированные объяснители. Сейчас нам срочно нужно, чтобы более восьми миллиардов человек поняли необходимость усиления интеллекта. Персональный ИИ — воплощенный или нет — может сесть и вести бесконечные беседы с каждым человеком в мире, затрагивая надежды, страхи и реальность происходящей эволюции.

Полным ходом В первой половине 2023 года появились новые направления обеспечения достоверности и обоснованности моделей, новое физическое воплощение моделей и постоянные инновации в десятках лабораторий искусственного интеллекта. Искусственный интеллект развивается гораздо быстрее, чем любая предыдущая технология или изобретение.

Теперь почти наверняка искусственный общий интеллект (AGI) — и стремительная скорость сингулярности³¹ — появятся задолго до того, как правительственные или межправительственные организации разработают эффективную политику.

Как и почти во всех крупных новых изобретениях человека после GPT-4, ИИ должен быть непосредственно задействован для решения этой головоломки. Применение ограниченного человеческого разума к “сверхзадачным проблемам”³² таким, как глобальное изменение климата, экономические реформы, политика в области ИИ и даже согласование ИИ, неэффективно. Вместо этого эти головоломки лучше всего решать самому ИИ.

Предостережение У биологических людей по умолчанию установлен режим ‘бояться чего угодно и спорить по любому поводу’. На самом деле это называется негативным уклоном, и его последствиями являются борьба, бегство или что-то подобное. Если вам пришлось потратить время на споры против собственной эволюции, просто знайте, что вы не получите это время назад.

Возможно, вы помните выражение ‘В мирное время воинственный человек нападает сам на себя’. Комментарий Фридриха Ницше³³о состоянии человека кажется особенно острым во время нынешней революции в области искусственного интеллекта. Я с большим беспокойством (а иногда и с удовольствием) наблюдаю за реакцией на искусственный интеллект после 2020 года. Хотя его потенциал обещает лучшую жизнь для всех, многие чувствуют угрозу из-за его способности “отнимать у них работу”, в то время как другие опасаются, что потеряют чувство контроля.

Начиная с прошлого года, в июне 2022 года, я начал присуждать ежемесячную “Премию за сыр в области искусственного интеллекта”³⁴ за самые вопиющие случаи, от протестов знаменитостей до национальных запретов моделей в западном мире. Не углубляясь слишком далеко в личное развитие, одна из моих обязанностей – напомнить вам и каждому человеку о глубокой эволюции, которую обеспечит искусственный интеллект после 2020 года.

Это не “Терминатор” 1984 года или любое другое голливудское кино. ИИ – это мы; он был обучен на нас, настроен на нас, согласован с нами и функционирует точно так же, как мы (способами, очень похожими на работу нашего мозга). Приведенная ниже цитата не принадлежит Эйнштейну. Источник неизвестен.³⁵

Я думаю, что самый важный вопрос, стоящий перед человечеством: ‘Дружелюбна ли Вселенная?’ Это первый и самый основной вопрос, на который все люди должны ответить для себя. Ибо, если мы решим, что Вселенная – недружелюбное место, тогда мы будем использовать наши технологии, наши научные открытия и наши природные ресурсы для достижения безопасности и могущества, создавая более мощные стены, чтобы не впускать недружелюбие, и более мощное оружие, чтобы уничтожить все недружественное, и я верю, что мы приближаемся к месту, где технологии достаточно мощны, чтобы мы могли либо полностью изолировать, либо уничтожить самих себя в этом процессе.

Если мы решим, что Вселенная ни дружелюбна, ни недружелюбна и что Бог, по сути, “играет в кости со вселенной”, то мы просто жертвы случайного броска костей, и наша жизнь не имеет реальной цели или смысла.

Но если мы решим, что Вселенная – дружелюбное место, тогда мы будем использовать наши технологии, наши научные открытия и наши природные ресурсы для создания инструментов и моделей для понимания этой вселенной. Потому что сила и безопасность придут через понимание устройства [Вселенной] и ее мотивов.

Нотка покоя Поскольку искусственный интеллект сочетается с интегрированным оборудованием, таким как дополненное зрение и интерфейсы мозг–компьютер, мы становимся в нескольких шагах от сверхразума, поддерживающего нас в мгновенном проектировании нашей собственной реальности. Наличие собственной реальности позволяет каждому из нас воображать и создавать что угодно, предоставляя человечеству — возможно, впервые — расширенные возможности для достижения более высоких уровней эволюции, чем когда-либо прежде. При поддержке искусственного интеллекта истинное определение мира, наконец, может быть достигнуто.

В 2023 году большие языковые модели будут использоваться невероятным образом:

• Дома, экономя 150 долларов в неделю и пять часов³⁶ благодаря использованию GPT для планирования питания с учетом диетических соображений.
• В бизнесе, отводящий роль генерального директора компании³⁷ новейшим моделям искусственного интеллекта.
• В юриспруденции использование степеней магистра права для поддержки судей и юристов в справедливом обращении с людьми.³⁸³⁹⁴⁰
• В химии использует GPT-4 для генерации инструкций, которые активируют руку робота, синтезирующую молекулы.⁴¹
• В медицине теория врачей-чат-ботов обеспечивает более высокое качество ответов и в 9,8 раза большую распространенность эмпатии к пациентам.⁴²

На очереди такие лаборатории, как OpenAI⁴³ ставили перед собой невероятные конечные цели в решении ‘в настоящее время неразрешимых междисциплинарных проблем, включая глобальные вызовы’:

• Решение проблемы изменения климата.
• Обеспечение персонализированного образования.
• Содействие доступному и высококачественному медицинскому обслуживанию.
• Предоставление экономической свободы каждому заниматься тем, что он считает наиболее полезным.

И есть еще бесчисленное множество примеров, которые вы можете представить и раскрыть. Человечество эволюционировало до стадии— когда мощный сверхразум — искусственный общий интеллект, новый способ ведения дел – находится у нас на пороге. Следующий скачок изменит все. С чисто статистической точки зрения практически невозможно, чтобы мы родились в это время. Экспоненциальное развитие сверхразума после 2020 года уже здесь, это завораживает, и вы живете прямо посреди этого.