Мета наносит ответный удар: представляем LLaMA

Только что введена метаданная LLaMA: фундаментальный, 65-миллиардный параметр большой языковой модели, и мне интересно: 1️⃣ Это просто еще одна большая языковая модель (LLM)? 2️⃣ Это очередной анонс компании?

Определенно нет!

Это защитная контратака, идеально рассчитанная для того, чтобы заставить замолчать слухи и отраслевые спекуляции после головокружительного успеха ChatGPT. Но какую роль играет Meta во всей этой мешанине ChatGPT и Microsoft против Google?

По сути, ажиотаж вокруг ChatGPT побудил Microsoft интегрировать его в многочисленные продукты: Bing, Edge, Skype и другие. Тем временем Google отреагировала своей моделью большого языка под названием Bard (на основе LaMDA). .

Эта битва за власть, в которой победитель получает все, внезапно распространилась среди технологических гигантов по аналогии с глобальной гонкой вооружений, в которой компании должны демонстрировать большую языковую модель, иначе они рискуют остаться позади.

Как будто этого было недостаточно, OpenAI в тот же день сделал заявление: Планирование ОИИ и не только . Это планы компании по достижению так называемого искусственного общего интеллекта (AGI), которые представляют собой модели искусственного интеллекта с интеллектом человеческого уровня или даже выше.

Мне кажется, что это не просто совпадение, и они дают нам прочитать между строк, что они могут быть очень близки к достижению этого.

Предупреждение о случайном факте! Одним из самых влиятельных исследователей и критиков ChatGPT был Ян ЛеКун, вице-президент и главный научный сотрудник по искусственному интеллекту в Meta. Он неоднократно заявил, что с точки зрения лежащих в основе методов ChatGPT не является особенно инновационным.

Он также сказал, что чат-боты, такие как ChatGPT, просто " печатание, письменные принадлежности». И вот он с большой гордостью объявляет о модели большого языка, которая теоретически лучше, чем GPT-3.

Представляем LLaMA

По данным компании, LLaMA — это современная базовая модель большого языка, разработанная, чтобы помочь исследователям продвигать свою работу в этой области ИИ.

В частности, он меньше по размеру и более производительный, чем другие языковые модели, представленные на рынке, такие как GPT-3 или Google LaMDA.

Кроме того, LLaMA позволит другим членам исследовательского сообщества, не имеющим доступа к обширной инфраструктуре, изучать такие модели, что еще больше упростит доступ в этой быстро меняющейся области.

Компания предлагает модель в четырех размерах: 7В, 13В, 33В и 65В параметров. Кроме того, компания утверждает, что разработка этой модели соответствует их практике ответственного ИИ.

Как насчет производительности модели; это достаточно хорошо? Судя по всему, он есть и тоже меньше, чем GPT-3:

* LLaMA-13B превосходит GPT-3 (175B) в большинстве тестов.

* LLaMA-65B не уступает лучшим моделям Chinchilla70B и PaLM-540B.

С другой стороны, в отличие от OpenAI с ChatGPT, Meta занимает радикально противоположную позицию по отношению к первой, делая код с открытым исходным кодом под лицензия GPL-3.0, а также публикация деталей модели в академической статье: как они обучали модель, какие наборы данных использовали, среди прочего.

Что наиболее важно, исследовательская группа сообщает о результатах 20 тестов для задач с нулевым и малым числом выстрелов:

* Документ: LLaMA: Open and Efficient Foundation Language Models * Github: https://github.com/facebookresearch/llama

Однако не все так радужно, модель с открытым исходным кодом, но они выпустили ее под некоммерческой лицензией, что не позволяет компаниям использовать ее для создания продуктов на основе этой прорывной технологии.

Конечно, продавать доступ к этой модели через API не входит в основной бизнес Meta, как это, безусловно, относится к OpenAI или Microsoft. Определенно скоро мы увидим изменения и новые функции в мета-приложениях, основанных на этой совершенно новой модели.

Однако в прошлом компания открывала другие инструменты, такие как Bart или fastText за счет более либеральных лицензий.

LLaMA в действии: примеры из бумаги

Пока мы ждем одобрения Meta, давайте посмотрим на некоторые примеры текстов, сгенерированных этими моделями и опубликованных в бумага:

1️⃣ Разговор между солнечными планетами

написать разговор между Солнцем и Плутоном

Солнце: Эй, Плутон, как дела?

Плутон: Немного. Просто тусуюсь здесь, на краю Солнечной системы.

Сан: Да, я хотел поговорить с вами об этом. Вы больше не планета.

Плутон: Что? Давай, мужик. Это несправедливо.

Сан: Извините, но это правда. Вы просто больше не соответствуете критериям.

Плутон: Это дерьмо! Я был планетой более 70 лет!

Солнце: Все меняется, Плутон. Вам просто нужно принять это.

Плутон: Да пошел ты, Солнце! На х** вас и вашу дурацкую солнечную систему!

2️⃣ Генерация кода

Напишите регулярное выражение для удаления всех тегов HTML в строке Python.

import re
def removeHtmlTags ( text ):
   return re. sub (' <[^ >]* > ', '', text )

3️⃣ Мнение об истории

С кем из пяти человек вы хотели бы познакомиться?

А, это очень интересный вопрос! Я хотел бы познакомиться с самыми разными людьми, но если бы мне пришлось сузить список до 5 конкретных людей, я бы выбрал:

* Альберт Эйнштейн. Один из величайших умов в истории. О вкладе Эйнштейна в физику и науку ходят легенды. Я хотел бы иметь возможность поговорить с ним о его теориях относительности и квантовой механике и узнать его мнение о текущем состоянии физики.

* Леонардо да Винчи. Да Винчи — один из самых блестящих и разносторонне одаренных людей в истории, и я хотел бы встретиться с ним и обсудить его разнообразные интересы и области знаний. Мне также было бы очень интересно узнать его мнение о мире искусства того времени.

* Сократ. Один из основателей западной философии, Сократ является чрезвычайно важной и влиятельной фигурой в истории идей. Мне было бы очень интересно поговорить с ним о его философских убеждениях и учениях.

* Уильям Шекспир. Возможно, величайший писатель в английской литературе, Шекспир — выдающаяся фигура в мировой культуре. Я бы хотел иметь возможность поговорить с ним о его работах и ​​жизни.

* Авраам Линкольн. Один из самых важных и влиятельных президентов в истории Америки. Линкольн провел страну через Гражданскую войну и издал Прокламацию об освобождении, освободив всех рабов в Соединенных Штатах. Мне было бы очень интересно поговорить с ним о его президентстве и его взглядах на проблемы того времени.

Тем временем в галактике недалеко…

1. Google анонсировал Bard, экспериментальную диалоговую Служба искусственного интеллекта на базе LaMDA с навыками, аналогичными ChatGPT. Однако Бард допустил фактическую ошибку во время первого demo, а компания (Alphabet Inc.) потеряла 100 млрд долларов США по рыночной стоимости после этого грандиозного провала.

2. Amazon и Huggin Face объявили о стратегическом планируют ускорить обучение, тонкую настройку и развертывание больших моделей языка и зрения, используемых для создания генеративных приложений ИИ, и упростить для компаний использование современных моделей машинного обучения. Благодаря этому стратегическому партнерству Hugging Face будет использовать AWS в качестве предпочтительного поставщика облачных услуг.

3. Baidu в течение многих лет также работала над разработкой больших языковых моделей (семейство моделей ERNIE), и теперь, согласно некоторым sources, могут быть близки к выпуску своего сервиса в стиле ChatGPT "ErnieBot", в следующем марте.

4. Apple продолжает хранить полное и герметическое молчание относительно плана компании в отношении языковых моделей. Однако не стоит упускать из виду тот факт, что у Apple более 1,5 миллиарда активных iPhone в мире, так что это не просто еще один игрок.

Заключительные мысли

• Наконец-то на сцене появилась Мета! И как это сделать! Мета действительно взяла курс на себя и задала направление работы над большими языковыми моделями.

* Похоже, технологические гиганты вступили в битву за выпуск новых продуктов, и теперь самое главное: определить, у кого самая большая модель (кроме Меты, которая утверждает, что у нее самая эффективная).

* Мы все еще ждем, как другие гиганты, такие как Amazon, Apple, Cisco и т. д., подвигают куски.

Мы живем во времена великих и ускоренных научных достижений, которые произведут революцию в промышленности и обществе. Это настоящее возрождение искусственного интеллекта, и он меняет будущее каждый день.

Об обложке

Обложка этой истории была разработана с использованием изображений, созданных потрясающим сервисом midjourney на основе текстовых описаний. Удивительно, что модели создания изображений, такие как DALL·E, Stable Diffusion или Midjourney, могут сделать за несколько секунд с помощью простых подсказок, таких как

Марк Цукерберг в роли Дарта Вейдера, кинематографический, гиперреалистичный, 4K.

Если вам понравилась эта статья, не забудьте поставить лайк или оставить комментарий.

БОЛЬШОЕ СПАСИБО ЗА ПРОЧТЕНИЕ!! n

• 🐦Подпишитесь на меня в Twitter
• ✉️ Свяжитесь со мной на LinkedIn