Шпаргалка по Llama 3: полное руководство на 2024 год

OpenAI, возможно, является более известным именем, когда речь идет о коммерческом генеративном искусственном интеллекте, но Meta успешно завоевала это место благодаря открытому исходному коду мощных больших языковых моделей. 18 апреля Meta представила свою крупнейшую модель генеративного ИИ — Llama 3, которая превосходит GPT04 в некоторых стандартных тестах производительности ИИ.

Что такое Лама 3?

Llama 3 — это LLM, созданная Meta. Его можно использовать для создания генеративного искусственного интеллекта, в том числе чат-ботов, которые могут отвечать на естественном языке на самые разные запросы. Варианты использования, по которым оценивалась Llama 3, включают мозговой штурм, творческое письмо, кодирование, обобщение документов и ответы на вопросы голосом конкретного человека или персонажа.

Полная модель Llama 3 выпускается в четырех вариантах:

Предварительно обучено 8 миллиардов параметров. 8 миллиардов параметров точно настроены. 70 миллиардов предварительно обученных параметров. 70 миллиардов параметров точно настроены.

Генеративные возможности искусственного интеллекта Llama 3 можно использовать в браузере с помощью функций искусственного интеллекта в Facebook, Instagram, WhatsApp и Messenger Meta. Саму модель можно загрузить с Meta или с основных корпоративных облачных платформ.

Когда выйдет Llama 3 и на каких платформах?

Llama 3 была выпущена 18 апреля на Google Cloud Vertex AI, IBM watsonx.ai и других крупных хостинговых платформах LLM. Следом за ним последовала AWS, добавившая Llama 3 в Amazon Bedrock 23 апреля. По состоянию на 29 апреля Llama 3 доступна на следующих платформах:

Блоки данных. Обнимающее лицо. Кэггл. Microsoft Azure. NVIDIA НИМ.

Аппаратные платформы AMD, AWS, Dell, Intel, NVIDIA и Qualcomm поддерживают Llama 3.

Является ли Llama 3 открытым исходным кодом?

Llama 3 имеет открытый исходный код, как и другие LLM Meta. Создание моделей с открытым исходным кодом стало ценным отличием Meta.

SEE: Стэнфордский отчет об индексе искусственного интеллекта раскрывает 8 тенденций использования искусственного интеллекта в современном бизнесе. (Техреспублик)

Ведутся споры о том, какая часть кода или весов большой языковой модели должна быть общедоступной, чтобы считаться открытым исходным кодом. Но что касается бизнес-целей, Meta предлагает более открытый взгляд на Llama 3, чем ее конкуренты для своих программ LLM.

Лама 3 бесплатна?

Llama 3 бесплатна, пока она используется в соответствии с условиями лицензии. Модель можно загрузить непосредственно с Meta или использовать в различных службах облачного хостинга, перечисленных выше, хотя с этими услугами может взиматься плата.

Является ли Llama 3 мультимодальным?

Llama 3 не является мультимодальным, что означает, что он не способен понимать данные разных модальностей, таких как видео, аудио или текст. В ближайшем будущем Meta планирует сделать Llama 3 мультимодальным.

Улучшения Llama 3 по сравнению с Llama 2

Чтобы сделать Llama 3 более функциональной, чем Llama 2, Meta добавила новый токенизатор для более эффективного кодирования языка. Meta дополнила Llama 3 групповым вниманием к запросам — методом повышения эффективности вывода моделей. По словам Меты, обучающий набор Llama 3 в семь раз превышает размер обучающего набора, использованного для Llama 2, и включает в себя в четыре раза больше кода. Meta применила новые возможности для предварительной подготовки и точной настройки инструкций Llama 3.

Поскольку Llama 3 спроектирована как открытая модель, Meta добавила ограждения с учетом требований разработчиков. Новым ограждением является Code Shield, предназначенный для перехвата небезопасного кода, который может создавать модель.

Что будет дальше с Ламой 3?

Мета планирует:

Добавьте несколько языков в Llama 3. Разверните контекстное окно. В целом увеличьте возможности модели в будущем.

Meta работает над моделью параметров 400B, которая может помочь сформировать следующее поколение Llama 3. По данным Meta, в ходе раннего тестирования Llama 3 400B с настройкой инструкций набрала 86,1 балла по оценке знаний MMLU (тест AI). конкурентоспособен с GPT-4. Llama 400B на данный момент станет крупнейшим LLM в Мете.

Место Llama 3 в конкурентной среде генеративного искусственного интеллекта

Llama 3 напрямую конкурирует с GPT-4 и GPT-3.5, Gemini и Gemma от Google, Mistral 7B от Mistral AI, Perplexity AI и другими LLM для индивидуального или коммерческого использования для создания чат-ботов с генеративным искусственным интеллектом и других инструментов. Примерно через неделю после презентации Llama 3 Snowflake представила собственный ИИ открытого предприятия с сопоставимыми возможностями под названием Snowflake Arctic.

Растущие требования к производительности LLM, таких как Llama 3, способствуют гонке вооружений ПК с поддержкой искусственного интеллекта, которые могут запускать модели, по крайней мере частично, на устройстве. Между тем, компании, занимающиеся генеративным искусственным интеллектом, могут столкнуться с повышенным вниманием из-за больших вычислительных потребностей, что может способствовать ухудшению изменения климата.

Лама 3 против GPT-4

Llama 3 превосходит OpenAI GPT-4 в HumanEval, стандартном тесте, сравнивающем способность модели ИИ генерировать код с кодом, написанным людьми. Llama 3 70B набрал 81,7 балла по сравнению с показателем GPT-4, равным 67 баллам.

Однако GPT-4 превзошел Llama 3 по оценке знаний MMLU с результатом 86,4 против 79,5 у Llama 3 70B. О производительности Llama 3 в других тестах можно узнать в блоге Meta.