Microsoft Research представляет Phi-2, новую модель малого языка

В то время как большие языковые модели могут достигать сотен миллиардов параметров, Microsoft Research экспериментирует с небольшими языковыми моделями, чтобы достичь аналогичной производительности в меньшем масштабе. 12 декабря компания Microsoft Research анонсировала Phi-2, языковую модель с 2,7 миллиардами параметров для естественного языка и кодирования. В некоторых тестах Phi-2 показал лучшие результаты, чем некоторые более крупные языковые модели, в том числе Gemini Nano 2 от Google.

Phi-2 доступен в каталоге моделей Azure AI Studio. Microsoft намерена, чтобы его использовали только исследователи; однако Phi-2 может в конечном итоге привести к разработке более мелких и более эффективных моделей, которые смогут использоваться предприятиями и смогут конкурировать с массивными моделями.

Перейти к:

Что такое Фи-2? Phi-2 превосходит более крупные модели Как заставить маленькую модель работать как большую

Что такое Фи-2?

Phi-2 — это языковая модель, используемая для исследования и разработки других языковых моделей, широко известная как искусственный интеллект.

Phi-2 является преемником Phi-1, небольшой языковой модели с 1,3 миллиарда параметров, которая была выпущена в сентябре 2023 года. Phi-1 показала впечатляющую производительность в тестах HumanEval и MBPP, которые оценивают способность модели кодировать на Python. В ноябре 2023 года компания Microsoft Research выпустила Phi-1.5, которая добавила к Phi-1 больше здравого смысла и понимания языка. Сатья Наделла анонсировал Phi-2 на конференции Microsoft Ignite в ноябре 2023 года (рис. A).

Рисунок А

«Благодаря своим компактным размерам Phi-2 является идеальной игровой площадкой для исследователей, в том числе для изучения механистической интерпретируемости, повышения безопасности или экспериментов по точной настройке различных задач», — написали старший научный сотрудник Microsoft Моджан Джавахерипи и менеджер по исследованиям партнеров Microsoft Себастьен Бюбек. в сообщении в блоге от 12 декабря.

ПОСМОТРЕТЬ: Windows Copilot поставляется с Windows 11 23H2, но вы можете не видеть его по умолчанию. Вот как найти ИИ. (Техреспублик)

Phi-2 превосходит более крупные языковые модели

Microsoft Research сообщает, что Phi-2 превосходит модель Mistral AI 7B (7 миллиардов параметров) и Llama-2 (которая имеет 13 миллиардов параметров) в стандартных тестах, таких как Big Bench Hard и других языковых, математических многоэтапных рассуждениях и тестах по кодированию. Microsoft Research протестировала Phi-2 против недавно выпущенного Google Gemini Nano 2 и обнаружила, что он показал лучшие результаты в тестах BBH, BoolQ, MBPP и MMLU.

Как заставить маленькую языковую модель работать как большую

Исследования Microsoft обнаружили, что модели меньшего размера могут работать так же хорошо, как и большие, если во время обучения сделаны определенные выборы. Один из способов, с помощью которого Microsoft Research позволяет добиться того же, чтобы меньшие языковые модели работали так же хорошо, как и большие, — это использование «данных учебникового качества».

«Наша смесь обучающих данных содержит синтетические наборы данных, специально созданные для обучения модели здравому смыслу и общим знаниям, включая, среди прочего, науку, повседневную деятельность и теорию разума», — пишут Джавахерипи и Бубек. «Мы дополнительно дополняем наш учебный корпус тщательно отобранными веб-данными, которые фильтруются на основе образовательной ценности и качества контента».

Еще один способ заставить меньшую языковую модель работать так же хорошо, как и большую, — это масштабирование. Например, исследовательская группа внедрила знания модели Phi-1,5 с 1,3 миллиардами параметров в модель Phi-2 с 2,7 миллиардами параметров.

«Такая масштабная передача знаний не только ускоряет конвергенцию обучения, но и демонстрирует явный рост показателей тестов Phi-2», — пишут Джавахерипи и Бубек.

Примечание. TechRepublic обратилась в Microsoft за дополнительной информацией.