Триумфальная производительность Phi-3-Vision на ключевых мультимодальных тестах
8 июля 2025 г.Таблица ссылок
Аннотация и 1 введение
2 технические характеристики
3 академические тесты
4 Безопасность
5 Слабость
6 Phi-3-Vision
6.1 Технические спецификации
6.2 академические тесты
6.3 Безопасность
6.4 Слабость
Ссылки
Пример подсказки для тестов
B Авторы (алфавитный)
C подтверждения
6.2 академические тесты
В таблице 2 мы сообщаем о результатах оценки Phi-3-Vision на девяти академических показателях с открытым исходным кодом. Эти критерии оценивают мышление и восприятие на визуальных и текстовых входах и могут быть сгруппированы в три категории: наука, диаграммы и общие знания. Мы сравниваем Phi-3-Vision со следующими базовыми показателями: MM1-3B-Chat [MGF+ 24], MM1-7B-Chat [MGF+ 24], Llava-1,6 Vicuna 7b [llll23], llava-1.6 llama3-8b [lll+ 24], qwen-vl-chat [bby+ 23, claude 3], Clade 3], Clade 3], Claude 3], Clade 3], Clade 3], Clama34]. Gemini 1.0 Pro V [TAB+ 23] и GPT-4V-Turbo. Наша настройка оценки качества эффективности использовала один и тот же конвейер оценки для всех базовых показателей для обеспечения справедливого сравнения, за исключением MM1-3B-Chat. Мы только что скопировали и вставли их опубликованные цифры, так как модель не доступна публично.
Наша настройка оценки была направлена на имитацию сценариев, в которых постоянные пользователи взаимодействуют с многомодальной моделью, то есть пользователями, которые не являются экспертами в области быстрого разработки или знают специальные методы, которые могут повысить производительность. По этой причине мы приняли настройки оценки, используемые в Llava-1.5 [LLLL23]. В этой настройке подсказки включают инструкции по выбору одной буквы, соответствующей ответу из списка заданных параметров, или ответить одним словом или фразой. В наших подсказках мы не использовали конкретные токены для вопросов с множественным выбором. Более того, мы не масштабировали и не предварительно обрабатывали какое-либо изображение в нашей системе сравнительного анализа. Мы разместили изображения в качестве первого элемента в подсказках, за исключением набора данных MMMU, где подсказка пройдет изображения в любом месте вопроса или ответов. Наконец, наша настройка оценки рассматривалась только в формате 0 выстрела. Из -за этих параметров оценки наши сообщенные цифры могут отличаться от опубликованных чисел рассматриваемых базовых линий.
Авторы:
(1) Мара Абдин;
(2) Сэм Аде Джейкобс;
(3) Аммар Ахмад Аван;
(4) jyoti aneja;
(5) Ахмед Авадаллах;
(6) Hany Awadalla;
(7) Нгуен Бах;
(8) Амит Бахри;
(9) Араш Бахтиари;
(10) Цзянмин Бао;
(11) Харкират Бел;
(12) Алон Бенхайм;
(13) Миша Биленко;
(14) Йохан Бьорк;
(15) Sébastien Bubeck;
(16) Цин Цай;
(17) Мартин Кай;
(18) Caio César Teodoro Mendes;
(19) Вейджу Чен;
(20) Вишрав Чаудхари;
(21) Донг Чен;
(22) Дундонг Чен;
(23) Йен-Чун Чен;
(24) Йи-Линг Чен;
(25) Парул Чопра;
(26) Xiyang Dai;
(27) Элли Дель Джирно;
(28) Густаво де Роза;
(29) Мэтью Диксон;
(30) Ронен Эльдан;
(31) Виктор Фаросо;
(32) Дэн Итер;
(33) Мэй Гао;
(34) мин Гао;
(35) Цзянфенг Гао;
(36) Амит Гарг;
(37) Абхишек Госвами;
(38) Сурия Гунасекар;
(39) Эмман Хайдер;
(40) Junheng Hao;
(41) Рассел Дж. Хьюитт;
(42) Джейми Хьюнх;
(43) Mojan Javaheripi;
(44) Синь Джин;
(45) Пьеро Кауфманн;
(46) Никос Карампатцциакис;
(47) Dongwoo Kim;
(48) Махоуд Хадеми;
(49) Лев Куриленко;
(50) Джеймс Р. Ли;
(51) Инь Тэт Ли;
(52) Юаньжи Ли;
(53) Юншенг Ли;
(54) Чен Лян;
(55) Ларс Лиден;
(56) CE Liu;
(57) Менгхен Лю;
(58) Вайшунг Лю;
(59) Эрик Лин;
(60) Zeqi Lin;
(61) Чонг Луо;
(62) Пиюш Мадан;
(63) Мэтт Маццола;
(64) Ариндам Митра;
(65) Хардик Моди;
(66) ANH NGUYEN;
(67) Брэндон Норик;
(68) Барун Патра;
(69) Даниэль Перес-Бекер;
(70) Портет Томаса;
(71) Рейд Прайзант;
(72) Хейанг Цинь;
(73) Марко Радмилак;
(74) Корби Россет;
(75) Самбудха Рой;
(76) Olatunji Ruwase;
(77) Олли Саарикиви;
(78) Амин Саид;
(79) Адил Салим;
(80) Майкл Сантакрос;
(81) Шитал Шах;
(82) Нин Шан;
(83) Хитеши Шарма;
(84) Свадхин Шукла;
(85) Sia Song;
(86) Масахиро Танака;
(87) Андреа Тупини;
(88) Синь Ван;
(89) Лиджуань Ван;
(90) Чуню Ван;
(91) Ю Ван;
(92) Рэйчел Уорд;
(93) Гуанхуа Ван;
(94) Филипп Витте;
(95) haiping wu;
(96) Майкл Уайетт;
(97) бен Сяо;
(98) может XU;
(99) Цзяхан Сюй;
(100) Weijian Xu;
(101) Сонали Ядав;
(102) вентилятор Ян;
(103) Цзяньвей Ян;
(104) Зийи Ян;
(105) Йифан Ян;
(106) Донган Ю;
(107) Лу Юань;
(108) Chengruidong Zhang;
(109) Кирилл Чжан;
(110) Цзянвен Чжан;
(111) Ли Лина Чжан;
(112) И Чжан;
(113) Юэ Чжан;
(114) Юнан Чжан;
(115) Ксирен Чжоу.
Эта статья есть
Оригинал