Исследователи Microsoft учат ИИ читать электронные таблицы

Научить генеративную модель ИИ понимать электронную таблицу может быть сложно. Чтобы попытаться решить эту проблему, исследователи Microsoft опубликовали 12 июля на Arxiv статью, описывающую SpreadsheetLLM, структуру кодирования, позволяющую большим языковым моделям «читать» электронные таблицы.

SpreadsheetLLM может «преобразовать управление и анализ данных электронных таблиц, открыв путь к более интеллектуальному и эффективному взаимодействию с пользователем», пишут исследователи.

Одним из преимуществ SpreadsheetLLM для бизнеса является возможность использования формул в электронных таблицах без необходимости обучения их использованию путем задавания вопросов модели ИИ на естественном языке.

Почему электронные таблицы являются проблемой для студентов LLM?

Электронные таблицы представляют собой проблему для студентов LLM по нескольким причинам.

Электронные таблицы могут быть очень большими, превышая количество символов, которые LLM может обработать за один раз. Электронные таблицы представляют собой «двумерные макеты и структуры», как говорится в отчете, в отличие от «линейного и последовательного ввода», с которым хорошо работают LLM. LLM обычно не обучены интерпретировать адреса ячеек и определенные форматы электронных таблиц.

Исследователи Microsoft использовали многоэтапную технику для анализа электронных таблиц

SpreadsheetLLM состоит из двух основных частей:

SheetCompressor, который представляет собой платформу для сжатия электронных таблиц до форматов, понятных специалистам LLM. Цепочка электронных таблиц, которая представляет собой методологию обучения LLM тому, как определять правильные части сжатой электронной таблицы, на которые нужно «смотреть», когда им задают вопрос, и генерировать ответ.

SheetCompressor имеет три модуля:

Структурные привязки, которые помогают специалистам LLM идентифицировать строки и столбцы в электронной таблице. Метод сокращения количества токенов, которые LLM тратит на интерпретацию электронной таблицы. Техника повышения эффективности за счет объединения одинаковых ячеек в группы.

Используя эти модули, команда сократила количество токенов, необходимых для кодирования электронных таблиц, на 96%. Это, в свою очередь, позволило немного (12,3%) улучшить работу другой ведущей исследовательской группы по оказанию помощи магистрам права в понимании электронных таблиц. Исследователи опробовали свой метод идентификации в виде таблиц с помощью следующих программ LLM:

OpenAI GPT-4 и GPT-3.5. Лама 2 и Лама 3 Меты. Фи-3 от Microsoft. Mistral-v2 от Mistral AI.

Для возможностей цепочки электронных таблиц они использовали GPT-4.

Что означает SpreadsheetLLM для усилий Microsoft в области искусственного интеллекта?

Очевидным преимуществом для Microsoft здесь является то, что ее ИИ-помощник Copilot, который работает во многих приложениях пакета Microsoft 365, может делать больше в Excel. SpreadsheetLLM представляет собой постоянные усилия, направленные на то, чтобы сделать генеративный ИИ практичным, и открытие Excel для людей, которые не были обучены его более продвинутым функциям, может стать хорошей нишей для расширения генеративного ИИ.

ПОСМОТРЕТЬ: Насколько глубоко ваш бизнес использует Microsoft Copilot, будет влиять на то, какая версия (если таковая имеется) подойдет для вашей работы.

Реальное использование и следующие шаги для этого исследования Microsoft

Улучшение на 12,3% по сравнению с предыдущими выводами ведущей исследовательской группы на данный момент является скорее академическим, чем экономически значимым. Генеративный ИИ печально известен тем, что выдумывает разные вещи, а галлюцинации, проходящие через электронную таблицу, могут сделать бесполезными огромные массивы данных. Как отмечают исследователи, заставить LLM понять формат электронной таблицы (то есть, как она обычно выглядит и как она функционирует) отличается от того, чтобы заставить LLM генерировать понятные и точные данные внутри этих ячеек.

Кроме того, эта методология требует больших вычислительных мощностей и нескольких проходов через LLM для получения ответа. Кроме того, мастер Excel в вашем офисе может дать ответ за несколько минут, не затрачивая почти столько же энергии.

В дальнейшем исследовательская группа хочет включить способ кодирования таких деталей, как цвет фона ячеек, и углубить понимание LLM того, как слова внутри ячеек связаны друг с другом.

TechRepublic обратилась к Microsoft за дополнительной информацией.