Новое исследование разбивает RLM ROI по вариантам использования бизнеса
15 июля 2025 г.Авторы:
(1) Джеральдо Xexéo, Programa de Engenharia de Sistemas E Computação - Coppe, Universidade Federal Do Rio De Janeiro, Бразиль;
(2) Филипе Брайда, Destamento de Ciência da Computação, Universidade Federal Rural Do Rio de Janeiro;
(3) Маркус Паррейс, Programa de Engenharia de Sistemas e Computação - Coppe, Universidade Federal Do Rio de Janeiro, Бразил и Координадория де Энгенхария де Продушен - Coenp, Cefet/RJ, Unidade Nova Iguaçu;
(4) Пауло Ксавье, Programa de Engenharia de Sistemas E Computação - Coppe, Universidade Federal Do Rio de Janeiro, Бразил.
Таблица ссылок
Аннотация и 1. Введение
Основные помещения для наших моделей
2.1. Как взимаются LLM
2.2 Анедотальная модель из промышленности
2.3 Выбор затрат в модели
2.4 Почему несколько сценариев
Теоретическая модель решения
3.1 Как смоделировать успех
Модель для коммерческих операций на основе одной транзакции
4.1 Пример использования модели
4.2 Анализ модели
4.3 Обсуждение рентабельности рентабельности по сравнению
Моделирование проблемы бинарной классификации
5.1 Локальный анализ чувствительности
5.2 Глобальный анализ чувствительности методом SOBOL
Связанная работа
Будущая работа
Заключение, ссылки и подтверждения
Абстрактный
Выбор языковых моделей в деловых контекстах требует тщательного анализа окончательных финансовых выгод инвестиций. Тем не менее, акцент академического и отраслевого анализа LLM связан исключительно на производительность. Эта работа вводит основу для оценки LLMS, сосредоточенного на прибыли и возврата инвестиционных аспектов, которые следует учитывать при принятии деловых решений. Мы используем теоретичный подход, теоретичный для сравнения финансового воздействия различных LLMS, рассматривая такие переменные, как стоимость токена, вероятность успеха в конкретной задаче, а также прибыль и убытки, связанные с использованием LLMS. Исследование показывает, как превосходная точность более дорогих моделей может при определенных условиях оправдать большие инвестиции посредством более значительных доходов, но не обязательно более крупной рентабельности. В этой статье представлена основа для компаний, стремящихся оптимизировать свой выбор технологий, обеспечивая соответствие инвестиций в передовые технологии со стратегическими финансовыми целями. Кроме того, мы обсуждаем, как изменения в оперативных переменных влияют на экономику использования LLMS, предлагая практическую информацию о настройках предприятия, обнаруживая, что прогнозируемый прирост и потеря и различные вероятности успеха и отказа являются переменными, которые больше всего влияют на чувствительность моделей.
1 Введение
В этой статье предлагаются различные подходы к оценке модели крупной языковой модели (LLM), анализируя финансовое влияние, которое принятие этих технологий может оказать на бизнес -операцию. Хотя подавляющее большинство работы обсуждает только эффективность LLM в наборе задач [Chang et al., 2023], здесь предполагается, что процесс выбора языковой модели (LLM) для конкретных задач в рамках бизнес -контекста должен выходить за рамки оценки эффективности, рассматривая также на оперативные аспекты и принимая во внимание ожидаемую доходу и возврат при инвестициях (ROI).
Нашей мотивацией является тот факт, что выбор соответствующего LLM стал стратегическим решением для компаний, стремящихся улучшить и оптимизировать операции и максимизировать рентабельность инвестиций [Gupta, 2024]. Благодаря непрерывной эволюции технологий искусственного интеллекта, LLMS предлагают инновационные решения для различных бизнес -приложений, от виртуальных помощников до сложных систем анализа данных. Тем не менее, выбор между различными доступными моделями может быть сложным, учитывая переменные затраты и влияние на выполнение бизнес -задач. Кроме того, постоянная эволюция современности, для различных уровней производительности и затрат показывает необходимость всегда подвергать сомнению выбор LLM, который будет использоваться в определенный момент, что требует постоянной оценки новых моделей [Shekhar et al., 2024].
В документе представлены различные модели для анализа влияния принятия различных LLM на основе их влияния на прибыль и возврат инвестиций. Каждая модель предполагает сценарий бизнес -операций, который включает в себя бизнес -задачу, основанную на выполнении задачи LLM. Например, LLMS можно использовать в системе рекомендаций, связанной с онлайн -продажей [Zhao et al., 2024], где он будет предлагать продукт, который будет приобретен клиентом. Бизнес -задача состоит в том, чтобы фактически продать рекомендуемую систему, в то время как TAKS LLM - это правильная рекомендация. Обычно обе задачи могут быть обучены, точно настроены или протестированы с использованием существующего набора данных. Однако фактические результаты бизнеса могут быть измерены только во время работы.
Более того, в каждом бизнес -сценарии некоторая информация легко извлечь, например, стоимость за токен, другие могут быть оценки, средние значения или трудно найти. Более того, разные сценарии также могут иметь разные результаты. Каждый сценарий может привести к созданию новой модели для объяснения ожидаемой ROI и анализа чувствительности, который оценивает, как изменения в входных параметрах влияют на ROI.
В этой статье мы моделируем сценарии, в которых выгоды и преимущества являются прямым результатом одной бизнес -операции. Это, например, случай для системы рекомендаций, действующей во время онлайн-продажи, которая может принести краткосрочные выгоды, которые очень количественно определяются. В других сценариях, перечисленных как будущая работа, операция может оказать только косвенное влияние. Это будет иметь место для обнаружения поддельных новостей в социальной сети, которая может улучшить восприятие доверия к его пользователям, что приведет к долгосрочным выгодам.
В следующем разделе представлены некоторые соображения и предположения для моделей. Третий раздел показывает модель для сценария, основанного на рентабельности одной операции, которая может быть успешной или нет. Четвертый раздел показывает модель для сценария, основанного на задаче бинарной классификации. Пятый раздел описывает модель, которая будет использоваться, когда невозможно работать с одной операцией, но на самом деле с общим результатом использования LLM в бизнесе. В шестом разделе обсуждаются некоторые следующие шаги, в то время как в последнем разделе показаны выводы.
Эта статья есть
Оригинал