Измерение ROI LLM от одной транзакции с использованием реальных затрат
15 июля 2025 г.Таблица ссылок
Аннотация и 1. Введение
Основные помещения для наших моделей
2.1. Как взимаются LLM
2.2 Анедотальная модель из промышленности
2.3 Выбор затрат в модели
2.4 Почему несколько сценариев
Теоретическая модель решения
3.1 Как смоделировать успех
Модель для коммерческих операций на основе одной транзакции
4.1 Пример использования модели
4.2 Анализ модели
4.3 Обсуждение рентабельности рентабельности по сравнению
Моделирование проблемы бинарной классификации
5.1 Локальный анализ чувствительности
5.2 Глобальный анализ чувствительности методом SOBOL
Связанная работа
Будущая работа
Заключение, ссылки и подтверждения
4 Модель для коммерческих операций на основе одной транзакции
Этот сценарий предполагает, что компания оценивает различные LLM для одной и той же задачи, основываясь на вероятности успеха каждого LLM в бизнесе. Аналитические шаги включают в себя создание модели ROI-теоретиков решений, проведение качественного анализа чувствительности, основанного на частичных производных первой степени, и выполнение оценки Сокола первой и второй степени. В этом сценарии мы также показываем числовой пример, основанный на реальных ценах с рынка в мае 2024 года, и произвольно предполагаемой производительности, которая совместима с LLMS с указанной стоимостью, чтобы показать, как можно использовать формулы ROI в реальном случае.
В этом первом анализе мы рассматриваем только (окончательную) вероятность успеха, смоделированную как P.
To quantify the economic impact of choosing an LLM, it is assumed that success in the task generates a gain G and an error implies a cost L. Gains and losses are inherent to the task and not to the LLM.
Thus, the expected value of earnings, E[E], and RoI, E[R], per transaction using an LLM, can be calculated with a decision-theoretical model where the earnings are calculated from the gain per transaction that generates a positive result multiplied by the probability of the result being positive, minus the loss per transaction that generates a negative impact, multiplied by the probability of a negative impact occurring and minus the total cost of the transaction, as in Equation 18. Ожидаемая рентабельность инвестиций является ожидаемой доходом, деленной на общую стоимость транзакции, как в уравнении 19.
Эти выражения облегчают сравнительный анализ доходов и ROI, принимая во внимание не только прямые затраты на использование LLMS, но и экономические последствия результатов, полученных этими технологиями.
4.1 Пример использования модели
Для задач классификации стоимость может полностью преобладать входом, так как выходной сигнал может быть только 1 токен. При предположении этих конкретных условий в задаче классификации доходы (E) и ROI (R) для каждого LLM будут:
Этот пример демонстрирует, что, несмотря на то, что LLM-1 стоил в 20 раз больше и представляет более высокий доход, он также представляет значительно более низкую доходность инвестиций. Это типичный результат сравнения проектов с большой разницей в инвестициях [Институт управления проектами, 2021].
Однако, если мы рассмотрим очень большую транзакцию, мы можем изменить значение T на 128 000 и поддерживать другие значения. С помощью этих данных можно найти приблизительное значение 84%, поскольку минимальная производительность, необходимая для LLM-2, стала более экономичной, чем LLM-1.
График на рисунке 1 показывает эволюцию доходов для двух конкурентных моделей в соответствии со значениями, используемыми в предыдущем примере в зависимости от среднего размера транзакции.
Авторы:
(1) Джеральдо Xexéo, Programa de Engenharia de Sistemas E Computação - Coppe, Universidade Federal Do Rio De Janeiro, Бразиль;
(2) Филипе Брайда, Destamento de Ciência da Computação, Universidade Federal Rural Do Rio de Janeiro;
(3) Маркус Паррейс, Programa de Engenharia de Sistemas e Computação - Coppe, Universidade Federal Do Rio de Janeiro, Бразил и Координадория де Энгенхария де Продушен - Coenp, Cefet/RJ, Unidade Nova Iguaçu;
(4) Пауло Ксавье, Programa de Engenharia de Sistemas E Computação - Coppe, Universidade Federal Do Rio de Janeiro, Бразил.
Эта статья есть
Оригинал