Как Ice-T Trains LLM с вопросами да/нет для лучшей классификации
11 июня 2025 г.Авторы:
(1) Горан Мурич, Inferlink Corporation, Лос -Анджелес, (Калифорния gmuric@inferlink.com);
(2) Бен Зал, Inferlink Corporation, Лос -Анджелес, Калифорния (bdelay@inferlink.com);
(3) Стивен Минтон, корпорация Inferlink, Лос -Анджелес, Калифорния (sminton@inferlink.com).
Таблица ссылок
Аннотация и 1 введение
1.1 Мотивация
2 Связанная работа и 2,1 методы подсказки
2.2 Внутреннее обучение
2.3 модели интерпретируемость
3 Метод
3.1 Создание вопросов
3.2 Подсказка LLM
3.3. Сорбализация ответов и 3.4 Обучение классификатора
4 данные и 4.1 клинические испытания
4.2 Корпус независимости Каталонии и 4.3 Корпус обнаружения климата
4.4 Данные по медицинскому здоровью и 4.5 Данные Европейского суда по правам человека (ECTHR)
4.6 Набор данных Necure-Tos
5 экспериментов
6 результатов
7 Обсуждение
7.1 Последствия для интерпретации модели
7.2 Ограничения и будущая работа
Воспроизводимость
Подтверждение и ссылки
Вопросы, используемые в методе ICE-T
3 Метод
Обучение системе ICE-T состоит из следующих шагов:
Генерируя вопросы:Процесс начинается с создания ряда вопросов, предназначенных для того, чтобы вызвать большую языковую модель (LLM);
Побуждение LLM:Ранее сгенерированные вопросы используются, чтобы вызвать LLM и сбора ответов «да/нет»;
Вербализация ответов:Для каждого экземпляра в учебном наборе данных ответы на подсказки собираются и преобразуются в численную форму, создавая тем самым низкоразмерный вектор признаков для каждого экземпляра;
Обучение классификатора:Ранее полученные векторы вместе с их соответствующими этикетками затем используются для обучения классификатора
Стадия вывода отражает процесс обучения: LLM представлен с той же набором вопросов. Полученные ответы численно кодируются таким же образом, прежде чем обрабатывать классификатор, который был обучен на этапе тренировок. Процесс обучения и вывода показан на рисунке 1. Каждый шаг объясняется ниже.
3.1 Создание вопросов
Чтобы тренировать и использовать систему, нам нужно создать несколько вопросов, которые более близко отражают основные принципы, лежащие в основе первоначального вопроса «да/без вопроса». Эти вопросы должны быть изготовлены таким образом, чтобы раскрыть некоторые дополнительные подробности о проблеме.
Рассмотрим вариант использования, когда эксперт создает классификатор для определения права на медицинские испытания на основе данных пациента. В таком сценарии классификатор должен оценить различные критерии клинической интеграции, которые обычно получают из медицинских карт пациента. Например, одним из этих критериев может быть знание языка пациента, независимо от того, говорят они по -английски. Наивная формулировка этого вопроса может состоять в том, чтобы представить вопрос LLM в подсказке, как следующее:
Does this patient speak English according to their medical records.
MEDICAL RECORDS: __RECORDS__
где
Однако серия «вторичных» вопросов, таких как:
Is there any documentation of the patient requiring an interpreter for English during medical visits?
Do the medical records contain notes written in English that indicate communication with the patient?
Are there any written consents or forms completed in English by the patient?
Are there any notations from providers about the patient's ability to understand and speak English?
может позволить модели отвечать непосредственно на основе информации, уже содержащейся в представленных ей документах, а также служит сильным показателями для основного вопроса. Вторичные вопросы также являются да/нет вопросов.
Создание вторичных вопросов может быть сделано несколькими способами, такими как написание вопросов вручную с использованием экспертных знаний или использование LLM для автоматического генерации набора вопросов с фиксированным размером, которые могут быть полезны для ответа на исходный вопрос. Начиная с основного вопроса Q0, мы генерируем n дополнительных вопросов, создавая набор всех вопросов Q = {Q0, Q1. Полем Полем qn}, где | q | = n + 1. Этот процесс показан на рисунке 1 с красной коробкой, иллюстрируя создание вопросов и используя их во время процесса обучения и вывода. Один и тот же набор вопросов используется как для обучения, так и для вывода.
Число N вторичных вопросов определяется на основе таких факторов, как: количество образцов обучения, доступность экспертных знаний и уровень интерпретации, необходимый для конкретной задачи. Наши предыдущие мелкомасштабные эксперименты показали, что вторичные вопросы, созданные экспертами, обычно приводят к улучшению производительности по сравнению с тем, которые генерируются LLMS. Тем не менее, в экспериментах, о которых здесь сообщалось, мы выбрали простой и воспроизводимый подход, в котором мы используем исключительно вторичные вопросы, созданные LLM. Этот выбор был сделан, чтобы минимизировать уклон человека и продемонстрировать эффективность метода в сценариях, где экспертный вклад недоступен. Точные подсказки, используемые для создания вторичных вопросов в наших экспериментах, описаны в разделе 5.
Эта статья есть
Оригинал