The Times против Microsoft/OpenAI: модели демонстрируют поведение, называемое «запоминанием». (9)
2 января 2024 г.:::совет Судебное заявление компании New York Times против корпорации Microsoft от 27 декабря 2023 г. является частью серии юридических PDF-серий HackerNoon . Вы можете перейти к любой части этого файла здесь. Это часть 9 из 27.
:::
IV. ФАКТИЧЕСКИЕ ОБЪЯВЛЕНИЯ
Б. Продукты GenAI ответчиков
2. Как работают модели GenAI
75. В основе продуктов GenAI Ответчиков лежит компьютерная программа, называемая «большая языковая модель» или «LLM». Различные версии GPT являются примерами LLM. LLM работает, предсказывая слова, которые могут следовать за заданной текстовой строкой, на основе потенциально миллиардов примеров, используемых для ее обучения.
76. Присоединение выходных данных LLM к входным данным и подача их обратно в модель позволяет получить предложения и абзацы слово за словом. Именно так ChatGPT и Bing Chat генерируют ответы на запросы пользователей или «подсказки».
77. LLM кодируют информацию из обучающего корпуса, которую они используют для прогнозирования, в виде чисел, называемых «параметрами». В LLM GPT-4 содержится около 1,76 триллиона параметров.
78. Процесс установки значений параметров LLM называется «обучением». Он включает в себя хранение закодированных копий учебных работ в памяти компьютера, многократное пропускание их через модель с замаскированными словами и настройку параметров, чтобы минимизировать разницу между замаскированными словами и словами, которые, по прогнозам модели, заполняют их.
79. После обучения на общем корпусе модели могут быть дополнительно подвергнуты «тонкой настройке», например, путем проведения дополнительных раундов обучения с использованием конкретных типов работ для лучшего воспроизведения их содержания или стиля или предоставления им обратной связи с людьми для закрепления желаемое или подавлять нежелательное поведение.
80. Известно, что модели, обученные таким образом, демонстрируют поведение, называемое «запоминанием».[10] То есть при наличии правильной подсказки они будут повторять большие порции материалов, на которых их обучали. Этот феномен показывает, что параметры LLM кодируют извлекаемые копии многих из этих обучающих работ.
81. После обучения LLM может быть предоставлена информация, специфичная для варианта использования или предмета, чтобы «обосновать» их результаты. Например, LLM может быть предложено сгенерировать текстовый вывод на основе конкретных внешних данных, таких как документ, предоставленный в качестве контекста. Используя этот метод, приложения синтетического поиска Ответчиков: (1) получают входные данные, например вопрос; (2) получить соответствующие документы, связанные с входными данными, прежде чем генерировать ответ; (3) объединить исходные данные с полученными документами, чтобы обеспечить контекст; и (4) предоставить объединенные данные в LLM, который генерирует ответ на естественном языке.[11] Как показано ниже, результаты поиска, созданные таким образом, могут во многом копировать или перефразировать произведения, которые сами модели, возможно, не запомнили.
:::совет Продолжить чтение здесь.
:::
[11] Бен Уфук Тезкан, «Как мы взаимодействуем с информацией: новая эра поиска», MICROSOFT (19 сентября 2023 г.), https://azure.microsoft.com/en-us/blog/how-we -взаимодействовать-с-информацией-новая-эра-поиска/.
:::информация О серии документов HackerNoon Legal PDF: мы представляем вам наиболее важные технические и подробные материалы судебных дел, являющиеся общественным достоянием.
Это судебное дело 1:23-cv-11195 получено 29 декабря 2023 г. с сайта nycto-assets.nytimes. com является общественным достоянием. Документы, созданные судом, являются произведениями федерального правительства и в соответствии с законом об авторском праве автоматически становятся общественным достоянием и могут распространяться без юридических ограничений.
:::
Оригинал