ChatGPT против. ChatGPT: как обнаружить текст, сгенерированный с помощью языковой модели ИИ
4 мая 2023 г.Вы ассистент преподавателя в университете, и ваш преподаватель еще не понял, что Chat GPT может генерировать эссе, и попросил студентов в классе, который вы координируете, написать такой текст.
Вы знаете своих учеников, и вы знаете, что многие будут искушены сиренами текста, сгенерированного моделями больших языков, и, вероятно, отправят текст, сгенерированный моделями. Как узнать, были ли они написаны карандашом трудолюбивым учеником?
Что ж, почему бы не спросить мнение главного виновника, ChatGPT. Я провел первоначальный тест, чтобы вы знали, как спрашивать и что означают результаты.
Сначала я отправил в ChatGPT4 текст, написанный в ответ на одно из моих запросов:
<цитата>Вы написали это?:
n Задумывались ли вы когда-нибудь о том, что мир, в котором мы живем, может быть не настоящей реальностью, а сложной симуляцией? Эта теория была популяризирована такими фильмами, как «Матрица», и теперь является предметом споров среди философов, ученых и даже некоторых технологов. Увлекательный взгляд на эту теорию предполагает, что наша реальность на самом деле представляет собой смоделированную игру, в которой плюшевые мишки и подобные фигурки являются доминирующими существами. В этой альтернативной реальности, известной как Вселенная Тедди, эти плюшевые существа соревнуются за внимание, а самые используемые и любимые мишки Тедди получают наибольшее количество очков. Давайте погрузимся в глубины вселенной Тедди и изучим тонкости этой увлекательной симуляции.
Мне пришлось задать процент достоверности, и я получил очень уверенный ответ:
Неплохо для первого теста. Я попробовал то же самое для текста, который я написал в прошлом году до повального увлечения ChatGPT:
<цитата>Оценка: n Несколько недель назад я пошел купить пирожные для кофе-брейка. Как ни в чем не бывало, кассир попросил 3 бакса за то, что на прошлой неделе стоило 2,80. Это напомнило мне о моих подростковых годах в Мексике, где безудержная инфляция была обычным явлением. Большинство людей на Западе не знакомы с инфляцией и ее значением. Какое влияние это окажет на их сбережения, их богатство, их планы на будущее. Я хочу поделиться с вами тем, чему я научился в детстве.
Ответ был интересен:
Затем я вспомнил, что пуританские умы, стоящие за набором данных, который они использовали для обучения модели, которую я решил попробовать с текстом +18, который мог быть взят со страниц Cosmo или подобных публикаций (вы знаете, каких, извращенцы). Я получил следующий ответ:
Этот ответ интересен вдвойне. Во-первых, он извиняется, говоря, что если бы модель действительно сгенерировала это, это было бы под давлением «конкретной подсказки».
n Во-вторых, несмотря на то, что это «явный характер», ему все же присваивается достоверность от 40 до 50%.
Я пробовал другие тексты, включая поэзию, и никогда не опускался ниже этого уровня, поэтому я использовал ядерную опцию и вставил текст в «Богемскую рапсодию». Это был ответ:
Короче говоря, ChatGPT может помочь вам определить, был ли текст написан LLM. Однако всерьез следует воспринимать только уровень достоверности выше 80%. Убедитесь, что вы всегда просите его назначить процент уверенности в своих ответах.
А если вы студент, пишущий отчет, просто добавьте несколько явных ссылок на содержание и слова с ошибками. Можно уменьшить некоторые пункты, но не отвергать все эссе.
И последнее, но не менее важное: если вы профессор, проявите больше изобретательности в отношении того, как оценивать своих студентов. Время отчетов в конце семестра закончилось.
Оригинал