Новые флаги флагов «иллюзий достоверности» в тексте, сгенерированном AI
25 июня 2025 г.«Совещается, что за этим следует».
Выглядит профессионально. Звучит эксперт. Но кто так говорит?
Врач? Судья? Профессор?
Никто. Просто статистически правдоподобное машинное предложение.
Добро пожаловать в эпоху структурного доверия
Мы вступаем в фазу эволюции искусственного интеллекта, где машинам больше не нужны факты - или авторство - для доверия.
Что им нужно, так этоструктураПолем Тон. Ритм. Определенный шаблон слов.
And suddenly, theyЗвучит правильноПолем
Это явление не является случайным. Это не ошибка. Это даже не злонамеренно.
Егопо дизайнуПолем
Входить:Синтетический дух
Эта статья представляет концепцию под названиемсинтетический дух- форма воспринимаемой достоверности, вызванной не знанием, правдой или авторитетом, аграмматические узорыЭта имитиная экспертная речь.
В отличие от традиционного духа (термин Аристотеля для личного доверия),синтетический духимеет:
- Нет оратора
- Нет институционального источника
- Нет эпистемической ответственности
Егодоверие без предмета- Лингвистическая иллюзия, оптимизированная крупными языковыми моделями (LLMS).
Что показывает исследование
Мы проанализировали1500 выходов, сгенерированных AIот GPT-4, Claude и Gemini в трех критических областях:
- Здравоохранение: например, медицинская диагностика, клинические объяснения
- Закон: например, резюме дела, регулирующие интерпретации
- Образование: например, студенческие эссе, академические подсказки
Мы нашлиПовторяющие лингвистические структурычто надежно имитирует власть:
- Пассивный голос(«Рекомендуется…»)
- Деонтическая модальность(«Обязательно», «должен», «должен»)
- Номинализация(превращение глаголов в абстрактные существительные: «реализация», «Принудительное исполнение»)
- Технический жаргонбез цитата
- Напористый тонбез какого -либо ссылочного заземления
Эти закономерностиактивировать эвристику доверияУ людей -читателей - даже хотя автора нет, нет контекста и нет происхождения.
Риск: эпистемическое смещение
Представьте себе пациента, вступающего в симптомы в приложение, приведенное в основе LLMS и получает медицинское объяснение.
Или студент, копирующий сгенерированный ответ в задание.
Или юридический помощник, использующий резюме дела без источников.
Во всех этих случаяхформавывода кажется заслуживающим доверия.
НоВещество не поддается проверкеПолем
Это то, что мы определяем какЭпистемическое смещение:
Структура доверия сообщений, но никакого фактического источника не может быть отслежено.
Структурная модель для обнаружения
Эта статья не останавливается на диагностике. Он предлагаетфальсифицируемая структураЧтобы обнаружить синтетический дух в текстах, сгенерированных AI:
- Количественные маркеры: Использование классификаторов LIWC и шаблонов для обнаружения плотности авторитетных формул
- Кластеризация: Отображение выходов с помощью синтаксической подписи (например,,Предписание -топакВУченый-нецитированный)
- Дискурс эвристика: Определение сигналов, таких как напоритивная модальность, отсутствие цитирования и безличность
Он также представляетТрубопровод для обнаружения синтетического духа(См. Anexo d) и сравнивает существующиерегулирующие слепые пятнав Законе о AI ЕС и алгоритмических предложениях по подотчетности США.
Что отличается в этой статье?
В отличие от предыдущей литературы, которая критикует предвзятость, галлюцинации или фактическое несоответствие в LLM, эта статья:
- Фокусируется на форме, а не на содержании
- Рассматривает доверие как грамматический артефакт, а не истина
- Определяет структурную концепцию (синтетический дух)это работаетбез агентства
ЭтоЛингвистическая теория легитимности машины- Основано по синтаксису, введена в эксплуатацию по вычислению и становятся видимыми структурными паттернами.
📄 Прочитайте полную статью
Основная публикация:
🔗 https://doi.org/10.5281/zenodo.15700412
Зеркальные версии:
-SSRN
- Figshare
Справочная информация о структуре:
TLOC - невнимательность структурного послушания в генеративных моделях
🔗 https://doi.org/10.5281/zenodo.15675710
⚙ Кто должен это прочитать?
- Разработчики ИИСоздание языковых инструментов, которые могут неосознанно имитировать власть
- ПолитикиРегулирование создания LLM Использование в области права, здравоохранения и образования
- ПедагогиПроектирование структур грамотности для обнаружения дезинформации на основе структуры на основе структуры
- ИсследователиЗаинтересован в пост-ссыльной лингвистике и формальной эпистемологии
Оригинал