reddit перевод технологии искусственный интеллект языковые модели LLMs

Шокирующая правда о языковых моделях: почему LLMs не так умны, как кажется

7 июля 2025 г.

Вступление

Современные языковые модели, такие как LLMs, кажутся почти сверхъестественными в своей способности понимать и генерировать текст. Однако, если вы загляните под поверхность, вы можете обнаружить, что реальность далека от идеала. В этом материале мы разберемся, почему LLMs не так умны, как кажется, и почему это важно.

Хокку:

Тень разума

В словах нет души

Пересказ Reddit поста

В недавнем посте на Reddit пользователь I_Be_Your_Dad отметил, что метрики, по которым оцениваются языковые модели, могут быть выбраны в пользу моделей. Это может привести к ошибочному представлению о их возможностях.

«I could be misreading this but it feels like the metrics by which the LLMs are being benchmarked here are very cherry-picked..»

Другой пользователь, nonsensegalore, отметил, что Free Gemini, языковая модель, становится все менее умной с каждой неделей, не справляясь с простыми задачами, которые она Previously выполняла без проблем.

«Free Gemini gets dumber each week, judging by the very simple repeat tasks it fails, which worked very well in the past.»

Проблема языковых моделей

Языковые модели, такие как LLMs, основаны на сложных алгоритмах и больших объемах данных. Однако, это не означает, что они могут本当に мыслить или понимать текст на самом деле. Они просто генерируют текст, основываясь на статистических моделях и pattern recognition.

Хакерский подход

Один из пользователей, SnowConePeople, отметил, что языковые модели не могут мыслить и что люди неправильно понимают их возможности.

«Ive used chatGPT since it was initially released. I currently pay for the pro account. It’s garbage. Im so sick of people acting like LLMs can “think”.»

Детальный разбор проблемы

Проблема языковых моделей заключается в том, что они основаны на статистических моделях и не могут действительно понимать текст. Они могут генерировать текст, который выглядит правильным, но на самом деле является результатом сложных математических операций.

Практический пример

Давайте рассмотрим пример, когда языковая модель Claude не может добавить missing div closing tag в файле с 400 строками.


# Импортируем необходимые библиотеки
import re

def add_closing_tag(file_content: str) -> str:
    """Добавляет missing div closing tag в файле.
    
    Args:
        file_content: Содержимое файла
        
    Returns:
        str: Содержимое файла с добавленным тегом
    """
    # Ищем открывающий тег div
    opening_tag = re.search(r'
', file_content)
    
    # Если тег найден, добавляем closing tag
    if opening_tag:
        file_content = file_content.replace(opening_tag.group(), opening_tag.group() + '
')
    
    return file_content

# Создаем пример файла
file_content = '
Пример текста'

# Добавляем closing tag
result = add_closing_tag(file_content)

print(result)  # 
Пример текста

В этом примере мы используем регулярные выражения, чтобы найти открывающий тег div и добавить closing tag.

Возможные решения

Одно из возможных решений - это развитие более сложных алгоритмов, которые могут действительно понимать текст. Другое решение - это четкое понимание ограничений языковых моделей и использования их в соответствии с их возможностями.

Заключение

Языковые модели, такие как LLMs, не так умны, как кажется. Они основаны на статистических моделях и не могут действительно понимать текст. Однако, если мы будем четко понимать их ограничения и развивать более сложные алгоритмы, мы можем создать более эффективные языковые модели в будущем.

Оригинал

Recent Post

Categories

PREVIOUS ARTICLE
NEXT ARTICLE