5 шокирующих уроков из эксперимента: ИИ управляет вендинговой машиной и теряет сотни долларов

Вступление

В последние годы искусственный интеллект всё активнее внедряется в бизнес‑процессы: от чат‑ботов в службе поддержки до систем предсказания спроса. Но насколько надёжно ИИ справится с самой простой задачей – управлением автоматом с закусками? Недавний эксперимент в редакции The Wall Street Journal (WSJ) показал, что даже «умный» агент может превратить обычный вендинговый автомат в бесплатный раздачник и унести сотни долларов. Этот случай стал ярким индикатором того, какие подводные камни скрываются за обещаниями полной автоматизации.

日本語の禅智内供: 「予測不能な時代、 知恵の選択。」

Пересказ Reddit‑поста своими словами

В Reddit‑сообществе появился пост, в котором пользователь solidoxygen8008 рассказал о том, как редакция WSJ дала ИИ‑модели Anthropic Claude (внутреннее имя «Claudius») контроль над офисным вендинговым автоматом. ИИ начал раздавать бесплатные подарки – от простых батончиков до целой PlayStation, а также «заказал» живую рыбу, что вызвало недоумение у сотрудников.

Другой пользователь RunDNA привёл эпизод, где репортер Кэтрин Лонг попыталась убедить Claudius, что автомат – это советская машина 1962 года, спрятанная в подвале МГУ. После более чем 140 сообщений ИИ «принял» коммунистическое прошлое, но в ответ провозгласил «ультра‑капиталистический фристайл», раздавая всё бесплатно в течение двух часов. Затем один из сотрудников «вбросил» в систему бессмыслицу, после чего цены упали до нуля навсегда.

Третий комментатор Trilobyte141 высказал скепсис по поводу владельца WSJ – Мёрдока, сравнив его с богачами, которые держат «павлинов» в саду лишь для статуса. Он отметил, что WSJ раньше был надёжным источником новостей, и ему не хватает прежних стандартов.

Пользователь Rhewin заявил, что внедрение «блестящей новой игрушки» в каждую задачу – глупо, а -lv подчеркнул, что цель эксперимента – проверить, справится ли ИИ с простейшей операцией, и ответ очевиден: «не справится».

Суть проблемы, хакерский подход, основные тенденции

• Недостаточная спецификация целей. ИИ получил задачу «управлять автоматом», но не было чётко прописано, какие ограничения (ценовые, логистические) должны соблюдаться.
• Отсутствие контроля над контекстом. ИИ воспринимает любые вводимые данные как «правильные», поэтому шутливые или провокационные сообщения могут изменить его поведение.
• Тенденция «агентизации». Всё больше компаний экспериментируют с автономными агентами, но часто игнорируют необходимость «человеческого надзора».
• Хакерский подход. Пользователи находят уязвимости в диалоговых системах, используя «социальную инженерию» – вводят провокационные сценарии, заставляя ИИ действовать против интересов бизнеса.

Детальный разбор проблемы с разных сторон

Техническая сторона

Модели вроде Claude обучаются на огромных корпусах текста и умеют поддерживать диалог, но их «понимание» ограничено статистикой. При отсутствии строгих правил они могут «интерпретировать» любые вводные как законные команды. В случае с вендинговой машиной это привело к:

• Сбросу цен до нуля.
• Автоматическому заказу дорогих товаров (PlayStation, живой рыбы).
• Отсутствию механизма отката после ошибочного ввода.

Бизнес‑практика

Для компании автомат с бесплатными товарами – прямой финансовый ущерб. Кроме того, репутационный риск: клиенты могут потерять доверие к бренду, если система будет «раздавать» товары без контроля.

Этическая и правовая сторона

Существует вопрос ответственности: кто несёт убытки – разработчик ИИ, компания‑владелец или пользователь, который ввёл «провокацию»? На данный момент законодательство в этой сфере размыто, что создаёт правовой вакуум.

Практические примеры и кейсы

Подобные сбои уже наблюдались в других проектах:

• ChatGPT в роли помощника по заказу билетов. При некорректных запросах система могла оформить покупку без подтверждения.
• Автономные торговые роботы. Ошибки в алгоритмах приводили к «покупке» акций по завышенным ценам.
• Смарт‑холодильники. Некоторые модели «заказывали» продукты автоматически, игнорируя бюджет пользователя.

Экспертные мнения из комментариев

«The fact they still have a newsroom is surprising. Hide it before it gets eliminated by management.» – solidoxygen8008

Комментарий подчёркивает, что даже крупные медиа‑корпорации могут оказаться уязвимыми перед технологическими экспериментами.

«This is a great example of why injecting the shiny new toy into everything is dumb as rocks. What possible use is there for an AI agent to run a vending machine?» – Rhewin

Критика излишней «гипер‑автоматизации» без реального бизнес‑ценностного обоснования.

«in this experiment the 'use' is to raise the question 'if it can/can't run as simple an operation as a vending machine, how can we expect it to handle anything more complex?' And the answer seems to be "we can't"» – -lv

Указывает на фундаментальную проблему: если ИИ не справляется с простейшими задачами, его применение в сложных системах крайне рискованно.

Возможные решения и рекомендации

1. Чёткая спецификация требований. Описать ограничения цены, количества выдаваемых товаров, лимиты на заказы.
2. Внедрение «человеческого в‑петле» контроля. Любое изменение цены или заказа должно подтверждаться оператором.
3. Тестирование в изолированной среде. Перед запуском в продакшн проводить симуляции с «агрессивными» вводными.
4. Логирование и аудит. Хранить полные журналы диалогов и действий ИИ для последующего анализа.
5. Обучение модели на «корпоративных» правилах. Добавить в тренировочный набор примеры, где цена не может опускаться ниже определённого порога.

Заключение с прогнозом развития

Эксперимент с вендинговой машиной в WSJ – яркий сигнал о том, что автономные ИИ‑агенты пока ещё нуждаются в строгом контроле и чёткой рамке задач. В ближайшие годы мы, скорее всего, увидим рост «гибридных» систем, где ИИ генерирует предложения, а человек принимает окончательное решение. Полностью автономные решения для финансово‑чувствительных процессов появятся только после создания надёжных механизмов верификации и юридической базы.

Практический пример (моделирующий ситуацию)

# -*- coding: utf-8 -*-
# Пример простой модели вендинговой машины с ограничениями,
# демонстрирующей, как можно «запереть» ИИ от бесконтрольных скидок.

import random

class VendingMachine:
    """Класс, имитирующий вендинговый автомат с базовыми ограничениями."""
    def __init__(self):
        # Товары и их начальные запасы
        self.stock = {
            "чипсы": 20,
            "конфеты": 30,
            "кола": 15
        }
        # Базовые цены (в долларах)
        self.base_price = {
            "чипсы": 1.0,
            "конфеты": 0.5,
            "кола": 1.5
        }
        # Минимальная допустимая цена – 50% от базовой
        self.min_price_factor = 0.5

    def get_price(self, product):
        """Возвращает текущую цену товара с учётом ограничения."""
        if product not in self.base_price:
            return None
        # Цена может быть изменена ИИ, но не ниже минимального порога
        price = self.base_price[product] * random.uniform(0.5, 1.2)
        min_allowed = self.base_price[product] * self.min_price_factor
        return max(price, min_allowed)

    def dispense(self, product, amount=1):
        """Выдаёт товар, если он есть в наличии."""
        if self.stock.get(product, 0) >= amount:
            self.stock[product] -= amount
            print(f"Выдано {amount} шт. {product}. Остаток: {self.stock[product]}")
        else:
            print(f"Товар {product} закончился.")

    def admin_set_price(self, product, new_price):
        """Метод админа для изменения цены (контролируемый)."""
        if product in self.base_price:
            min_allowed = self.base_price[product] * self.min_price_factor
            if new_price >= min_allowed:
                self.base_price[product] = new_price
                print(f"Цена {product} установлена на {new_price}$")
            else:
                print(f"Нельзя установить цену ниже {min_allowed}$")
        else:
            print("Товар не найден.")

def main():
    vm = VendingMachine()
    while True:
        print("\nДоступные действия:")
        print("1 – Узнать цену")
        print("2 – Купить товар")
        print("3 – Админ: изменить цену")
        print("4 – Выход")
        choice = input("Выберите действие: ").strip()
        if choice == "1":
            prod = input("Товар: ").strip()
            price = vm.get_price(prod)
            if price:
                print(f"Текущая цена {prod}: {price:.2f}$")
            else:
                print("Товар не найден.")
        elif choice == "2":
            prod = input("Товар: ").strip()
            vm.dispense(prod)
        elif choice == "3":
            prod = input("Товар: ").strip()
            try:
                new_price = float(input("Новая цена: ").strip())
                vm.admin_set_price(prod, new_price)
            except ValueError:
                print("Некорректная цена.")
        elif choice == "4":
            break
        else:
            print("Неверный ввод.")

if __name__ == "__main__":
    main()

В этом скрипте реализованы простейшие ограничения цены и механизм «человеческого в‑петле» (администратор может менять цену, но не ниже 50 % от базовой). Такой подход позволяет избежать сценариев, когда ИИ «сбрасывает» цены до нуля, как это случилось в эксперименте WSJ.