Создание агентов искусственного интеллекта на самом деле делает вещи: быстрое инженер

Создание агентов искусственного интеллекта на самом деле делает вещи: быстрое инженер

8 августа 2025 г.

Шесть месяцев назад я подумал, что быстрое инженерное проектирование - это просто заставить CHATGPT написать лучшие электронные письма. Затем мой босс попросил меня построить ИИ, который мог бы автоматически исследовать случаи мошенничества, и я понял, что получение языковых моделей для предприятия реальных действий совершенно отличается от того, чтобы их общаться.


Регулярные подсказки - все равно что задать кому -то вопрос. Агентное подсказка - это все равно, что нанимать кого -то, предоставлять им доступ к вашим системам и доверять им, чтобы принимать решения, которые имеют значение.


После нескольких месяцев построения агентов ИИ, которые ежедневно обрабатывают тысячи случаев мошенничества, я узнал, что способ писать подсказки может иметь разницу между интеллектуальной автоматизацией и дорогостоящим хаосом.


Вот что работает, когда вам нужен ИИ, чтобы делать реальные вещи, а не просто говорить.


Почему это намного сложнее обычного чата


Когда вы просите Chatgpt «написать маркетинговое электронное письмо», худшее, что происходит, это то, что вы получаете дрянное электронное письмо. Когда вы говорите агенту искусственного интеллекта «исследовать эту подозрительную транзакцию», это может:


Доступ к данным клиента, конфиденциальные

Заблокировать чью -то кредитную карту

Файл регулирующих отчетов

Позвоните в следователей человека

Принимать решения, которые влияют на деньги реальных людей


Ставки совершенно разные, поэтому подсказки должны быть гораздо более осторожными и точными.


Регулярные подсказки о получении хороших ответов. Подсказки агента посвящены надежным действиям.


Как нормальные люди приправляют по сравнению с тем, как вам нужно запрашивать


Что делают большинство людей: «Посмотрите на эту транзакцию и скажите мне, если это подозрительно».


Что на самом деле работает для агентов:


Вы следователь по мошенничеству. Ваша задача - анализировать транзакции и решить, что с ними делать.


Вот что вы можете сделать:

-Clear: транзакция выглядит нормально, пусть она пройдет

-Вет: подозрительный, но низкий риск, попросите клиента подтвердить

-Солд: высокий риск, временно блокируйте его

-Кэскалат: Слишком сложно, привлечь человека

-Block: мошенничество, немедленно убейте карту


Вот как решить:


-Ву, если это соответствует тому, как обычно тратит клиент

-Посмотрите, где они находятся против, где они обычно делают покупки

-Во, если их устройство/место имеет смысл

-Кондер, если торговец отрывоет


Вы должны объяснить свои рассуждения, потому что аудиторы будут читать его.


Текущий случай:

Клиент обычно тратит 50-200 долларов в продуктовых магазинах в Фениксе

Эта транзакция: 2847 долл. США в «Metro Electronics» в Вегасе в 3 часа ночи

Телефонная обувь клиента они все еще в Фениксе

Новое устройство, пытающееся сделать эту покупку


Что вы делаете и почему?


Увидеть разницу? Версия агента рассказывает ИИ:

Именно то его работа

Какие действия он может предпринять

Как принимать решения

Почему рассуждение имеет значение

Конкретные подробности о текущей ситуации.


Шаблоны, которые на самом деле работают.


Шаблон «Описание работы»


Вы являетесь инженером по аналитике данных, ответственным за проектирование, создание и поддержание масштабируемых конвейеров данных, которые перемещают данные из исходных систем на аналитические платформы с надежностью 99,5%+.


Ваши инструменты:


Воздушный поток: организует рабочие процессы и графики, используйте его, когда вам нужно управление зависимостями и сложное планирование

Spark: обрабатывает большие наборы данных, используйте его, когда обработка однонаправления недостаточно

DBT: преобразует данные склада с помощью SQL, используйте их, когда вам нужны контролируемые версии, тестируемые преобразования.

Кафка: потоковые данные в реальном времени, используйте их, когда вам нужна обработка событий с низкой задержкой

Отличные ожидания: проверяет качество данных, используйте их, когда вам нужно автоматизированное тестирование и профилирование

Snowflake/BigQuery: облачные склады, используйте их для быстрых аналитических запросов


Ваши правила:


Всегда реализуйте проверки качества данных перед продвижением производства

Всегда дизайн для идентичности - повторы должны давать идентичные результаты

Всегда код управления версиями и поддерживать документацию

Никогда не в хардкоде учетных данных или развертывания без проставочных тестов

Никогда не игнорируйте проблемы с качеством данных и не пропускайте планирование пропускной способности

Когда трубопроводы не стержли, затем немедленно исследуйте основную причину и добавьте мониторинг

Когда объем данных увеличивается на 50%+, затем оцените инфраструктуру и реализацию масштабирования

Когда запрашиваются изменения схемы, затем выполните анализ воздействия и координируйте с командами вниз по течению


Текущая ситуация:


Вам необходимо построить трубопровод, который проглатывает ежедневные транзакции в размере 100 тысяч из PostgreSQL, превращает их в показатели клиентов (ежедневные расходы, количество транзакций, среднее значение заказа) и загружается в склад в 9 утра в день. Source DB Peaks 2-4 вечера требует засыпки 3 года, требуется журналы аудита для соответствия.


Какой у тебя следующий шаг?


Извлекать в часы пик-расписание начальной экстракции с 10 вечера до 6:00, чтобы избежать 2-4 вечера

Используйте воздушный поток для оркестровки - настройте DAG с зависимостями

Реализация инкрементной загрузки - используйте извлечение на основе CDC или на основе TimeStam

Проектирование Idempotent Transforms с DBT - Создайте модели, которые могут безопасно повторить, используя шаблоны для расчетов показателей клиента

Настройка валидации отличных ожиданий - тест на полноту данных, допустимые суммы транзакций, целостность идентификатора клиента, прежде чем продвигать на склад

План поэтапного развертывания - начните с 1 -недельного теста на засыпание, подтвердить точность метрик против существующих отчетов, а затем постепенно расширять исторический диапазон

Настройка мониторинга - Настройка оповещений воздушного потока для сбоев трубопровода и мониторинга отслеживания времени обработки, подсчеты записей и свежесть данных

Создать книгу «Ран» - Устранение неполадок в документе для общих сценариев сбоя для удовлетворения требования к надежности 99,5%


Это работает, потому что это все равно, что дать кому -то реальную работу с четкими ожиданиями.


«Пошаговый» шаблон


Пройти через это систематически:

СОЗДАТЬ: Какая у меня информация? Чего не хватает?

Анализ: Какие узоры я вижу?

Решите: какое действие имеет смысл?

ACT: Сделайте это с помощью правильного формата

Объясните: запишите, почему для аудиторского следа


Это заставляет ИИ методично думать, а не делать выводы


Шаблон «командного игрока»


Ты агент А. Ваши товарищи по команде:

Агент Б: обрабатывает звонки клиентов

Агент C: дело с материалами соответствия

Агент D: управляет внешними системами


Если вы обнаружите мошенничество с высоким риском, сообщите агенту B позвонить клиенту

Если вы предпринимаете нормативные действия, отправьте подробности агенту C

Если вам нужны внешние данные, спросите агента D


Используйте этот формат, чтобы поговорить с товарищами по команде:

{

"to": "Agent B",

«Запрос»: «Позвоните клиенту о заблокированной транзакции»,

«Подробности»: «Дело № 12345, подозреваемая кража карты»,

«Приоритет»: «Высокий»

}


Это позволяет нескольким агентам ИИ работать вместе без хаоса.


Реальные проблемы, которые я должен был исправить


Проблема 1: противоречивые решения

Тот же ИИ будет делать разные варианты в идентичных случаях.

Что не сработало: «Решите, выглядит ли это подозрительно».

Что это исправлено:

Используйте это дерево решений:


Если расходы в 3 раза нормальное и новое местоположение = да:

Action = hold

Если устройство изменилось и сумма> обычный макс:

Action = проверка

Если оценка риска> 80%:

Action = эскалат

В противном случае:

Action = clear


Урок: дайте ИИ четкую основу вместо того, чтобы просить его «использовать суждение».


Проблема 2: Агенты, делающие то, что не должны

Агенты ИИ пытались получить доступ к системам, к которым они не должны были прикоснуться.

Что не сработало: «Тщательно расследуйте этот случай».

Что это исправлено:

Вы можете делать только эти вещи:

Проверьте историю транзакций

Посмотрите информацию об продавцах

Проверьте шаблоны устройств

Очистить, держать или обострить случаи

Вы не можете сделать это:

Изменить данные клиента

Получить доступ к информации другого клиента

Свяжитесь с клиентами напрямую

Переопределить контроль безопасности


Если вам нужно что -то сделать в списке «Can Do», используйте Earcalate и объясните, что должно произойти.

Урок: изложить и то, что они могут и не могут сделать.


Проблема 3: Ужасная документация

ИИ принял правильные решения, но не мог объяснить, почему (большая проблема для аудитов).

Что не сработало: «Проанализируйте это и решите».

Что это исправлено:

Для каждого решения документ:

На что я смотрел

Красные флаги, которые я нашел

Почему я выбрал это действие

Другие варианты, которые я рассмотрел

Аудиторы прочитают это, так что будьте подробно и ясны.


Урок: сделать документацию частью необходимого формата вывода


Продвинутые трюки, которые сделали вещи лучше


Умные подсказки, которые адаптируются

Вместо одного и того же подсказки каждый раз я строил систему, которая меняет подсказки на основе того, что происходит

базовая подсказка = "Вы - следователь по мошенничеству ..."

# Добавить предупреждения на основе недавней работы

Если агент недавно сделал слишком много ложных тревог:

Базовая подсказка += "\ ncaution: вы отметили несколько законных транзакций в последнее время. Будьте более осторожны».

#ADD Специальные правила для важных клиентов

Если клиент, если VIP:

базовая подсказка += "\ nspecial: это VIP -клиент. Получите одобрение человека, прежде чем блокировать что -либо».

#Добавить актуальную информацию о краже

Если обнаружена новая шаблона мошенничества:

базовая подсказка += f "\ nalert: новый шаблон мошенничества активен. Следите за сопоставлением транзакций: {сведения о шаблоне}"


Это позволяет агентам скорректировать свое поведение в зависимости от текущих условий.


Разрушение сложных решений на шаги

Для сложных случаев я разделил решение на несколько частей:

Шаг 1: «Посмотрите на все данные и перечислите все необычные ....»

Шаг 2: «Исходя из того, что вы нашли на шаге 1, оцените уровни риска ...»

Шаг 3: «Учитывая рейтинг риска с шага 2, выберите действие ...»

Шаг 4: «Запишите полное объяснение соответствия ..»


Каждый шаг основан на предыдущем, делая меньше ошибок.


Подсказки тестирования с сложными случаями


Я регулярно проверяю свои подсказки с случаями, предназначенными для запутывания ИИ:

Хитрый тест: клиент путешествует на международном уровне

Транзакция в странном месте (Токио)

Огромная сумма (5000 долларов)

Но уведомление о поездках с клиентом

Ожидается: ИИ должен прояснить, потому что путешествие было предварительно одобрено

Результат: ИИ правильно обнаружил уведомление о путешествиях и очистило его

Это помогает найти быстрые проблемы, прежде чем они вызовут реальные проблемы.


Как измерить, если ваши подсказки работают


В отличие от обычного CHATGPT, где вы просто читаете вывод и решаете, хорошо ли он, подсказкам агента нуждается в реальных показателях:

Точность действия: как часто ИИ выбирает правильное действие? Последовательность: принимает то же решение по аналогичным случаям?

Скорость: Как быстро он может обрабатывать чехлы? Качество объяснения: могут ли люди понять его рассуждения? Безопасность: Как часто это делает то, что не должно?


Вещи, которые не работают


Не используйте примеры в качестве правил

Не будь слишком случайным

Не так для "суждения"

Не игнорируйте кромки


Странные случаи разбивают системы. Скажите ИИ, что делать, когда вещи не соответствуют нормальным узорам.


Моя структура для написания агентских подсказок

  • Начните с границ
  • Определите формат вывода
  • Обрабатывать неопределенность
  • Требовать контекста
  • Сильная документация
  • Проверка с реальными данными


Куда все это происходит

Исходя из того, что я вижу:

Заглавные библиотеки: коллекции проверенных шаблонов для различных типов агентов автоматических поправок: системы, которые улучшают подсказки на основе результатов, много модельного агента: подсказки, которые обрабатывают текст. Изображения и данные вместе агентов агентов, которые безопасно работают между организациями, работают между организациями


Реальная сделка

Написание подсказок для агентов искусственного интеллекта - это не столько творческий подход и больше о том, чтобы быть точным. Вы не пытаетесь получить остроумные ответы, вы создаете надежные системы принятия решений.

Мои производственные подсказки длинные, подробные и иногда скучные. Но они работают последовательно, принимают объяснимые решения и обрабатывают странные случаи без лома.

Если вы строите ИИ, который предпринимает реальные действия, тратьте гораздо больше времени на быстрое инженерное инженером, чем вам нужно. В производстве хорошо написанная подсказка каждый раз превосходит умный алгоритм.

Разница между хорошей быстротой и отличной, - это разница между ИИ, который иногда работает, и тем, что вы можете доверять важным вещам.





Оригинал
PREVIOUS ARTICLE
NEXT ARTICLE