Почему ИИ до сих пор не понимает вашего дизайна (и как его исправить)

Таблица ссылок

1. Введение

2. Связанная работа

   2.1 Семантический типографский дизайн логотипа

   2.2 Генеративная модель для вычислительного дизайна

   2.3 Инструмент создания графического дизайна

3. Формирующее исследование

   3.1 Общий рабочий процесс и проблемы

   3.2 Беспокойство в вовлечении генеративной модели

   3.3 Пространство дизайна семантической типографической работы

4. Рассмотрение дизайна

5. Напечатано и 5.1 идея

   5.2 Выбор

   5.3 поколение

   5.4 Оценка

   5.5 итерация

6. Прохождение интерфейса и 6.1 стадия до поколения

   6.2 Стадия генерации

   6.3 Стадия после поколения

7. Оценка и 7.1 базовое сравнение

   7.2 Изучение пользователя

   7.3 Анализ результатов

   7.4 Ограничение

8. Дискуссия

   8.1 Персонализированный дизайн: сотрудничество с ИИ

   8.2 Включение знаний о дизайне в инструменты поддержки творчества

   8.3 Рабочий процесс ориентированного на микс-пользователь, ориентированный на инфекцию,

9. Заключение и ссылки

8 Обсуждение

8.1 Персонализированный дизайн: сотрудничество с ИИ

Возвышение крупных языковых моделей вызвало всплеск дизайна творчества, управляемого текстами [6, 51, 58], что позволило создателям сотрудничать с ИИ с использованием повествований о естественном языке. В то время как создание текста предлагает интуитивно понятные средства для манипулирования моделью в бэкэнде, не углубляясь в сложные параметры вручную, выражая намерение пользователя кратко через текстовые подсказки, создает проблему. Создание подсказки становится особенно сложной при описании воображаемого визуального дизайна, учитывая множество деталей, таких как макет, цвет и форма, выходящие за пределы текстового представления. QuickPaint [10] распознает эту проблему и подходит к нему, смешивая набор текстовых подсказок для захвата неоднозначных концепций, таких как«Немного менее яркий цвет».Тем не менее, он остается ограниченным, предлагая предопределенный набор подсказок и принципиально не разрешает проблему представления конкретных визуальных концепций посредством подсказок.

Чтобы обеспечить беспрепятственное намерение создателя с сотрудничеством ИИ, крайне важно отражать реальные методы дизайна с доступными дизайнерскими материалами. Общий материал дизайна, используемый создателями, включает в себя исследовательские галереи [60], эскизы [11] и даже фотографии, фиксирующие наше восприятие мира [31, 62]. Эти материалы для визуального дизайна охватывают как явные намерения, такие как выдающаяся семантика, так и неявные эстетические факторы. В дизайне логотипа явно выясняется на идентичность, часто используя изображения для передачи намерений. Этот аспект не может быть проигнорирован в сотрудничестве с ИИ, требуя возможности ИИ понимать визуальную семантику. Это показывает, что нет универсально превосходного материала, чтобы инкапсулировать намерение создателя; Это зависит от задачи дизайна. Это требует гибридного и мультимодального сотрудничества, которое может гибко обобщить до широкого спектра требований.

8.2 Включение знаний о дизайне в инструменты поддержки творчества

Прививая обобщаемый шаблон проектирования в инструменты, требует решениятехническийивзаимодействиепроблемы, касающиеся того, как люди направляют модель. Модели ИИ часто не создаются для специальной задачи проектирования, создавая проблемы при обобщении для сложных моделей. Например, значительные исследования [47, 61] превратились в методы смешивания для конкретной гранулярности шрифтов. Тем не менее, инструменты поддержки креативности ориентированы на пользователя, с более сложными требованиями к проектированию, призывающим к расширенным методам для размещения всех уровней гранулярности шрифтов. Вместо переподготовки модели, значительные исследования исследовали, чтобы изменить или добавить взаимодействие с моделями для включения знаний о дизайне, таких как параметризация проектирования в толпе [27] и вмешательство посредством промежуточных представлений [57].

Технические и взаимодействие аспектов включения знаний о дизайне выводят идею«Балансировка автоматизации и контроля»,что часто отмечается существующими руководящими принципами дизайна человека-аи [1, 2, 19]. Включение знаний о дизайне, контролируемое создателями, частично решает проблему авторского права ИИ. Текущие генеративные модели столкнулись с критикой за выборки примеров из учебного набора. В Typedance пользователи вносят вклад в дизайн -материалы через изображения, позволяя создавать персонализированную основу вместо прямой репликации из предопределенного набора данных. Этот подход не только улучшает творчество, но и помогает установить более сильное чувство владения создателями. Полная автоматизация с одной моделью для достижения сквозного результата упускает из виду значение пользователя. Очарование инструмента поддержки творчества, в отличие от того, чтобы полагаться исключительно на модель, заключается в том, чтобы позволить создателям участвовать в важных этапах. Это участие включает в себя настройку дизайнерских материалов, выбор знаний о разработке для передачи в процесс генерации и уточнение окончательного результата.