Typedance: генеративный инструмент для семантической типографии и творческого рабочего процесса
8 августа 2025 г.Таблица ссылок
Введение
Связанная работа
2.1 Семантический типографский дизайн логотипа
2.2 Генеративная модель для вычислительного дизайна
2.3 Инструмент создания графического дизайна
Формирующее исследование
3.1 Общий рабочий процесс и проблемы
3.2 Беспокойство в вовлечении генеративной модели
3.3 Пространство дизайна семантической типографической работы
Рассмотрение дизайна
Напечатано и 5.1 идея
5.2 Выбор
5.3 поколение
5.4 Оценка
5.5 итерация
Прохождение интерфейса и 6.1 стадия до поколения
6.2 Стадия генерации
6.3 Стадия после поколения
Оценка и 7.1 базовое сравнение
7.2 Изучение пользователя
7.3 Анализ результатов
7.4 Ограничение
Дискуссия
8.1 Персонализированный дизайн: сотрудничество с ИИ
8.2 Включение знаний о дизайне в инструменты поддержки творчества
8.3 Рабочий процесс ориентированного на микс-пользователь, ориентированный на инфекцию,
Заключение и ссылки
8.3 Рабочий процесс ориентированного на микс-пользователь, ориентированный на инфекцию,
С целью разработки инструмента с «низким порогом» для новичков, чтобы управлять генерацией и «высоким потолком» для экспертов для достижения более продвинутых эффектов, Typedance объединяет моделируемый рабочий процесс дизайна. Инструменты поддержки креативности по своей природе предназначены для обеспечения комплексного опыта авторизации, обращаясь к общим и уникальным акцентам от различных пользователей [57, 58, 65]. Как показано на рисунке 10, эксперты и дизайнеры разделяют как сходные, так и различные предпочтения. Функции с общими предпочтениями, такими как выбор и генерация, могут считаться центральными для рабочего процесса и требуют более глубокого расследования. Примечательно, что существуют функции с различными предпочтениями, основанными на опыте. Эксперты, как правило, определять приоритеты в оценке и уточнении, тогда как новички могут рассматривать их как необязательные. Однако, с меньшим количеством опыта дизайна, новички считают идею полезными, чем эксперты. Функции с разными предпочтениями действуют как «широкая стена »,приспосабливание дополнительных требований пользователя. Хотя это и не обязательно, как центральные функции, опуская их, ставя под угрозу общую целостность рабочего процесса.
9 Заключение
Это исследование изготавливает знания дизайна из реальных примеров, суммирует обобщаемые шаблоны проектирования и моделируемый рабочий процесс дизайна и исследует создание семантических типографических логотипов путем смешивания шрифтов и изображений при сохранении разборчивости. Мы вводим Typedance, инструмент для авторизации, основанный на генеративной модели, которая поддерживает персонализированный рабочий процесс дизайна, включая идеи, выбор, генерацию, оценку и итерацию. С помощью Typedance создатели могут гибко выбирать шрифты на разных уровнях детализации и смешивать их с конкретными изображениями, используя комбинируемые коэффициенты проектирования. Typedance также позволяет пользователям регулировать сгенерированные результаты в соответствии с спектром моментов шрифтов и предлагает после редактирования отдельные элементы. Обратная связь от общих пользователей и экспертов подтверждает эффективность Typedance и предоставляет ценную информацию для будущих возможностей. Мы рады улучшить функциональность типиз для комплексного рабочего процесса и изучить новые методы и взаимодействия для повышения творчества человека.
Ссылки
[1] Салима Амерши, Дэн Уэлд, Михаэла Ворвореану, Адам Фурни, Бесмира Нуши, Пенни Коллиссон, Джина Су, Шамси Икбал, Пол Н. Беннетт, Кори Инкпен и др. 2019. Руководящие принципы для взаимодействия с человеком с АИ. В материалах CHI Conference 2019 по человеческим факторам в вычислительных системах. 1–13.
[2] Apple. 2021. Руководство по интерфейсу человека. https://developer.apple.com/design/human-interface-guidelines/, последний доступ к 2023-12-13.
[3] Грегори Эшворт и Михалис Каваратцис. 2009. Помимо логотипа: управление брендом для городов. Журнал управления брендом 16 (2009), 520–531.
[4] Даниэль Берио, Фредерик Фол Леймари, Пол Асенте и Хосе Эчеваррия. 2022. Строкстайл: сегментация на основе инсульта и стилизация шрифтов. Транзакции ACM на графике 41, 3, статья 28 (2022), 21 страница.
[5] Джеймс Беткер, Габриэль Го, Ли Цзин, Тим Брукс, Цзянфенг Ванг, Линджи Ли, Лонг Оян, Хунтанг Чжуан, Джойс Ли, Юфэй Го и др. 2023. Улучшение генерации изображений с лучшими подписями. Информатика. https: // cdn. Openai. com/papers/dall-e-3. PDF (2023).
[6] Иин Цао, Джейн Л. Е., Чжутин Чен и Хайджун Ся. 2023. DataParticles: на основе блоков и языковой, ориентированной на анимированные визуализации единиц. В материалах конференции Чи 2023 года по человеческим факторам в вычислительных системах. 1–15.
[7] Терри Л Чилдерс и Джеффри Джасс. 2002. Все одеты с чем -то, что можно сказать: влияние семантических ассоциаций шрифтов на восприятие бренда и память потребителей. Журнал потребительской психологии 12, 2 (2002), 93–106.
[8] Лидия Б. Чилтон, Экеназ Джен Озмен, Сэм Х Росс и Вивиан Лю. 2021. Visifit: структурирование итерационного улучшения для начинающих дизайнеров. В материалах конференции Чи по человеческим факторам в вычислительных системах. Ассоциация вычислительной техники, 1–14.
[9] Лидия Б. Чилтон, Саввас Петридис и Манеш Агралала. 2019. Visiblends: гибкий рабочий процесс для визуальных смесей. В материалах конференции Чи по человеческим факторам в вычислительных системах. Ассоциация вычислительной техники, 1–14.
[10] Джон Джун Янг Чунг и Эйтан Адар. 2023. romptypaint: рулевое управление генерацией текста к изображению через средние взаимодействия. В материалах 36 -го годового симпозиума ACM по программному обеспечению и технологии пользовательского интерфейса. 1–17.
[11] Джон Джун Янг Чунг, Воосок Ким, Кан Мин Ю, Хваран Ли, Эйтан Адар и Минсук Чанг. 2022. Talebrush: наброски историй с генеративными предварительно проведенными языковыми моделями. В материалах конференции Чи 2022 года по человеческим факторам в вычислительных системах. 1–19.
[12] Weiwei Cui, Xiaoyu Zhang, Yun Wang, He Huang, Bei Chen, Lei Fang, Haidong Zhang, Jian-Guan Lou и Dongmei Zhang. 2019. Текст-квизой: автоматическая генерация инфографики из операций с естественным языком, связанными с пропорциями. Транзакции IEEE по визуализации и компьютерной графике 26, 1 (2019), 906–916.
[13] Жоао М. Кунха, Нуно Луренсо, Педро Мартинс и пенис Мачадо. 2020. Визуальное смешивание для представления концепции: тематическое исследование по генерации смайликов. Новое поколение Computing 38, 4 (2020), 739–771.
[14] Лаура Девендорф и Кимико Риокай. 2013. Anytype: провоцирование размышлений и исследования с эстетическим взаимодействием. В материалах конференции Сигчи по человеческим факторам в вычислительных системах. 1041–1050.
[15] Райан Дью, Асим Ансари и Оливье Тубия. 2022. Позволяет логотипам говорить: использование многовидного представления обучения для брендинга, управляемого данными и дизайна логотипа. Маркетинговая наука 41, 2 (2022), 401–425.
[16] Эвелин Фикс и Джозеф Лоусон Ходжес. 1989. Дискриминационный анализ. Непараметрическая дискриминация: свойства согласованности. Международный статистический обзор/Revue Internationale de Statistique 57, 3 (1989), 238–247.
[17] Ринон Гал, Юваль Алалуф, Юваль Азмон или Паташник, Амит Х. Бермано, Гал Чечик и Даниэль Коэн-или. 2022. Изображение стоит одного слова: персонализация генерации текста к изображению с использованием текстовой инверсии. Arxiv: 2208.01618
[18] Ринон Гал, или Паташник, Хаггай Марон, Амит Хермано, Гал Чехик и Даниэль Коэн-Ор. 2022. Стильган-Нада: Адаптация домена с клиентом. Адаптация генераторов изображений. Транзакции ACM на графике 41, 4, статья 141 (2022), 13 страниц.
[19] Google. 2019. People + Guidebook. https://pair.withgoogle.com/, последний доступ к 2023-12-13.
[20] Памела В. Хендерсон и Джозеф А. Кот. 1998. Руководство по выбору или изменению логотипов. Журнал маркетинга 62, 2 (1998), 14–30.
[21] Вы потеряете Германто. 2023. Семантическая интерпретация в экспериментальной типографической создании. Kne Social Sciences 8, 15 (2023), 252–257.
[22] Кай-Вэнь Сяо, Юн-Лян Ян, Юнг-Чих Чиу, Мин-Чун Ху, Чи-Юань Яо и Хун-Куо Чу. 2023. Img2logo: генерирование логотипов золотого соотношения из изображений. В компьютерном графическом форуме, вып. 42. Wiley Online Library, 37–49.
[23] Шир Илуз, Яэль Винкер, Амир Херц, Даниэль Берио, Даниэль Коэн-Ор и Ариэль Шамир. 2023. Слово-изображение для семантической типографии. Транзакции ACM на графике 42, 4, статья 151 (2023), 11 страниц.
[24] Youwen Kang, Zhida Sun, Sitong Wang, Zeyu Huang, Ziming Wu и Xiaojuan Ma. 2021. Metamap: поддержка идеи визуальной метафоры посредством многомерного исследования на основе примеров. В материалах конференции Чи по человеческим факторам в вычислительных системах. Ассоциация вычислительной техники, статья 427, 15 страниц.
[25] Александр Кириллов, Эрик Минтун, Нихила Рави, Ханзи Мао, Хлоя Ролланд, Лора Густафсон, Тет Сяо, Спенсер Уайтхед, Александр С. Берг, Ван-Йен Ло, Пиот-Доллр и Росс Гиршик. 2023. Сегмент что угодно. Arxiv: 2304.02643
[26] Джанин Кох, Андрес Лусеро, Лена Хегеманн и Анти Уласвирта. 2019. МОЖЕТ ИИ? Дизайн идеи с кооперативными контекстуальными бандитами. В материалах конференции Чи по человеческим факторам в вычислительных системах. Ассоциация вычислительной техники, 1–12.
[27] Юки Кояма, Дайсуке Сакамото и Такео Игараши. 2014. Анализ параметров толпы для исследования визуального дизайна. В материалах 27 -го ежегодного симпозиума ACM по программному обеспечению и технологии пользовательского интерфейса. 65–74.
[28] Jieun Lee, Eunju Ko и Carol M Megehee. 2015. Социальные преимущества логотипов брендов в представлении «Самоуров» и того же гендерного влияния. Журнал бизнес -исследований 68, 6 (2015), 1341–1349.
[29] Junnan Li, Dongxu Li, Caiming Xiong и Steven Hoi. 2022. Blip: начальная загрузка языкового изображения перед тренировкой для объединенного понимания и поколения на языке зрения. В материалах Международной конференции по машинному обучению, вып. 162. PMLR, 12888–12900.
[30] Yi-Na Li, Kang Zhang и Dong-Jin Li. 2017. Автоматическая генерация логотипов на основе правил. Леонардо 50, 2 (2017), 177–181.
[31] Джорджия Лупи и Стефани Посавек. 2018. Соблюдайте, собирайте, нарисуйте!: Визуальный журнал: Откройте для себя шаблоны в своей повседневной жизни. Принстонская архитектурная пресса.
[32] О Матаев и Х Матаев. 2006. Галерея Ольги. Джузеппе Армиболдо. [33] Марк Мейер, Алан Барр, Хайонг Ли и Матье Десбрун. 2002. Генерализованные барицентрические координаты на нерегулярных многоугольниках. Журнал графических инструментов 1 (2002), 13–22.
[34] Чонг Моу, Ксинтао Ван, Лянбин Си, Цзянь Чжан, Чжунганг Ци, Ю -Шан и Сяоху Ци. 2023. T2I-Adapter: Обучающие адаптеры для выкола более контролируемой способности для диффузионных моделей текста до изображения. Arxiv: 2302.08453
[35] Такеши Окада и Кентаро Исибаши. 2017. Имитация, вдохновение и творение: когнитивный процесс творческого рисунка, копируя другие произведения искусства. Когнитивная наука 41, 7 (2017), 1804–1837.
[36] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 2022. Достижения в системах обработки нейронной информации 35 (2022), 27730–27744.
[37] Хелен Петри, Фрейзер Гамильтон и Нил Кинг. 2004. Натяжение, какое напряжение? Доступность веб -сайта и визуальный дизайн. В материалах международного междисциплинарного семинара по доступности веб-сайта, Vol. 63.
[38] Huy Quoc Phan, Hongbo Fu и Antoni B Chan. 2015. FlexyFont: Правила передачи обучения для гибкого синтеза шрифтов. В компьютерном графическом форуме, вып. 34. Wiley Online Library, 245–256.
[39] Алек Рэдфорд, Чон Вук Ким, Крис Халласи, Адитья Рамеш, Габриэль Го, Сандхини Агарвал, Гириш Састри, Аманда Аскалл, Памела Мишкин, Джек Кларк и др. 2021. В материалах Международной конференции по машинному обучению, вып. 139. PMLR, 8748–8763.
[40] Адитья Рамеш, Прафулла Дхаривал, Алекс Никол, Кейси Чу и Марк Чен. 2022. Иерархическое создание текстовых кондиционированных изображений с задержками клипа. Arxiv: 2204.06125
[41] Адитья Рамеш, Михаил Павлов, Габриэль Го, Скотт Грей, Челси Восс, Алек Рэдфорд, Марк Чен и Илья Сатскевер. 2021. НЕОБРАЖЕНИЕ ТЕКСТРАТИВНОГО ДОСТАВКА. В материалах Международной конференции по машинному обучению, вып. 139. PMLR, 8821–8831.
[42] Робин Ромбач, Андреас Блаттманн, Доминик Лоренц, Патрик Эссер и Бьорн Оммер. 2022. Синтез изображения высокого разрешения с скрытыми диффузионными моделями. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию шаблонов. IEEE, 10684–10695.
[43] Субхадип Рой и Реха Атри. 2022. Physimorphic и типографический логотипы в маркетинге назначения: интеграция знакомства с пунктом назначения и характеристик потребителей. Управление туризмом 92 (2022), 104544.
[44] Пэтсорн Санклой, Виттават Джиткритм, Дийи Ян и Джеймс Хейс. 2022. Эскиз стоит тысячи слов: поиск изображения с текстом и эскизом. В материалах Европейской конференции по компьютерному видению. Springer, 251–267.
[45] Ян Ши, Пей Лю, Сиджи Чен, Менгди Сан и Нан Цао. 2022. Поддержка выразительного и верного дизайна изобразительной визуализации с переносом визуального стиля. IEEE транзакции по визуализации и компьютерной графике 29, 1 (2022), 236–246.
[46] Бен Шнайдерман. 2007. Инструменты поддержки творчества: ускорение открытия и инноваций. Общение ACM 50, 12 (2007), 20–32.
[47] Махам Танвир, Йижи Ван, Али Махдави-Амири и Хао Чжан. 2023. DS-Fusion: художественная типография посредством дискриминационной и стилизованной диффузии. В материалах Международной конференции по компьютерному видению. IEEE.
[48] Пурва Тендулкар, Калпеш Кришна, Рампрасаат Р. Сельвараджу и Деви Парих. 2019. Трюк или угощение: тематическое подкрепление для художественной типографии. Arxiv: 1903.07820
[49] Дмитрий фон Рютт, Элизабетта Феделе, Джонатан Томм и Лукас Вольф. 2023. Ткань: персонализирующие диффузионные модели с итеративной обратной связью. Arxiv: 2307.10159
[50] Йижи Ван, Юэ Гао и Чжухуи Лиан. 2020. ATTRIBUTE2FONT: Создание шрифтов, которые вы хотите из атрибутов. Транзакции ACM на графике 39, 4, статья 69 (2020), 15 страниц. [
51] Юн Ван, Чжитао Хоу, Лейксиан Шен, Тонгшуанг Ву, Цзяки Ван, Хуанг, Хайдонг Чжан и Дунмей Чжан. 2022. На пути к авторизации визуализации на основе естественного языка. Транзакции IEEE по визуализации и компьютерной графике 29, 1 (2022), 1222–1232.
[52] Йижи Ван, Го Пу, Венхан Луо, Йексин Ван, Пенгфей Сионг, Хонгвен Кан и Чжухуи Лиан. 2022. Эстетический текстовый синтез логотипа через вывод с контентом. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию шаблонов. IEEE, 2436–2445.
[53] Джейсон Вей, Сюежи Ван, Дейл Шуурманс, Мартен Босма, Фей Ся, Эд Чи, Кук В. Лей, Денни Чжоу и др. 2022. Появление цепочки мыслей вызывает рассуждения в моделях крупных языков. Достижения в системах обработки нейронной информации 35 (2022), 24824–24837.
[54] Шиши Сяо, Суйзи Хуанг, Юэ Лин, Йилин Йе и Вэй Цзэн. 2023. Пусть диаграмма Spark: внедрить семантический контекст в диаграмму с генеративной моделью текста до изображения. Arxiv: 2304.14630
[55] Цзе Сюй и Крейг С. Каплан. 2007. Каллиграфическая упаковка. В материалах графического интерфейса. Ассоциация вычислительной техники, 43–50.
[56] Xiaotong Xu, Rosaleen Xiong, Boyang Wang, David Min и Steven P Dow. 2021. IdeaTerelate: галерея примеров, которая помогает создателям исследовать идеи по отношению к их собственным. Материалы ACM по взаимодействию человека с компьютером 5, CSCW2, статья 352 (2021), 18 страниц.
[57] Чуан Ян, Джон Джун Янг Чунг, Юн Кихон, Йотам Гингольд, Эйтан Адар и Сунсу Рэй Хонг. 2022. Flatmagic: улучшение раскраски плоской, управляемой искусственным интеллектом для дизайна для цифровых комиксов. В материалах конференции Чи 2022 года по человеческим факторам в вычислительных системах. 1–17.
[58] Зихан Ян, Чанксу Ян, Цихао Лян и Сянтони Чен. 2023. Xcreation: инструмент поддержки Crossmodal Generative Crowntial Protectial на основе графиков. В материалах 36 -го годового симпозиума ACM по программному обеспечению и технологии пользовательского интерфейса. 1–15.
[59] Шуай Ян, Цзяинг Лю, Чжухуи Лиан и Зонминг Го. 2017. Потрясающая типография: статистическая передача текстовых эффектов на основе статистики. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию шаблонов. IEEE, 7464–7473.
[60] Enhao Zhang и Nikola Banovic. 2021. Метод изучения генеративных состязательных сетей (GANS) через автоматически сгенерированные галереи изображений. В материалах конференции Чи 2021 года по человеческим факторам в вычислительных системах. 1–15.
[61] Джунсонг Чжан, Ю Ван, Вейи Сяо и Чженшан Луо. 2017. Синтезирование декоративных шрифтов. В компьютерном графическом форуме, вып. 36. Wiley Online Library, 64–75.
[62] Цзяйи Эрис Чжан, Николь Султанум, Анастасия Безезеанос и Фанни Шевалье. 2020. DataQuilt: извлечение визуальных элементов из изображений в изобразительные визуализации ремесленника. В материалах конференции Чи по человеческим факторам в вычислительных системах. Ассоциация вычислительной техники, 1–13.
[63] Lvmin Zhang и Maneesh Agrawala. 2023. Добавление условного управления в диффузионные модели текста до изображения. Arxiv: 2302.05543
[64] Нанксуан Чжао, Нам Вук Ким, Лора Мария Херман, Ханспетр Пфистер, Ринсон В.С. Лау, Хосе Эчеваррия и Зоя Билинский. 2020. ICONATE: Автоматическое создание составных значков и идеи. В материалах конференции Чи по человеческим факторам в вычислительных системах. Ассоциация вычислительной техники, 1–13.
[65] Тонгю Чжоу, Конни Лю, Джошуа Конг Ян и Джефф Хуанг. 2023. Отфильтрован. Чернила: Создание динамических иллюстраций с помощью фильтров SVG. В материалах конференции Чи 2023 года по человеческим факторам в вычислительных системах. 1–15.
[66] Чанцинг Зу, Джунджи Цао, Варуника Ранавера, Ибрагим Алхашим, Пинг Тан, Алла Шеффер и Хао Чжан. 2016. Разработанные компактные каллиграммы. Транзакции ACM на графике 35, 4, статья 122 (2016), 12 страниц.
Авторы:
(1) Шиши Сяо, Гонконгский университет науки и технологии (Гуанчжоу), Китай;
(2) Лангвей Ван, Гонконгский университет науки и технологии (Гуанчжоу), Китай;
(3) Xiaojuan MA, Гонконгский университет науки и технологии, Китай;
(4) Вэй Зенг, Гонконгский университет науки и технологии (Гуанчжоу), Китай.
Эта статья есть
Оригинал