Текстовые модели генерации изображений, такие как Stable Diffusion, умеют создавать детализированные картинки по описанию, но если попросить их нарисовать что-то  «творческое», результат часто оказывается шаблонным. Исследователи KAIST и NAVER AI Lab нашли способ раскрыть скрытую креативность таких моделей — без дообучения и тонкой настройки.

Команда профессора Чхве Джэсика обнаружила, что творческий потенциал Stable Diffusion можно усилить, изменив внутренние карты признаков — математические представления изображения на разных этапах генерации. Оказалось, ключевую роль играют ранние слои модели: если усилить в них низкочастотные компоненты (основные формы и цвета), а не высокочастотные (мелкие детали, которые приводят к шумам), изображения становятся необычнее, но остаются узнаваемыми.

Ученые предложили алгоритм, который автоматически подбирает оптимальную степень усиления для каждого слоя, балансируя между оригинальностью и практической ценностью. Например, для задания «стул» модель теперь генерирует дизайнерские концепты, далекие от привычных форм.

Результаты опубликованы в Arxiv.

Что проверили:

• Новизна выросла по объективным метрикам.
• SDXL-Turbo, ускоренная версия Stable Diffusion, стала разнообразнее — исчез эффект «коллапса мод» (когда модель выдает похожие варианты).
• В опросах люди отметили, что изображения интереснее, но при этом функциональны.

Раньше никто не улучшал креативность без переобучения модели, — говорят соавторы исследования, аспирантки KAIST Хан Джиён и Квон Дахи. — Мы показали, что даже в обученном ИИ есть скрытые возможности, которые раскрываются через манипуляции с данными.

Технология упростит создание нестандартных дизайнов в архитектуре, моде и рекламе — достаточно текстового запроса.

Исследование полезно для дизайнеров и маркетологов: оно сокращает путь от идеи к визуализации. Например, можно быстро сгенерировать десятки концептов мебели, отсеять банальные и доработать перспективные. Также метод снижает зависимость от дорогого дообучения моделей — креативность включается «на лету».

Отметим, что метод не учит модель понимать абстрактные запросы вроде «нарисуй сюрреализм» — он лишь усиливает имеющиеся паттерны. Без контроля это может давать хаотичные результаты: например, стул с „усиленной“ креативностью превратится в аморфный объект, непригодный для производства.

Ранее мы разбирались, какие профессии выживут после агрессивного наступления ИИ.