IEEE Access: Ученые улучшили модели автоматической обрезки изображений

Обрезка изображений — важная задача в разных областях: от социальных сетей и электронной коммерции до компьютерного зрения.

Обрезка помогает сохранить качество изображения, не меняя его размер и не расходуя вычислительные ресурсы. Она также полезна, когда изображение должно соответствовать определённому соотношению сторон (например, в миниатюрах).

За последние десять лет инженеры разработали различные модели машинного обучения для автоматической обрезки изображений. Эти модели сохраняют наиболее важные части входного изображения.

Модели машинного обучения могут ошибаться и быть необъективными, что иногда приводит пользователей к юридическим проблемам. Например, в 2020 году компания X (бывший Twitter) получила иск из-за того, что её функция автоматического кадрирования скрыла информацию об авторских правах на изображении. Чтобы избежать подобных проблем, нужно понять, почему модели машинного обучения для обрезки изображений работают неудачно.

Исследователи из Университета Дошиша (Япония) разработали новые методы создания сложных примеров для задачи обрезки изображений. Они вносят незаметные искажения в изображение, чтобы обмануть модель и заставить её обрезать нужные области, даже если изначально она этого не планировала.

Докторант Масатомо Йошида, ведущий исследователь, объясняет мотивацию работы так:

Нужно доработать модели обрезки изображений, чтобы они учитывали намерения пользователей и были беспристрастными.

В исследовании участвовали Масатомо Йошида и Харуто Намура из Высшей школы науки и техники Университета Дошиша (Киото, Япония), а также Масахиро Окуда с факультета науки и техники того же университета.

Исследователи разработали два подхода для создания негативных примеров: «белый ящик» и „чёрный ящик“.

• Метод «белого ящика» требует доступа к внутренним механизмам целевой модели. Он предполагает итеративный расчёт возмущений входных изображений на основе градиентов модели. Этот подход использует модель предсказания взгляда, чтобы определить ключевые точки на изображении и затем манипулирует ими. В результате размер возмущений уменьшается на 62,5% по сравнению с базовыми методами на экспериментальном наборе данных изображений.
• Подход «чёрного ящика» использует байесовскую оптимизацию, чтобы эффективно сузить пространство поиска и сосредоточиться на определённых областях изображения. Как и подход „белого ящика“, он включает повторяющиеся процедуры, основанные на картах салиентности взгляда. Вместо внутренних градиентов используется древовидный оценщик Парзена для выбора и оптимизации координат пикселей, влияющих на солёность взгляда. Это позволяет получить нужные изображения.

Методы «чёрного ящика» более применимы в реальных ситуациях и важны для кибербезопасности.

Аспирант Харуто Намура, один из участников исследования, рассказал, что оба подхода дают хорошие результаты.

Наши методы лучше существующих и могут эффективно применяться на практике, например, в Twitter.

Это исследование — шаг вперёд в создании надёжных систем искусственного интеллекта. Оно важно для доверия общества к таким системам.

Повышение эффективности генерации состязательных примеров для обрезки изображений поможет исследованиям в области ИИ и решению насущных проблем.

По словам профессора Масахиро Окуда, исследование выявляет уязвимые места в моделях ИИ и способствует созданию более справедливых систем.

Результаты опубликованы в издании IEEE Access.

01.08.2024