Нейронные сети в опасности: как злоумышленники могут запутать ИИ

Большинство искусственных интеллектуальных систем основано на нейронных сетях — алгоритмах, созданных по образцу биологических нейронов, находящихся в головном мозге. Такие сети могут состоять из нескольких слоев, в один из которых поступают входные данные, а в другой — выходные.

Выходные данные могут использоваться для принятия автоматических решений, например, в автомобилях без водителя. Атаки, направленные на введение нейронной сети в заблуждение, могут включать использование уязвимостей во входных слоях, но обычно при разработке защиты учитывается только начальный входной слой. Впервые исследователи дополнили внутренние слои нейронной сети процессом, включающим случайный шум, для повышения ее устойчивости.

Искусственный интеллект (ИИ) стал довольно распространенным явлением: скорее всего, у вас есть смартфон с ИИ-помощником или вы пользуетесь поисковой системой, работающей на основе ИИ. Хотя это широкий термин, который может включать в себя множество различных способов обработки информации и принятия решений, системы искусственного интеллекта часто строятся на основе искусственных нейронных сетей (ИНС), аналогичных мозгу. И, как и мозг, ИНС могут иногда сбиваться с толку, либо случайно, либо в результате преднамеренных действий третьих лиц. Подумайте о чем-то вроде оптической иллюзии — вам может показаться, что вы смотрите на одну вещь, а на самом деле вы смотрите на другую.

Разница между тем, что может запутать ИНС, и тем, что может запутать нас, заключается в том, что некоторые визуальные данные могут выглядеть совершенно нормально или, по крайней мере, быть понятными для нас, но, тем не менее, могут быть интерпретированы ИНС как нечто совершенно иное.

Тривиальным примером может быть система классификации изображений, принимающая кошку за собаку, а более серьезным — автомобиль без водителя, принимающий стоп-сигнал за знак «Право проезда». И это не только уже ставший спорным пример с автомобилями без водителя; существуют системы медицинской диагностики и многие другие чувствительные приложения, которые принимают входные данные и информируют, или даже принимают, решения, которые могут повлиять на людей.

Поскольку входные данные не всегда визуальны, не всегда легко с первого взгляда проанализировать, почему система могла допустить ошибку. Злоумышленники, пытающиеся нарушить работу системы, основанной на ИНС, могут воспользоваться этим, тонко изменяя предполагаемую модель входных данных таким образом, чтобы она была неверно интерпретирована, и система повела себя неправильно, возможно, даже проблемно. Существуют некоторые методы защиты от подобных атак, но они имеют свои ограничения. Недавний выпускник Джумпей Укита и профессор Кеничи Оки с кафедры физиологии Высшей медицинской школы Токийского университета разработали и протестировали новый способ улучшения защиты ANN.

Нейронные сети обычно состоят из слоев виртуальных нейронов. Первые слои часто отвечают за анализ входных данных, определяя элементы, соответствующие определенному входу, — говорит Охки.

Злоумышленник может предоставить изображение с артефактами, которые обманут сеть и заставят ее неправильно классифицировать его. Типичной защитой от такой атаки может быть преднамеренное введение шума в этот первый слой. Звучит нелогично, что это может помочь, но таким образом можно добиться большей адаптации к визуальной сцене или другому набору входных данных. Однако этот метод не всегда столь эффективен, и мы подумали, что можем улучшить ситуацию, заглянув не только на входной слой, но и дальше внутрь сети.

Укита и Оки — не просто ученые-компьютерщики. Они также изучали человеческий мозг, и это вдохновило их на использование известного им явления в ANN. Речь идет о добавлении шума не только во входной слой, но и в более глубокие слои. Обычно этого избегают, поскольку опасаются, что это повлияет на эффективность работы сети в обычных условиях. Однако дуэт обнаружил, что это не так, и вместо этого шум способствовал повышению адаптивности тестовой ANN, что снизило ее восприимчивость к симулированным атакам противника.

В первую очередь мы разработали гипотетический метод атаки, который бы проникал глубже входного слоя. Такая атака должна была бы противостоять устойчивости сети со стандартной защитой от шума на входном слое. Мы назвали эти атаки примерами состязаний в пространстве признаков, — говорит Укита.

Эти атаки осуществляются путем подачи на вход сигнала, заведомо далекого, а не близкого к тому, который ANN может правильно классифицировать. Но хитрость заключается в том, что вместо этого на глубокие слои подаются тонкие вводящие в заблуждение артефакты. После того как мы продемонстрировали опасность такой атаки, мы ввели случайный шум в глубокие скрытые слои сети, чтобы повысить их адаптивность и, следовательно, способность к защите. Мы рады сообщить, что это работает.

Несмотря на то, что новая идея оказалась надежной, команда хочет доработать ее, чтобы сделать еще более эффективной против ожидаемых атак, а также против других видов атак, которые они еще не проверили. В настоящее время защита работает только против этого конкретного вида атак.

Будущие злоумышленники могут попытаться рассмотреть атаки, способные избежать шума в пространстве признаков, который мы рассматривали в этом исследовании, — сказал Укита.

Действительно, атака и защита — это две стороны одной медали; это гонка вооружений, от которой не отступит ни одна из сторон, поэтому нам необходимо постоянно повторять, совершенствовать и внедрять новые идеи, чтобы защитить системы, которыми мы пользуемся каждый день.

16.09.2023


Подписаться в Telegram



Net&IT

Крошечную метку на замену RFID сделали еще надежнее
Крошечную метку на замену RFID сделали еще надежнее

Несколько лет назад исследователи Массачу...

Ученые приблизились к более легким и гибким оптоэлектронным устройствам
Ученые приблизились к более легким и гибким оптоэлектронным устройствам

Органические оптоэлектронные устройства, такие...

PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить
PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить

Атанасиос С. Фокас рассматривает актуальный во...

Nature: ИИ генерирует белки с исключительной прочностью связывания
Nature: ИИ генерирует белки с исключительной прочностью связывания

В новом исследовании, опубликованном 18 декабр...

Nature Computational Science: ИИ может предсказывать события в жизни людей
Nature Computational Science: ИИ может предсказывать события в жизни людей

Искусственный интеллект, разработанный для&nbs...

Nature Electronics: Изменение памяти дает новые вычислительные возможности
Nature Electronics: Изменение памяти дает новые вычислительные возможности

Ученые Рочестерского университета разработали ...

Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта
Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта

Многофункциональные компьютерные чипы эволюцио...

Началась регистрация на конкурс «Битва искусственных интеллектов»
Началась регистрация на конкурс «Битва искусственных интеллектов»

Стартовал отборочный этап Международного техно...

ИИ помогает математикам находить закономерности
ИИ помогает математикам находить закономерности

Применение машинного обучения для поиска ...

Scientific Reports: Борьба с недоверием в Интернете может быть неэффективной
Scientific Reports: Борьба с недоверием в Интернете может быть неэффективной

Новое исследование, проведенное Университетом ...

JRCS: ChatGPT перегружает пользователей выбором
JRCS: ChatGPT перегружает пользователей выбором

За последние несколько лет в области...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Optica Quantum: Ученые разработали новый метод определения квантовых состояний
Optica Quantum: Ученые разработали новый метод определения квантовых состояний
Новая реалистичная компьютерная модель поможет роботам собирать лунную пыль
Новая реалистичная компьютерная модель поможет роботам собирать лунную пыль
С помощью GPT-4 создали видеоуроки по педиатрии для слабо обеспеченных больниц
С помощью GPT-4 создали видеоуроки по педиатрии для слабо обеспеченных больниц
Телескоп Джеймс Уэбб обнаружил следы нейтронной звезды в легендарной сверхновой
Телескоп Джеймс Уэбб обнаружил следы нейтронной звезды в легендарной сверхновой
Нервная анорексия у мужчин опасна для жизни
Нервная анорексия у мужчин опасна для жизни
Nicotine & Tobacco Research: Запрет сигарет с ментолом помогает бросить курить
Nicotine & Tobacco Research: Запрет сигарет с ментолом помогает бросить курить
Мальротацию кишечника новорожденных помогут распутать лягушачьи икринки
Мальротацию кишечника новорожденных помогут распутать лягушачьи икринки
Новое исследование роли дофамина поможет лечить болезнь Паркинсона
Новое исследование роли дофамина поможет лечить болезнь Паркинсона
Nature Comm: Младенцев с синдромом Дауна в древности почитали как особенных
Nature Comm: Младенцев с синдромом Дауна в древности почитали как особенных
Крошечную метку на замену RFID сделали еще надежнее
Крошечную метку на замену RFID сделали еще надежнее
Освоение космоса: остановить нельзя развивать
Освоение космоса: остановить нельзя развивать
Гигантские антарктические морские пауки удивили всех отношением к потомству
Гигантские антарктические морские пауки удивили всех отношением к потомству
Геномы бабочек и мотыльков практически не изменились за 250 млн лет эволюции
Геномы бабочек и мотыльков практически не изменились за 250 млн лет эволюции
Ученые намерены глубже понять жизнь на Земле благодаря имиджеомике
Ученые намерены глубже понять жизнь на Земле благодаря имиджеомике
Как выглядит работающий рекламный баннер
Как выглядит работающий рекламный баннер

Новости компаний, релизы

НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
«Инструменты инновационного развития»
«Инструменты инновационного развития»
3 причины перехода с печатной рекламы на цифровую
3 причины перехода с печатной рекламы на цифровую
Виды резервирования серверов для задач АСУ ТП
Виды резервирования серверов для задач АСУ ТП
Выбор клиники и лечащего врача с помощью специализированного сервиса
Выбор клиники и лечащего врача с помощью специализированного сервиса