Привыкнув доверять, люди не поймут, когда ИИ начнет манипулировать

Согласно обширному обзору, в настоящее время нет доказательств того, что ИИ можно безопасно контролировать, а без доказательств того, что ИИ можно контролировать, его не следует разрабатывать.

Несмотря на признание того, что проблема управления ИИ может быть одной из самых важных проблем, стоящих перед человечеством, она остается малопонятной, плохо определенной и малоизученной, объясняет доктор Роман В. Ямпольский.

В своей книге «ИИ: необъяснимый, непредсказуемый, неконтролируемый» эксперт по безопасности ИИ доктор Ямпольский рассматривает возможности ИИ кардинально изменить общество, причем не всегда в нашу пользу.

Он объясняет:

Мы столкнулись с почти гарантированным событием, способным привести к экзистенциальной катастрофе. Неудивительно, что многие считают это самой важной проблемой, с которой когда-либо сталкивалось человечество. Результатом может стать процветание или вымирание, и судьба Вселенной висит на волоске.

Неконтролируемый сверхинтеллект

Доктор Ямпольский провел обширный обзор научной литературы по ИИ и утверждает, что не нашел доказательств того, что ИИ можно безопасно контролировать — и даже если частичный контроль существует, его будет недостаточно.

Он объясняет:

Почему так много исследователей полагают, что проблема управления ИИ разрешима? Насколько нам известно, для этого нет никаких доказательств, никаких подтверждений. Прежде чем приступать к созданию управляемого ИИ, важно показать, что проблема решаема.

Это, в сочетании со статистикой, которая показывает, что развитие сверхразума ИИ — почти гарантированное событие, говорит о том, что мы должны поддерживать значительные усилия по обеспечению безопасности ИИ.

Он утверждает, что наша способность создавать интеллектуальное программное обеспечение намного превосходит нашу способность контролировать или даже проверять его. Проведя всесторонний обзор литературы, он считает, что передовые интеллектуальные системы никогда не смогут быть полностью контролируемыми и поэтому всегда будут представлять определенный уровень риска, независимо от того, какую пользу они приносят. Он считает, что целью сообщества ИИ должна быть минимизация такого риска при максимальном увеличении потенциальной пользы.

Каковы препятствия?

ИИ (и сверхинтеллект) отличаются от других программ способностью обучаться новому поведению, корректировать свою работу и действовать полуавтономно в новых ситуациях.

Одна из проблем, связанных с обеспечением безопасности ИИ, заключается в том, что количество возможных решений и ошибок сверхразумного существа по мере роста его возможностей бесконечно, поэтому существует бесконечное количество проблем, связанных с безопасностью. Простого прогнозирования невозможных проблем и защиты от них в патчах безопасности может быть недостаточно.

В то же время, объясняет Ямпольский, ИИ не может объяснить, что он решил, и/или мы не можем понять данное объяснение, поскольку люди недостаточно умны, чтобы понять реализованные концепции. Если мы не понимаем решений ИИ и у нас есть только «черный ящик», мы не сможем разобраться в проблеме и снизить вероятность будущих аварий.

Например, системам ИИ уже поручают принимать решения в области здравоохранения, инвестирования, трудоустройства, банковского дела, безопасности и т. д. Такие системы должны быть способны объяснить, как они принимают решения, в частности, показать, что они не предвзяты.

Ямпольский объясняет:

Если мы привыкнем принимать ответы ИИ без объяснений, по сути, воспринимая его как систему Oracle, мы не сможем определить, что он начинает давать неверные или манипулятивные ответы.

Контроль над неконтролируемым

По мере роста возможностей ИИ его автономность также увеличивается, но наш контроль над ним уменьшается, объясняет Ямпольский, а увеличение автономности — это синоним снижения безопасности.

Например, чтобы суперинтеллект не приобретал неточные знания и не устранял предвзятость своих программистов, он может игнорировать все такие знания и заново открывать/доказывать все с нуля, но это также устранит любую прочеловеческую предвзятость.

Менее интеллектуальные агенты (люди) не могут постоянно контролировать более интеллектуальных агентов (ASI). Это происходит не потому, что мы не можем найти безопасный дизайн для сверхразума в огромном пространстве всех возможных дизайнов, а потому, что такой дизайн невозможен, его не существует. Сверхразум не бунтует, он изначально неконтролируем, — объясняет ученый.

Человечество стоит перед выбором: либо мы становимся похожими на младенцев, о которых заботятся, но не контролируют, либо мы отказываемся от услужливого опекуна, но остаемся ответственными и свободными.

Он предполагает, что можно найти точку равновесия, в которой мы пожертвуем некоторыми возможностями в обмен на некоторый контроль, но при этом предоставим системе определенную степень автономии.

Согласование человеческих ценностей

Одно из предложений по контролю — создать машину, которая будет точно выполнять приказы человека, но Ямпольский указывает на возможность противоречивых приказов, неправильного толкования или злонамеренного использования.

Он объясняет:

Люди в управлении могут приводить к противоречивым или явно злонамеренным приказам, в то время как ИИ в управлении означает, что люди не являются таковыми.

Если бы ИИ действовал скорее как советник, он мог бы обойти проблемы с неправильной интерпретацией прямых приказов и возможностью злонамеренных распоряжений, но автор утверждает, что для того, чтобы ИИ был полезным советником, он должен обладать собственными высшими ценностями.

Большинство исследователей безопасности ИИ ищут способ привести будущий сверхразум в соответствие с ценностями человечества. ИИ, ориентированный на ценности, будет предвзятым по определению, прочеловеческим, хорошим или плохим — все равно предвзятым. Парадокс ИИ, ориентированного на ценности, заключается в том, что человек, явно приказывающий системе ИИ сделать что-то , может получить «нет», в то время как система попытается сделать то, что человек на самом деле хочет. Человечество либо защищают, либо уважают, но не то и другое, — отмечает исследователь.

Минимизация риска

По его словам, чтобы минимизировать риск, связанный с ИИ, необходимо, чтобы его можно было изменять с помощью опций «отмены», ограничить, сделать прозрачным и понятным на человеческом языке.

Он предлагает разделить все ИИ на контролируемые и неконтролируемые, ничего не исключать и рассмотреть возможность введения ограниченного моратория или даже частичного запрета на определенные виды технологий ИИ.

Вместо того чтобы отчаиваться, ученый заключает:

Скорее это повод для большего числа людей копать глубже и увеличивать усилия и финансирование исследований в области безопасности ИИ. Возможно, мы никогда не достигнем 100% безопасного ИИ, но мы можем сделать ИИ более безопасным пропорционально нашим усилиям, а это гораздо лучше, чем ничего не делать. Мы должны использовать эту возможность с умом.

12.02.2024


Подписаться в Telegram



Net&IT

Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр
Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр

В сериале Звездный путь: Следующее поколение к...

Physical Review X: Сеть квантовых датчиков повышает точность измерений
Physical Review X: Сеть квантовых датчиков повышает точность измерений

Квантовые системы, используемые в квантов...

Scientific Reports: ИИ показал больший творческий потенциал, чем человек
Scientific Reports: ИИ показал больший творческий потенциал, чем человек

Еще один балл в пользу искусственного инт...

Крошечную метку на замену RFID сделали еще надежнее
Крошечную метку на замену RFID сделали еще надежнее

Несколько лет назад исследователи Массачу...

Ученые приблизились к более легким и гибким оптоэлектронным устройствам
Ученые приблизились к более легким и гибким оптоэлектронным устройствам

Органические оптоэлектронные устройства, такие...

PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить
PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить

Атанасиос С. Фокас рассматривает актуальный во...

Nature: ИИ генерирует белки с исключительной прочностью связывания
Nature: ИИ генерирует белки с исключительной прочностью связывания

В новом исследовании, опубликованном 18 декабр...

Nature Computational Science: ИИ может предсказывать события в жизни людей
Nature Computational Science: ИИ может предсказывать события в жизни людей

Искусственный интеллект, разработанный для&nbs...

Nature Electronics: Изменение памяти дает новые вычислительные возможности
Nature Electronics: Изменение памяти дает новые вычислительные возможности

Ученые Рочестерского университета разработали ...

Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта
Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта

Многофункциональные компьютерные чипы эволюцио...

Началась регистрация на конкурс «Битва искусственных интеллектов»
Началась регистрация на конкурс «Битва искусственных интеллектов»

Стартовал отборочный этап Международного техно...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Evolution: Островные летучие мыши одного вида эволюционируют по-разному
Evolution: Островные летучие мыши одного вида эволюционируют по-разному
EGU: 41 000 лет назад атмосферу Земли пронзили космические лучи
EGU: 41 000 лет назад атмосферу Земли пронзили космические лучи
Созданы чернила для 3D-печати гибких устройств без механических соединений
Созданы чернила для 3D-печати гибких устройств без механических соединений
Исследователи изучают влияние сольватации и валентности ионов на металлополимеры
Исследователи изучают влияние сольватации и валентности ионов на металлополимеры
New Phytologist: Сети прожилок на листьях появились 201 млн лет назад
New Phytologist: Сети прожилок на листьях появились 201 млн лет назад
«Литнет» выяснил, что привлекает читателей в книгах о космосе
«Литнет» выяснил, что привлекает читателей в книгах о космосе
Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр
Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр
New England Journal of Medicine: Упреждающая ангиопластика не улучшает прогноз
New England Journal of Medicine: Упреждающая ангиопластика не улучшает прогноз
Инженеры создают более выгодную сеть для распределения солнечной энергии
Инженеры создают более выгодную сеть для распределения солнечной энергии
ACS Nano: Зубы нутрий и бобров помогут ученым вывести формулу совершенной эмали
ACS Nano: Зубы нутрий и бобров помогут ученым вывести формулу совершенной эмали
JSPR: Между кортизолом и социальной поддержкой в семейных парах нашли связь
JSPR: Между кортизолом и социальной поддержкой в семейных парах нашли связь
GBE: ДНК древних пингвинов Адели выявило повторы возрастом сотни миллионов лет
GBE: ДНК древних пингвинов Адели выявило повторы возрастом сотни миллионов лет
IC: Исследователи тестируют биологическую безвредность нейроморфной сети
IC: Исследователи тестируют биологическую безвредность нейроморфной сети
EGU: В золоте дураков все-таки нашли ценный компонент
EGU: В золоте дураков все-таки нашли ценный компонент
Шёнингенские копья доказали: 300 000 лет назад древесина была важнейшим сырьем
Шёнингенские копья доказали: 300 000 лет назад древесина была важнейшим сырьем

Новости компаний, релизы

НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
«Инструменты инновационного развития»
«Инструменты инновационного развития»
3 причины перехода с печатной рекламы на цифровую
3 причины перехода с печатной рекламы на цифровую
Виды резервирования серверов для задач АСУ ТП
Виды резервирования серверов для задач АСУ ТП
Выбор клиники и лечащего врача с помощью специализированного сервиса
Выбор клиники и лечащего врача с помощью специализированного сервиса