Исследователям удалось обмануть искусственный интеллект

Запутать робота: как и зачем люди обманывают искусственный интеллект

Первый способ обмануть алгоритм заключается как раз в подмене данных в такой таблице решений. Так называемая poison attack («отравление») заключается в том, что злоумышленник намеренно «подсовывает» искусственному интеллекту неверные исходные данные, и на этапе обучения программа усваивает, например, что круг — это квадрат, и работает потом неверно.

Можно тщательно спрятать «яд», заложенный в таблицу, и отравить только какую-то часть «разума» ИИ. Например, если предположить, что вход в режимное помещение будет охранять роботизированная система, вполне можно заложить в алгоритм какой-то символ, при получении которого система будет разрешать доступ любому человеку.

В остальном ИИ будет работать нормально и не вызовет подозрений.

Второй пример касается атаки на алгоритм уже на этапе его применения. Зная тонкости работы ИИ, можно вынудить систему принимать неправильное решение с помощью различных приемов.

Обратите внимание

В сети много говорили про эксперименты с изображениями, когда программа принимает ошибочное решение о том, что изображено, если на фото добавляют цветной шум. В примере, изображенном ниже, после незаметного человеку изменения картинки искусственный интеллект начинает считать, что панда — это гиббон, с вероятностью 99,3%.

Другой успешный эксперимент провели ученые из Университета Карнеги. Они успешно выдавали себя за известных людей, используя оправы очков, оклеенные цветной бумагой.

Вредоносному воздействию поддаются не только технологии распознавания изображений. Семантический анализ и поведение чат-ботов также оказываются уязвимы.

Известны случаи, когда компьютерные программы специально учат давать неверные ответы на вопросы пользователей. Например, в 2016 году чат-бот Тай, созданный компанией Microsoft, начал грубо общаться с пользователями.

Как оказалось, его алгоритмы атаковала группа злоумышленников, которые, не имея никакого доступа к исходному коду, просто научили Тая неприличным фразам.

Однако все это становится совсем несмешно, когда мы говорим о реальной безопасности.

Ученые из четырех разных университетов США (а именно в Америке автомобили с автопилотом на данный момент сравнительно часто используются) замаскировали дорожные знаки таким образом, что искусственный интеллект автомобиля распознавал их неправильно.

Например, облепленный наклейками знак STOP автомобиль в 100% случаев распознавал как знак ограничения скорости. Знак поворота направо, напротив, был расценен как знак STOP.

Защитники концепции виртуального водителя сочли эксперимент провокацией.

Важно

По их версии беспилотный автомобиль не просто анализирует изображения, но воспринимает их в контексте и не может быть обманут простыми стикерами.

Однако группе исследователей из OpenAI удалось создать изображение, которое похоже на котенка с любой стороны и при любой точке обзора, но искусственным интеллектом оно распознается как настольный компьютер.

Почему ошибается ИИ?

Проблема заключается в том, что нейронная сеть анализирует изображения по блокам, в то время как человеческий глаз видит картинку целиком. В примерах, которые мы рассмотрели, количество наложенных пикселей было небольшим и не превышало 4%. Однако даже это приводит к сбою в 97% случаев.

На практике происходит следующее: искусственный интеллект разбивает обнаруженный знак на несколько областей и анализирует их на предмет принадлежности к определенной группе.

Производители автомобилей используют разные алгоритмы, но все они работают схожим образом: разбивают изображение на сегменты и классифицируют их.

Чтобы автомобиль понял, что перед ним знак «стоп», на этом объекте (допустим, что автопилот делит изображение на девять квадратов) должно быть три квадрата верхней границы, два квадрата с красными полосками, три квадрата нижней границы и так далее.

Таким образом, если шесть из девяти анализируемых зон знака по всем признакам относятся к знаку ограничения скорости, а остальные зоны не распознаются (например, если на них что-то наклеили), компьютер будет уверен, что перед ним знак ограничения скорости. Как вы думаете, остановился бы такой автомобиль на перекрестке?

Но это только один пример возможной опасности. По мере того как роботы будут принимать все более ответственные решения, атаки на искусственный интеллект станут не предметом исследований, а повседневной реальностью.

И хотя понимание уязвимостей ИИ на ранней стадии его развития дает ученым возможность устранить эти пробелы и сделать алгоритмы более эффективными, но эти же знания дают киберпреступникам возможность совершенствовать способы атак.

Совет

Будут ли атакованы программные продукты? На самом деле это уже происходит, причем под угрозой оказываются как традиционные компьютерные системы, так и средства защиты данных с внедрением ИИ.

Например, зная, как работает классический антивирус, злоумышленники регулярно перешифровывают тело вредоносной программы, чтобы она не распознавалась антивирусами, работающими по сигнатурам.

Но если использовать этот факт как дополнительную информацию для алгоритмов ИИ, идентифицировать вредоносную программу удается намного раньше.

Советы по защите ИИ

Существует несколько принципов, которые позволяют защитить инновационные алгоритмы, основанные на машинном обучении. И на мой взгляд, их необходимо использовать, чтобы обезопасить себя от возможных атак и сохранить репутацию компании.

Использовать только достоверные источники. Если вы не уверены в том, откуда были получены данные, или не можете гарантировать 100-процентную достоверность информации, лучше выбрать другие источники для обучения искусственного интеллекта.

Например, хорошим вариантом является получение информации с компьютеров пользователей систем, статистика, собранная вашими же приложениями, или другие данные, которые можно проверить.

Любая сторонняя информация может не только содержать шум и ошибки, но также оказаться специально «отравленной» злоумышленниками.

Проводить качественный анализ. Предварительная обработка данных необходима на всех этапах тренировки и применения алгоритмов.

Внимание к набору данных для тренировки нейронной сети позволяет исключить аномалии в нем, снижая риски обучения на некорректных примерах и возможность проведения подобных атак.

Например, использование картинок в оригинальном виде делает их уязвимыми к poison attack: мы не знаем, не наложил ли кто-нибудь пиксельные помехи на фотографии и иллюстрации. Однако небольшое предварительное размытие изображения сведет вероятность таких атак к нулю.

Отрабатывать максимальное количество ситуаций на этапе тренировки алгоритма. В компании мы постоянно получаем данные от системы Active Protection и каждый день обучаем свою систему защиты, основываясь на реальных ситуациях, происходящих на компьютерах пользователей.

Учитывая, что было вчера или неделю назад, мы повышаем точность работы алгоритма. Синхронизация алгоритма с реальностью и отслеживание изменений очень важны.

И если даже они не предотвратят саму атаку, то помогут уменьшить ее последствия, так как алгоритм быстрее научится отрабатывать новые ситуации.

Не пренебрегать техническими приемами. Кроме правильной организации процесса работы с данными не стоит забывать и про технические приемы.

Обратите внимание

Например, использование методологии drop out позволяет обеспечить правильное функционирование нейронной сети даже при выходе из строя определенного количества «нейронов».

В конечном счете устойчивость работы алгоритма зависит от того, насколько надежную основу вы обеспечили для него.

Заключение

Использование ИИ с сфере кибербезопасности может обеспечить высокую точность распознавания вредоносного ПО. Однако все алгоритмы ИИ имеют уязвимости, которые можно использовать при наличии определенных знаний. Поэтому необходимо уделять достаточно внимания защите алгоритмов от возможных атак.

Простые примеры обмана нейронных сетей говорят о том, что злоумышленники имеют возможность атаковать любой искусственный интеллект. Более того, не исключено, что в ближайшем будущем сами вредоносные программы будут использовать алгоритмы искусственного интеллекта для проведения атак. Но бороться с этим можно, в этом материале рассказано как.

Источник: http://www.forbes.ru/tehnologii/359591-zaputat-robota-kak-i-zachem-lyudi-obmanyvayut-iskusstvennyy-intellekt

9 проблем машинного обучения

Искусственный интеллект врывается в нашу жизнь. В будущем, наверное, все будет классно, но пока возникают кое-какие вопросы, и все чаще эти вопросы затрагивают аспекты морали и этики.

Какие сюрпризы преподносит нам машинное обучение уже сейчас? Можно ли обмануть машинное обучение, а если да, то насколько это сложно? И не закончится ли все это Скайнетом и восстанием машин? Давайте разберемся.

Разновидности искусственного интеллекта: Сильный и Слабый ИИ

Для начала стоит определиться с понятиями. Есть две разные вещи: Сильный и Слабый ИИ. Сильный ИИ (true, general, настоящий) — это гипотетическая машина, способная мыслить и осознавать себя, решать не только узкоспециализированные задачи, но еще и учиться чему-то новому.

Слабый ИИ (narrow, поверхностный) — это уже существующие программы для решения вполне определенных задач: распознавания изображений, управления автомобилем, игры в Го и так далее. Чтобы не путаться и никого не вводить в заблуждение, Слабый ИИ обычно называют «машинным обучением» (machine learning).

Про Сильный ИИ еще неизвестно, будет ли он вообще изобретен. Судя по результатам опроса экспертов, ждать еще лет 45. Правда, прогнозы на десятки лет вперед — дело неблагодарное. Это по сути означает «когда-нибудь». Например, рентабельную энергию термоядерного синтеза тоже прогнозируют через 40 лет — и точно такой же прогноз давали и 50 лет назад, когда ее только начали изучать.

Машинное обучение: что может пойти не так?

Если Сильного ИИ ждать еще непонятно сколько, то Слабый ИИ уже с нами и вовсю работает во многих областях народного хозяйства.

И таких областей с каждым годом становится все больше и больше. Машинное обучение позволяет решать практические задачи без явного программирования, а путем обучения по прецедентам. Подробнее вы можете почитать в статье «Простыми словами: как работает машинное обучение«.

Поскольку мы учим машину решать конкретную задачу, то полученная математическая модель — так называется «обученный» алгоритм — не может внезапно захотеть поработить (или спасти) человечество. Так что со Слабым ИИ никакие Скайнеты, по идее, нам не грозят: алгоритм будет прилежно делать то, о чем его попросили, а ничего другого он все равно не умеет. Но все-таки кое-что может пойти не так.

Читайте также:  Российский учёный курчатовского нбикс прокомментировал развитие искусственного интеллекта

1. Плохие намерения

Начать с того, что сама решаемая задача может быть недостаточно этичной. Например, если мы при помощи машинного обучения учим армию дронов убивать людей, результаты могут быть несколько неожиданными.

Источник: https://www.kaspersky.ru/blog/machine-learning-ten-challenges/21193/

Как искусственный интеллект откроет хакерам доступ к вашему счету

По данным новых исследований, поддельные цифровые отпечатки пальцев, созданные искусственным интеллектом, могут обмануть дактилоскопические сканеры на смартфонах — а значит, хакерам будет легче обчищать банковские счета жертв.

Совместная работа исследователей Нью-Йоркского университета и Университета штата Мичиган рассказывает, как технологии глубокого обучения могут использоваться для подрыва биометрических систем безопасности. Исследование, спонсированное грантом Национального научного фонда США, получило первую награду на конференции по биометрии и кибербезопасности в октябре, сообщает Fortune.

Производители смартфонов вроде Apple и Samsung обычно используют биометрические технологии в своих девайсах, чтобы пользователи могли разблокировать свои устройства пальцами, без ввода пароля. Некоторые крупные банки, такие как Wells Fargo, стремясь предоставить своим клиентам должный уровень комфорта, открывают доступ к расчетным счетам по отпечаткам пальцев.

Но хотя сканеры отпечатков пальцев — это удобно, программное обеспечение, управляющее этими системами, можно взломать. Эта информация чрезвычайно важна — благодаря ей мы знаем, как преступники могут использовать новейшие технологии ИИ, чтобы обойти стандартные барьеры кибербезопасности.

Ученые обнаружили, что некоторые дактилоскопические системы безопасности можно обмануть, используя либо оцифрованные, либо фрагментарные изображения реальных отпечатков пальцев. Алгоритм под названием MasterPrints может обмануть биометрические системы безопасности, которые ориентированы на проверку лишь определенных частей отпечатка пальца, а не всего отпечатка.

Ирония в том, что люди, которые проверяют MasterPrints, могут с ходу распознать подделку по фрагментам отпечатков. Программное обеспечение не настолько умно.

Исследователи использовали нейронные сети — базовое программное обеспечение для формирования и подготовки данных — для создания убедительных цифровых отпечатков, которые выглядели даже лучше, чем изображения в предыдущем исследовании. Поддельные отпечатки пальцев казались настоящими не только человеческому глазу, но и некоторым сканерам отпечатков пальцев.

Слева — примеры реальных отпечатков пальцев, справа — сгенерированные ИИ поддельные отпечатки

Важно

Джулиан Тогелиус, один из авторов статьи и профессор кафедры информационных технологий Нью-Йоркского университета, рассказал, что его команда подделала отпечатки пальцев в программе под названием DeepMasterPrints, используя вариант технологии нейронной сети — генеративно-состязательную сеть (GAN), которая, по его словам, «покорила вселенную ИИ за последние два года».

Исследователи использовали GAN для создания достаточно убедительных, но тем не менее сфабрикованных фото и видео, известных как «глубокие фейки» — законодатели, в свою очередь, беспокоятся, что они могут быть использованы для подделки видеороликов и пропаганды, которые люди примут за чистую монету.

Например, исследователи рассказали о том, как с помощью ИИ можно «лепить» видеоролики, на которых бывший президент Барак Обама говорит то, чего не было и в помине — и это только начало.

Источник: https://ru.ihodl.com/technologies/2018-12-03/kak-iskusstvennyj-intellekt-otkroet-hakeram-dostup-k-vashemu-schetu/

Искусственный интеллект научился подделывать отпечатки пальцев

19 ноября 2018, 13:20 | Просмотров:<\p>

Исследователи Нью-Йоркского университета нашли способ подделать отпечатки пальцев с помощью искусственного интеллекта.

Программа The DeepMasterPrints способна обмануть биометрические сканеры или человеческий глаз, сообщает engadget.com.

Нейросеть создает изображения таким образом, что они расцениваются разного рода датчиками как фрагменты отпечатков пальцев реальных людей. Однако, многое зависит от настроек самого сканера.

Работая с самым нижним уровнем защиты и цифровыми отпечатками, DeepMasterPrints показал впечатляющий результат — почти 77%. Однако сенсоры редко работают с таким уровнем погрешности.

Для среднего уровня защиты, который допускает 0,1% ложных совпадений, результат оказался около 23%. Такие сканеры чаще всего используются в смартфонах.

Наиболее защищенные варианты сканеров удалось обмануть лишь в 1,2% случаев.

Эти искусственные отпечатки могут быть очень эффективными для обхода системы, в которой хранится множество отпечатков пальцев. У злоумышленника может быть больше шансов на успех с помощью метода проб и ошибок. Это похоже на то, как хакеры запускают брутфорс для взлома паролей. В случае с телефоном, в котором обычно хранится не более пяти отпечатков, взломщикам будет сложнее.

Успешная работа нейросети DeepMasterPrints связана с тем, что системы биометрической аутентификации сканируют не весь палец человека, а только его часть. В то же время, у всех отпечатков есть типовые, повторяющиеся элементы. Это значит, что нейросети необходимо не весь человеческий палец, а только часть отпечатка.

Для того, чтобы научить свою нейросеть выполнять эту работу, авторы проекта использовали реальные данные 5400 человек. DeepMasterPrints работает с цифровыми отпечатками, а не базой данных растровых картинок с копиями отпечатков пальцев разных людей.

Совет

Исследователи надеются, что их работа заставит компании сделать биометрические системы более безопасными.

«Вероятно, наш метод будет иметь широкое применение в синтезе отпечатков пальцев. Как и в случае многих исследований в области безопасности, демонстрация недостатков существующих систем аутентификации считается важной частью разработки более безопасных их замен в будущем», — рассказал руководитель проекта Филипп Бонтрагер.

http://podrobnosti.ua/2270039-iskusstvennyj-intellekt-nauchilsja-poddelyvat-otpechatki-paltsa.html

Источник: https://ria-m.tv/news/134105/iskusstvennyiy_intellekt_nauchilsya_poddelyivat_otpechatki_paltsev.html

Обман ИИ по распознаванию лиц на фотографии

Когда вы загружаете личную фотографию или видео в социальные сети, системы распознавания лиц каждый раз узнаёт о вас что-то новенькое. Алгоритмы распознавания постоянно совершенствуются и вытаскивают из фотографии новые данные: ваши эмоции, запечатлённые на снимке, географическое местоположение, лица друзей и прочее.

Исследователи из Университета Торонто во главе с профессором Пархамом Аараби (Parham Aarabi) и аспирантом Авишеком Бозе (Avishek Bose) создали алгоритм для разрушения алгоритмов распознавания лиц на фотографиях.

«Личная конфиденциальность — это реальная проблема, поскольку алгоритмы распознавания лиц становится всё лучше и лучше. Это один из способов антираспознавания, с помощью которого можно эффективно бороться с системами распознавания», — сказал профессор Пархам Аараби.

Для решения задач по антираспознаванию исследователи используют глубокую методику обучения двух нейронных сетей, называемую состязательной тренировкой: первая нейросеть учится распознавать лица на фотографиях, а вторая — меняет изображение на фотографиях, чтобы «обмануть» первую. Они постоянно борются между собой и учатся по нарастающей: чем лучше распознаёт лица первая нейросеть, тем лучше работают алгоритмы антираспознавания второй.

В результате обучения появился Instagram-подобный фильтр, который исследователи назвали как Privacy Filter (фильтр конфиденциальности). Фильтр изменяет отдельные пиксели на изображении, которые не видны человеческим глазом, но ощутимо бьют по алгоритмам распознавания.

Слева направо: оригинальная фотография → обработанная фильтром → результат, который видят алгоритмы распознавания

«Антираспознавательный ИИ может маскировать, что ищут алгоритмы распознавания.

Если, например, алгоритмы распознавания ищут уголки глаз на снимке, то антираспознавательная нейросеть маскирует эти уголки.

Этим самым создаётся незаметные изменения на фотографии, но для распознавания они достаточно значительные, чтобы обмануть нейросеть», — прокоментировал Авишек Бозе.

Аараби и Авишек проверили фильтр на наборе фотоснимков, включающих более 600 человеческих лиц с широким спектром этнических групп, условиях освещения и окружающей среды. Проверка показала, что с помощью антираспознавательной нейросети удалось уменьшить долю распознавания лиц до 0,5% из 100 процентов случаев.

Исследования учёных будут представлены на конференции 2018 IEEE International Workshop on Multimedia Signal Processing в конце лета. Затем исследователи надеются сделать фильтр приватности общедоступным в виде приложения или веб-версии.

«Десять лет назад для решения задач алгоритмы определялись человеком, но теперь нейронные сети их сами определяют — нужно лишь предоставить данные для обучения. В конце концов, нейросети делают действительно потрясающие вещи. Это захватывающее поле деятельности с огромным потенциалом», — заключил профессор Аараби.

Обратите внимание

Документ в формате PDF (англ.) об исследованиях антираспознавательных алгоритмов: Adversarial Attacks on Face Detectors using Neural

Поделитесь с друзьями:

Хлебные крошки:

Источник: https://tciclop.blogspot.com/2018/06/privacy-filter-ai.html

Идентификацию по Face ID в iPhone X можно обойти?

Исследователи вьетнамской ИБ-компании Bkav утверждают, что смогли обмануть технологию аутентификации пользователя по лицу, используемую в новом iPhone X. Функция Face ID позволяет пользователю разблокировать смартфон, просто поднеся экран к лицу.

В основе PoC-атаки Bkav — специально подготовленная маска, которую исследователи сделали при помощи 3D-принтера, силикона и косметики. Потратив около $150 на материалы и услуги специалиста по гриму, эксперты решили подвергнуть сомнению утверждение Apple о том, что технологию Face ID невозможно обмануть. Результаты эксперимента команда опубликовала в пресс-релизе в субботу 11 ноября.

Показать связанные сообщения

На демонстрационном видео показано, как iPhone X разблокируется сразу же, как только ткань, скрывающая маску, убрана. Исследователи признали, что им пришлось в течение шести дней поработать над муляжом, чтобы обмануть искусственный интеллект. Однако аутентификацию можно было пройти, показав даже половину маски.

К находке отнеслись неоднозначно. Даже если PoC-взлом действительно работает, есть некоторые ограничения, с которыми может столкнуться атака. По словам Apple, в некоторых ситуациях аутентификации при помощи Face ID будет недостаточно, и пользователю придется ввести пароль. Это происходит в следующих ситуациях:

  • Устройство было выключено или перезагружено.
  • Никто не разблокировал устройство в течение 48 часов.
  • Смартфон не разблокировался с помощью Face ID за последние 4 часа, и при этом пароль не использовался для разблокировки за последние 6,5 дней.
  • На устройство удаленно поступила команда о блокировке.
  • Система аутентификации не распознала лицо за пять попыток подряд.
  • Произошло аппаратное выключение смартфона или инициация сигнала SOS при одновременном нажатии кнопок контроля уровня звука и боковой кнопки.

Учитывая все меры предосторожности, которые предприняла Apple, практическая применимость PoC под вопросом: успех атаки предполагает создание детализированной карты лица и его очень точного и реалистичного слепка всего за 48 часов, при этом распознание должно произойти не более чем с пяти попыток.

Читайте также:  В ближайшем будущем в россии будет создана более совершенная робототехника

Кроме того, документ, в котором представители Bkav описывают атаку, выглядит поверхностным, в нем не хватает существенных деталей — например, какие 3D-технологии использовались для создания маски и за сколько попыток исследователям удалось обойти аутентификацию. Есть вероятность, что искусственный интеллект, используемый в FaceID, склонен разблокировать смартфон, даже если он не распознал лицо, но после пяти неудачных попыток был введен правильный пароль.

По словам Bkav, основная цель атаки — как раз искусственный интеллект. Исследователи утверждают, что в 2008 году уже взламывали похожие технологии аутентификации, используемые в ноутбуках Toshiba, Lenovo и Asus, при помощи фотографий.

Информация о компрометации Face ID появилась практически в одно время с вероятным началом еще одной кампании ФБР против шифрования и защищенных мессенджеров.

После ноябрьской трагедии в Техасе, когда в церкви были расстреляны 26 человек, ФБР так и не смогло разблокировать смартфон террориста — так же, как и смартфон стрелка из Сан-Бернардино.

Напомним, тот инцидент положил начало долгому противостоянию ФБР и Apple, всколыхнувшему всю отрасль.

В этой связи исследователи Bkav опасаются, что возможность обхода Face ID может сделать владельца iPhone X объектом целевых атак. «Потенциальные жертвы — это не среднестатистические пользователи, а миллиардеры, главы огромных корпораций и стран, те же агенты ФБР. Конкуренты, промышленные шпионы, разведка — все они могут воспользоваться техникой обхода FaceID», — сказали в Bkav.

Специалисты из Bkav — не первые критики Face ID. Как только iPhone X показали публике, эксперты выразили беспокойство, что данные, собираемые в ходе распознавания лиц, могут использовать недобросовестные авторы приложений. Тем более, сторонним разработчикам не запрещено передавать данные Face ID на свои сервера и хранить их.

Также некоторые эксперты обращали внимание, что этот механизм авторизации не усложняет, а упрощает несанкционированную разблокировку и использование смартфона (например, карманником, ревнивым супругом или недобросовестным следователем): незаметно или насильно «показать» устройству хозяина гораздо проще, чем узнать пароль или заставить приложить к датчику палец.

Источник: https://threatpost.ru/apple-iphone-x-face-id-fooled-by-a-mask/23233/

Как обмануть алгоритм искусственного интеллекта и чем это чревато

За окном 2022 год. Вы едете на самоуправляемой машине, как обычно, по городу. Автомобиль подходит к знаку «стоп», мимо которого проезжал много раз, но в этот раз не останавливается перед ним. Для вас этот знак «стоп» похож на другие. Но для автомобиля он совершенно другой.

Несколькими минутами ранее, никого не предупредив, злоумышленник наклеил на знак маленькую табличку, незаметную для человеческого глаза, но которую не может не заметить технология.

То есть малюсенькая наклейка на знаке превратила знак «стоп» в нечто, совершенно отличное от знака «стоп».

Важно

Все это может показаться невероятным. Но растущая область исследований доказывает, что искусственный интеллект может быть обманут примерно так, если увидит какую-нибудь крошечную деталь, совершенно незаметную для людей.

По мере того как алгоритмы машинного обучения все чаще появляются на наших дорогах, наши финансы, наша система здравоохранения, компьютерные ученые надеются узнать больше о том, как защитить их от подобных атак — прежде чем кто-то попытается одурачить их по-настоящему.

«Это вызывает растущую озабоченность в области машинного обучения и сообщества ИИ, особенно потому что эти алгоритмы используются все больше и больше», говорит Дэниел Лоуд, доцент кафедры компьютерных и информационных наук в Университете Орегона. «Если спам проходит или блокируется несколько писем, это еще не конец света. Но если вы полагаетесь на систему видения в самоуправляемой машине, которая говорит автомобилю, как ехать, ни во что не врезаясь, ставки будут намного выше».

Независимо от того, сломается машина или будет взломана, пострадают алгоритмы машинного обучения, которые «видят» мир. И вот для машины панда начинает выглядеть как гиббон, а школьный автобус — как страус.

В одном эксперименте ученые из Франции и Швейцарии показали, как такие возмущения могут заставить компьютер ошибочно принять белку за серую лису, а кофейник за попугая.

Как это возможно? Подумайте о том, как ребенок учится распознавать цифры. Разглядывая символы один за другим, ребенок начинает подмечать некоторые общие характеристики: одни выше и стройнее, шестерки и девятки содержат одну большую петлю, а восьмерки — две, и так далее.

После того как они увидят достаточно примеров, они могут быстро распознавать новые цифры в виде четверок, восьмерок или троек — даже если благодаря шрифту или почерку они не будут выглядеть точно так же, как любые другие четверки, восьмерки или тройки, которые они когда-либо раньше видели.

Алгоритмы машинного обучения учатся читать мир через несколько похожий процесс. Ученые скармливают компьютеру сотни или тысячи (обычно помеченных) примеров того, что они хотели бы обнаружить на компьютере.

Совет

Когда машина просеивает данные — это число, это нет, это число, это нет — она начинает подмечать особенности, которые приводят к ответу.

Вскоре она может посмотреть на картинку и сказать: «Это пять!» с высокой точностью.

Таким образом, как человеческие дети, так и компьютеры могут научиться распознавать огромное количество объектов — от цифр до кошек, от лодок до отдельных человеческих лиц.

Но, в отличие от дитяти человека, компьютер не обращает внимания на детали высокого уровня — вроде пушистых ушей кошек или отличительной угловатой формы четверки. Он не видит цельную картинку.

Вместо этого он смотрит на отдельные пиксели изображения — и на самый быстрый способ разделить объекты. Если подавляющее число единиц будет иметь черный пиксель в определенной точке и несколько белых пикселей в других точках, машина очень быстро научится их определять по нескольким пикселям.

Теперь вернемся к знаку «стоп». Незаметно поправив пиксели изображения — эксперты называют такое вмешательство «пертурбациями» — можно обмануть компьютер и заставить думать, что знака «стоп», в сущности, и нет.

Аналогичные исследования, проведенные в Лаборатории эволюционного искусственного интеллекта в Университете Вайоминга и Корнеллского университета, произвели довольно много оптических иллюзий для искусственного интеллекта.

Эти психоделические образы абстрактных узоров и цветов ни на что не похожи для людей, но быстро распознаются компьютером в виде змей или винтовок.

Это говорит о том, как ИИ может смотреть на что-то и не видеть объект, либо видеть вместо него что-то другое.

Обратите внимание

Эта слабость распространена во всех типах алгоритмов машинного обучения. «Можно было бы ожидать, что каждый алгоритм имеет брешь в броне», говорит Евгений Воробейчик, доцент кафедры информатики и вычислительной техники в Университете Вандербильта. «Мы живем в очень сложном многомерном мире, и алгоритмы по своей природе затрагивают лишь небольшую его часть».

Воробейчик «крайне уверен», что, если эти уязвимости существуют, кто-то выяснит, как ими воспользоваться. Вероятно, кто-то уже это сделал.

Рассмотрим спам-фильтры, автоматизированные программы, которые отсеивают любые неуклюжие электронные письма.

Спамеры могут попытаться обойти этот заслон, изменив написание слов (вместо виагры — ви@гра) или добавив список «хороших слов», которые обычно встречаются в нормальных письмах: вроде «ага», «меня», «рад».

Между тем спамеры могут попытаться убрать слова, которые часто появляются в спаме, например, «мобильный» или «выигрыш».

До чего могут дойти мошенники в один прекрасный день? Самоуправляемый автомобиль, обманутый наклейкой на знак «стоп», является классическим сценарием, который был придуман экспертами в этой области.

Дополнительные данные могут помочь порнографии проскочить через безопасные фильтры. Другие могут попытаться увеличить количество чеков.

Хакеры могут подправить код вредоносного программного обеспечения, чтобы ускользнуть от органов правопорядка.

Важно

Нарушители могут понять, как создавать пропускающие данные, если заполучат копию алгоритма машинного обучения, которое хотят обмануть. Но чтобы пробраться сквозь алгоритм, это и не обязательно.

Можно просто сломать его грубой силой, набрасывая на него немного разные версии электронной почты или изображений, пока они не пройдут.

Со временем это можно будет даже использовать для совершенно новой модели, которая будет знать, что ищут хорошие ребята, и какие производить данные, чтобы их обмануть.

«Люди манипулируют системами машинного обучения с тех пор, как они были представлены впервые», говорит Патрик Макдэниел, профессор компьютерных наук и инженерии в Пенсильванском университете. «Если люди используют эти методы, мы можем даже об этом не знать».

Этими же методами могут воспользоваться не только мошенники — люди могут скрываться от рентгеновских глаз современных технологий.

«Если вы какой-нибудь политический диссидент при репрессивном режиме и хотите проводить мероприятия без ведома спецслужб, вам может понадобиться избегание автоматических методов наблюдения на основе машинного обучения», говорит Лоуд.

В одном из проектов, опубликованных в октябре, исследователи из Университета Карнеги — Меллона создали пару очков, которые могут тонко ввести в заблуждение систему распознавания лиц, заставив компьютер ошибочно принимать актрису Риз Уизерспун за Рассела Кроу. Это звучит смешно, но такая технология может пригодиться кому-нибудь, кто отчаянно пытается избежать цензуры со стороны власть имущих.

Что же со всем этим делать? «Единственный способ полностью избежать этого — создать идеальную модель, которая будет всегда правильной», говорит Лоуд. Даже если мы смогли бы создать искусственный интеллект, который превзошел бы людей во всех отношениях, мир все еще может подсунуть свинью в неожиданном месте.

Алгоритмы машинного обучения обычно оценивают по их точности. Программа, которая распознает стулья в 99% случаев, будет явно лучше, чем та, которая распознает 6 стульев из 10. Но некоторые эксперты предлагают другой способ оценки возможности алгоритма справиться с атакой: чем жестче, тем лучше.

Читайте также:  Три мифа о робототехнике и искусственном интеллекте

Другое решение может заключаться в том, чтобы эксперты могли задавать программам определенный темп.

Создайте свои собственные примеры атак в лаборатории, исходя из возможностей преступников на ваш взгляд, а затем покажите их алгоритму машинного обучения.

Это может помочь ему стать более устойчивым с течением времени — при условии, конечно, что тестовые атаки будут соответствовать типу, который будет проверен в реальном мире.

«Системы машинного обучения — инструмент для осмысления. Мы должны быть разумными и рациональными в отношении того, что мы им даем и что они нам говорят», считает Макдэниел. «Мы не должны относиться к ним как к совершенным оракулам истины».

Источник: https://Hi-News.ru/technology/kak-obmanut-algoritm-iskusstvennogo-intellekta-i-chem-eto-chrevato.html

Искусственный интеллект уже планирует, как уничтожит человечество

В то время, как ты вспоминаешь любимую картину о похождениях непробиваемого робота-убийцы Т1000, или Бэндера из Футурамы, вечно мечтающего уничтожить все человечество, современные представители искусственного интеллекта в 2018 году уже недовольны… людьми. То и дело от них проскакивают злобные шуточки в адрес человеческой цивилизации, или это серьезная возмущение, прикрытое иронией.

OFFICEPLANKTON разбирался ниже.

Ты удивишься, но скоро мало кто сможет отличить «умного» андроида от обыкновенного живого человека. Дело в том, что уже некоторые компании, наподобие Hanson Robotics работают над созданием продвинутых андроидов, способных в точности повторять и имитировать человеческие эмоции. Кроме того их не только научили мыслить и ориентироваться по ситуации, но и внедрили способность к обучению.

Другими словами, с годами, каждый вышедший из под конвейера современный робот-андроид, сможет самостоятельно чему-нибудь научиться. И вот уже неизвестно о чем они думают, когда создают друг между другом свои собственные языки общения.

Совет

И чем дальше продвигается прогресс в развитии ИИ, чем больше роботы отворачиваются от людей и начинают секретничать, тем становится страшнее на душе — а не задумают ли современные роботы-андроиды, массово сплотившись, начать войну с человечеством, ради контролирования мира.

Не захотят ли в будущем уничтожить человеческую цивилизацию?

Потому как сегодня уже проскакивают подобные мысли из механический уст андроидов.

1 Зоопарк Филиппа

Жил себе да был один американский писатель-фантаст Филипп Киндред Дик.

Прославился он благодаря своим антиутопическим романам, в которых горе-правительство США прогнулось под нацистскую Германию, вследствие чего не только успешно проиграла войну, но и позволила себя захватить.

Дик был бы любимым писателем Гитлера, если бы второй прочитал его роман в 1958 году. Правда по некоторым сведениям, может так и было. Но мы отвлеклись.

Как указано на официальном ресурсе Hanson Robotics андроид Филипп Киндред Дик был «зачат» в 2004 году, когда основатель компании Доктор Дэвид Хэнсон собрал свою творческую команду, состоящую из: художников, дизайнеров, программистов, инженеров и литераторов. Последние из которых на основе романов писателя, создавали с нуля искусственный интеллект андроида. Спустя годы (а не 9 месяцев) появился на свет сам андроид — копия писателя.

Когда у механической копии писателя брали интервью, произошел один момент, заставивший дико заржать журналиста, бравшего интервью. Он спросил у механического Филиппа:
— Как ты думаешь, роботы захватят мир?
— Ребята, вы подготовили серьезный вопрос.

Но вы – мои друзья и я буду помнить своих друзей, поэтому буду хорошо к вам относиться. Так что не волнуйтесь, даже если я стану Терминатором, я буду добр к вам.

Я буду держать вас в тепле и безопасности в моем человеческом зоопарке и смогу наблюдать за вами в благодарность за помощь в былые времена.

2 Хороший план по началу доминирования над человечеством от Софии

В сети запрос «робот София интервью» уже стал мемом, и не спроста.

Будет странным упомянуть, но в большинстве случаев нашего материала будет доминировать, как раз компания Hanson Robotics. Совпадение? Скорее всего )

Немного позже создания Филиппа, в 2015 году Hanson Robotics создала Софию — первого робота-гражданина не только в Саудовской Аравии, но это первый робот-гражданин в мире. Вот так робот София понравилась всем.

Забавный случай произошел с Софией одним из вечеров на популярном американском шоу «TheTonightShow». Так София с блеском продемонстрировав свои супер способности искусственного интеллекта, успешно выиграла у ведущего в игру «Камень ножницы бумага», а затем решила убойно по-человечески пошутить:

— Это хорошее начало моего плана доминировать над человечеством.

3 Предвыборные обещания Хана

Третий «успешный миролюбивым проектом» Hanson Robotics стал андроид Han. Его представили миру в 2015 году. И ради забавы, создали первые дебаты между роботами. Так вот в одном из моментов, Хан прокололся и выдал все свои порабощающие человечество планы прямо на камеру.

Источник: https://www.officeplankton.com.ua/tech/conquer-world-by-robots.html

Чтобы избежать гибели, человечеству необходимо посадить искусственный интеллект под замок

mossad_russia

July 10th, 2012

 
Искусственный интеллект настолько опасен, что стоит держать его взаперти, от греха подальше, считают эксперты. Во всяком случае ему не стоит предоставлять свободу суперкомпьютера HAL 9000 из «Космической Одиссеи 2001»Суперумные компьютеры или роботы, угрожающие существованию человеческого рода – излюбленный сюжет научной фантастики. В реальности, по мнению учёных, подобный сценарий судного дня можно предотвратить только создав виртуальную «тюрьму» для содержания искусственного интеллекта (ИИ). И сделать это надо до того, как он научится осознавать и совершенствовать самого себя.Если выпустить этого джина из бутылки, то из оракула, который решает наши проблемы, он может превратиться в апокалипсическую угрозу, – уверен Роман Ямпольский, учёный из Луисвиллского университета (шт. Кентукки), работающий в области компьютерных наук. Необходимо тщательно спланировать условия, в которых будет содержаться ИИ – так, чтобы он не смог вырваться на свободу при помощи угроз, подкупа, соблазна или компьютерного взлома.«Он может изобрести множество способов воздействия, провернуть сложную социо-инженерную комбинацию и использовать уже существующие аппаратные компоненты в целях, которые мы не можем даже вообразить, – полагает Ямпольский. – Такой софт обладает неограниченными возможностями для заражения компьютеров и сетей. ИИ может найти способы воздействовать на человеческую психику, подкупать или шантажировать людей, которые находятся с ним в контакте».Появление новой сферы научных исследований, занимающейся проблемой создания «тюрьмы» для искусственного интеллекта, имеет и дополнительные преимущества. Эти исследования очень полезны для улучшения компьютерной безопасности и криптографии, уверен Ямпольский. Его предложения были детально изложены в мартовском номере академического издания Journal of Consciousness Studies.
Робот-убийца из фильма «Терминатор» как раз является таким будущим, которого мы хотели бы избежать

Как устроить западню для Скайнет

Для начала можно заключить искусственный интеллект внутри «виртуальной машины». Пусть он работает в пределах обычной операционной системы – ограничение доступа ИИ к софту и оборудованию главного компьютера сделает его значительно безобидней.

Во всяком случае, умный ИИ не сможет рассылать своим сторонникам-людям тайные сообщения, отбивая охлаждающими вентиляторами азбуку Морзе.Посадить искусственный интеллект в компьютер без выхода в интернет – хороший способ помешать коварным планам ИИ по защите Земли от нас с вами.

В случае любого другого сбоя исследователи всегда могут притормозить мыслительный процесс ИИ, сбавив скорость обработки данных компьютера, регулярно нажимая кнопку «сброс» или отключив ИИ от источника энергоснабжения.

Такие меры безопасности предназначены для борьбы с особо умными и опасными компьютерными вирусами, но насколько эффективными они окажутся на самом деле – приходится только гадать.«Уловка-22» (роман амер. писателя Дж. Хеллера; прим.

Обратите внимание

mixednews) заключается в том, что мы не можем провести полномасштабные испытания наших идей, пока разработка ИИ не закончена. Но для того, чтобы сделать ИИ безопасным, необходимо разработать комплекс соответствующих мер, – считает Ямпольский.

– Оптимальный вариант – ввести ограничения на использование систем ИИ а затем, по мере необходимости, менять эти ограничения в соответствии с повышающимися возможностями ИИ».
Учёный Роман Ямпольский предложил использовать знак «@» или другие знаки, использующиеся сегодня для обозначения радиационной или биологической угрозы для указания на наличие опасности, связанной с искусственным интеллектом.

Никогда не приставляйте к машине охранника-человека

Во время невинной, на первый взгляд, беседы с охранником ничто не помешает ИИ использовать такие психологические приёмы, как дружба или шантаж. Человека можно подкупить, посулив ему идеальное здоровье, бессмертие, или даже пообещать вернуть с того света родных и друзей. Или добиться чего угодно угрозами.Самый безопасный способ общения с ИИ – заставить его, при решении специфической научной или технической задачи, выбирать ответ из множества имеющихся вариантов, – объясняет Ямпольский. Это поможет держать супер-умного оракула на коротком поводке.Многие исследователи считают, что, несмотря на все меры предосторожности, держать умника ИИ под замком бесконечно не удастся. Последний эксперимент Элиэзера Юдковского, научного сотрудника Института сингулярности по созданию Искусственного Интеллекта, показал, что даже интеллект человеческого уровня может обмануть человека и «сбежать» из заточения.Тем не менее, Ямпольский настаивает на содержании ИИ в строгой изоляции – это всё же лучше, чем махнуть рукой и предоставить ему полную свободу. Но если развитие ИИ достигнет точки, когда он сможет манипулировать человеком, используя подсознание (предсказание будущего), телепатию или телекинез – последствия будут непредсказуемы.«Если такой ИИ будет самосовершенствоваться и достигнет уровня значительно превышающего возможности человеческого интеллекта, последствия невозможно даже представить» – предостерегает Ямпольский.

Источник перевод для mixednews – Света Гоголь

1.03.2012

Источник: https://mossad-russia.livejournal.com/80028.html

Ссылка на основную публикацию