Как остановить автономных роботов убийц?

Роботы-убийцы? Остановитесь, даже хорошие роботы непредсказуемы до ужаса

Руководители более сотни ведущих мировых компаний в области искусственного интеллекта очень обеспокоены развитием «роботов-убийц».

В открытом письме ООН эти бизнес-лидеры, включая Илона Маска из Tesla и основателей гугловской DeepMind – предупредили, что использование технологий автономного оружия может быть принято террористами и деспотами, либо в той или иной степени подвергнется взлому.

Но реальная угроза намного серьезнее – и дело не только в человеческих проступках, но и в машинных. Исследование сложных систем показывает, что они могут вести себя гораздо более непредсказуемо, чем можно сделать вывод из суммы отдельных действий.

Обратите внимание

С одной стороны это означает, что человеческое общество может вести себя совершенно по-другому, чем вы могли ожидать, изучая поведение индивидов. С другой стороны, это применимо и к технологиям.

Даже экосистемы простых программ искусственного интеллекта – которые мы называем тупыми, хорошими ботами – могут удивлять нас. Даже отдельные боты могут вести себя кошмарно.

Отдельные элементы, составляющие сложные системы, такие как экономические рынки или глобальную погоду, имеют тенденцию не взаимодействовать простым линейным способом. Это делает эти системы очень трудными для моделирования и понимания.

Например, даже после многолетних исследований климата невозможно спрогнозировать долгосрочное поведение погоды. Эти системы настолько чувствительны к мельчайшим изменениям, насколько взрывоопасно на них реагируют. Очень сложно узнать точное состояние такой системы в отдельно взятый момент.

Все это делает эти системы внутренне непредсказуемыми.

Все эти принципы применимы к большим группам людей, действующим по-своему, будь то человеческие общества или группы ботов с искусственным интеллектом. Недавно ученые изучали один из типов сложной системы, в которой хорошие боты использовались для автоматического редактирования статей на Википедии.

Эти самые разные боты разработаны, написаны и используются доверенными редакторами Википедии, а их базовое программное обеспечение с открытым исходным кодом и доступно для всех. По отдельности они имеют общую цель – улучшать энциклопедию.

Однако их коллективное поведение оказалось на удивление неэффективным.

В основе работы этих ботов с Википедии лежат хорошо установленные правила и условности, но поскольку у веб-сайта нет центральной системы управления, нет и эффективной координации между людьми, управляющими разными ботами. В результаты обнаружились пары ботов, которые несколько лет отменяли правки друг друга и никто не замечал. И, конечно, поскольку эти боты никак не учатся, они тоже не заметили.

Эти боты предназначены для ускорения процесса редактирования. Но небольшие различия в дизайне ботов или между людьми, которые их используют, могут привести к массовой трате ресурсов в продолжающейся «войне за редактирование», которая была бы разрешена гораздо быстрее с помощью редакторов.

Важно

Исследователи также обнаружили, что боты вели себя по-разному в разных языковых версиях Википедии. Правила, казалось бы, практически одинаковы, цели идентичны, технологии похожи.

Но в немецкоязычной Википедии сотрудничество ботов было намного более эффективным и продуктивным, чем, например, в португальской.

Это можно объяснить только различиями между редакторами-людьми, которые руководили этими ботами в разных средах.

Экспоненциальная путаница

Боты с Википедии не обладают широкой автономией и система уже работает не в соответствии с целями отдельных ботов. Но Wikimedia Foundation планирует использовать ИИ, которые будут давать больше автономии этим ботам. И это, вероятнее всего, приведет к еще более непредсказуемому поведению.

Хороший пример того, что может случиться, продемонстрировали боты, созданные для разговоров с людьми, когда их заставили общаться между собой. Мы уже не удивляемся ответам персональных ассистентов вроде Siri. Но заставьте их общаться между собой и они быстро начнут вести себя неожиданным образом, спорить и даже оскорблять друг друга.

Чем больше становится система и чем более автономным становится каждый бот, тем более сложным и непредсказуемым будет будущее поведение этой системы. Википедия – это пример работы большого числа относительно простых ботов.

Пример с чат-ботами – это пример небольшого числа относительно сложных и изобретательных ботов – в обеих случаях возникают непредвиденные конфликты. Сложность и, следовательно, непредсказуемость растут экспоненциально по мере добавления в систему индивидуальности.

Поэтому, когда в будущем появятся системы с большим количеством очень сложных роботов, непредсказуемость их выйдет за пределы нашего воображения.

Полыхающее безумие

Самоуправляемы автомобили, например, обещают осуществить прорыв в эффективности и безопасности дорожного движения. Но мы еще не знаем, что произойдет, когда у нас будет большая дикая система полностью автономных автомобилей.

Они могут вести себя по-разному даже в пределах небольшого флота индивидуальных автомобилей в контролируемой среде.

И еще более непредсказуемое поведение может проявиться, когда самоуправляемые автомобили, «обученные» разными людьми в разных местах, начнут взаимодействовать между собой.

Совет

Люди могут адаптироваться к новым правилам и соглашениям относительно быстро, но при этом с трудом переключаются между системами. Искусственным агентам может быть еще сложнее.

Например, если «обученный в Германии» автомобиль поедет, например, в Италию, мы не знаем, как он освоит неписаные культурные соглашения, которым следуют многие другие «обученные в Италии» автомобили.

Нечто обыденное вроде пересечения перекрестка может стать смертельно рискованным, потому что мы просто не знаем, будут ли машины взаимодействовать, как положено, либо начнут вести себя непредсказуемо.

А теперь подумайте о роботах-убийцах, которые беспокоят Маска и его коллег. Один робот-убийца может быть очень опасен не в тех руках. А система непредсказуемых роботов-убийц? Думайте сами.

Источник: https://Hi-News.ru/robots/roboty-ubijcy-ostanovites-dazhe-xoroshie-roboty-nepredskazuemy-do-uzhasa.html

Кошмар прогресса: окажутся ли роботы-убийцы под запретом

В 1942 году, когда американский писатель Айзек Азимов сформулировал три закона робототехники, все это казалось захватывающим, но совершенно нереалистичным. Эти законы гласили, что робот не может и не должен причинять вред или убивать человека.

А еще они должны беспрекословно подчиняться воле человека, кроме тех случаев, когда его приказы будут противоречить вышеизложенному императиву. Теперь, когда автономное оружие стало реальностью и вполне может попасть в руки террористов, оказалось, что программисты как-то забыли заложить в его ПО законы Азимова.

А значит, роботы могут представлять опасность, и никакие гуманные законы или принципы не смогут их остановить.

Разработанная Пентагоном ракета сама обнаруживает цели благодаря программному обеспечению, искусственный интеллект (ИИ) идентифицирует мишени для британских военных, а Россия демонстрирует беспилотные танки.

На разработку роботизированной и автономной военной техники в различных странах тратятся колоссальные средства, хотя увидеть ее в действии мало кому хочется.

Как большинство химиков и биологов не заинтересованы в том, чтобы их открытия в итоге были использованы для создания химического или биологического оружия, так и большинство исследователей ИИ не заинтересованы в создании оружия на его основе, потому что тогда серьезный общественный резонанс повредит их исследовательским программам.

В своем выступлении в начале Генеральной Ассамблеи Организации Объединенных Наций в Нью-Йорке 25 сентября Генеральный секретарь Антониу Гутерреш назвал технологию ИИ «глобальным риском» наряду с изменением климата и растущим неравенством доходов: «Давайте называть вещи своими именами, — сказал он. — Перспектива, что машины будут определять, кому жить — отвратительна». Вероятно, Гутерреш — единственный, кто может призвать военные ведомства одуматься: ранее он разбирался с конфликтами в Ливии, Йемене и Сирии и занимал должность Верховного комиссара по делам беженцев.

Обратите внимание

Проблема в том, что при дальнейшем развитии технологий роботы сами смогут решать, кого убивать. И если у одних стран такие технологии будут, а у других нет, то бескомпромиссные андроиды и дроны предрешат исход потенциальной битвы.

Все это противоречит всем законам Азимова одновременно. Алармисты могут всерьез тревожиться о том, что самообучаемая нейросеть выйдет из-под контроля и перебьет не только врага, но и всех людей вообще.

Однако перспектива даже вполне послушных машин-убийц совсем не радужна.

Источник: http://www.forbes.ru/tehnologii/368351-koshmar-progressa-okazhutsya-li-roboty-ubiycy-pod-zapretom

Пока Германия медлит, США и Россия работают над созданием роботов-убийц

У идеи создания полностью автономных систем летального оружия немало противников, но это не мешает крупным державам заниматься разработкой роботов-убийц.

Бундесвер пока исключает возможность разработки или приобретения подобных оружейных систем, однако США, Россия и Китай активно развивают свою военную робототехнику — вероятно, из опасения отстать в гонке вооружений будущего, пишет немецкий журнал Focus Online.

Бундесвер исключает возможность покупки роботов, которые могут быть использованы в качестве смертельного оружия, сообщает немецкий журнал Focus Online. Руководитель кибернетической и информационной службы бундесвера подчеркнул, что военные Германии придерживаются чёткой позиции по этому вопросу и не намерены приобретать подобные автономные системы.

Как сообщается в статье, в настоящее время ещё нет никаких официальных правил, ограничивающих распространение роботов, нацеленных на уничтожение противника, и неизвестно, будут ли они в итоге запрещены на международном уровне. Скептики опасаются, что со временем они могут развиться и начать принимать решения, которые для человека будут уже необъяснимыми.

Международная кампания, призывающая остановить роботов-убийц, уже настаивает на упразднении смертельных автономных систем вооружений. В ней участвуют более 60 НПО, в том числе Amnesty International и Human Rights Watch.

Все они требуют полного запрета на разработку, производство и применение подобных систем. До сих пор основную идею кампании поддержали 22 государства. По их мнению, крайне важно сохранить человеческий контроль над оружием.

После долгих усилий со стороны участников кампании ООН включила вопрос об автоматическом оружии в свою повестку в 2013 году, однако с тех пор мало что было сделано, отмечает издание. Экспертная комиссия ООН должна принять решение по поводу запрета автономных боевых роботов. Однако пока в ООН нет даже единого мнения относительно того, что можно считать смертельным автономным оружием.

Важно

Бывший генеральный секретарь НАТО Андерс Фог Расмуссен поддерживает идею запретить подобные системы вооружений. Он опасается, что в скором времени вместо солдат в атаку пойдут полчища роботов.

По версии многих критиков, проблема заключается в том, что у таких оружейных систем отсутствует одна важная деталь: совесть.

Впрочем, некоторые эксперты полагают, что можно создать системы, которые научатся действовать в соответствии с определёнными установками — например, соблюдая международное право.

Как отмечает издание, до сих пор ни одно государство не применяло полностью автоматизированные системы вооружений в боевых операциях, однако ситуация может измениться. Такие крупные державы, как США, Россия и Китай, уже готовятся к применению роботов-убийц в военных действиях, уверяет немецкий журнал.

Возможно, они делают это из страха, что в противном случае могут оказаться среди отстающих в будущей гонке вооружений и, в частности, роботов-убийц, полагает автор статьи.

Бундесвер пока исключает возможность приобретения таких систем вооружений, однако следует настраиваться на то, что однажды немецкие военнослужащие могут столкнуться с необходимостью противостоять подобным полностью автономным оружейным системам, подчёркивает Focus.

Военные США уже достигли немалых успехов в разработке боевых беспилотников. В октябре 2016 года Пентагон провёл испытания 103 беспилотных аппаратов размером с птицу. Испытания показали, что они способны без человеческого участия принять решение о формировании строя и поддерживать его на протяжении всего полёта.

Несмотря на критику, собственные разработки ведёт и Россия. В 2014 году российское Министерство обороны развернуло масштабный план по развитию военной робототехники до 2025 года.

Совет

В 2016 году Россия начала проводить ежегодную конференцию «Роботизация вооружённых сил Российской Федерации».

Кроме того, президент Владимир Путин заявлял, что страна, лидирующая в разработке автономных систем вооружений, будет править миром, утверждает немецкий журнал.

Как сообщается в статье, Китай уже применяет беспилотники в горячих точках по всему миру, однако они не автономные и нуждаются в человеческом контроле. Однако в последнее время страна повысила инвестиции в разработку автономных систем вооружений, пишет Focus.

Материал в пересказе ИноТВ: 24 февраля 2018, Focus: пока Германия медлит, США и Россия работают над созданием роботов-убийц

Оригинал: https://www.focus.de/politik/ausland/roboterwaffen-roboterwaffen-deutschland-weigert-sich-russland-und-die-usa-bauen-schon-armee-auf_id_8516122.html

Источник: https://ya-r.ru/2018/02/24/poka-germaniya-medlit-ssha-i-rossiya-rabotayut-nad-sozdaniem-robotov-ubijts/

Автомат с «калашниковым»

Как стало известно “Ъ”, Россия готова поддержать предложение Франции и Германии о принятии в ООН политической декларации, в которой говорилось бы о важности сохранения человеческого контроля над автономными системами вооружений. Эту инициативу в конце августа в Женеве обсудят представители более 80 стран и международных организаций.

Между тем, как пояснили “Ъ” в МИД РФ, Москва выступает категорически против введения юридически обязывающих ограничений в этой сфере, поскольку полноценного искусственного интеллекта еще не существует. Сторонники запрета «роботов-убийц», однако, предупреждают: технологии развиваются так быстро, что дипломаты могут просто не успеть предотвратить катастрофу.

“Ъ” разбирался в тонкостях нового направления мировой дипломатии.

Сохранить человеческий контроль

27–31 августа в Женеве под эгидой ООН пройдут переговоры Группы правительственных экспертов по смертоносным автономным системам вооружений (САС).

Обратите внимание

Эту тему дипломаты начали предметно обсуждать совсем недавно: первая такая встреча состоялась в декабре 2017 года, вторая — в апреле 2018-го. В качестве дискуссионной площадки был выбран формат Конвенции по негуманному оружию.

Именно в ее рамках в свое время рождались запреты кассетных боеприпасов, напалма, ослепляющих лазеров и противопехотных мин.

С инициативой запретить и САС выступили несколько государств. Среди них, например, Австрия, Аргентина, Бразилия, Боливия и Ватикан. Всего на текущий момент идею запрета поддерживают 26 стран.

Читайте также:  Люди начнут жить дольше! новый инструмент ии улучшает когнитивное тестирование

Логика инициаторов радикальных мер такова: технологии искусственного интеллекта развиваются быстрыми темпами, и появление полностью автономных машин, способных принимать решения и действовать без контроля со стороны человека, не за горами; государства инвестируют значительные средства в адаптацию этих технологий для военных нужд и на вооружении целого ряда стран уже стоят системы с элементами искусственного интеллекта (от интеграции систем противовоздушной обороны до «стай» беспилотников, способных нападать «роем», роботов-часовых и аппаратов для обезвреживания взрывных устройств); значит, через пять-десять лет мир может столкнуться с выведением на поле боя роботов-убийц, которые будут самостоятельно выбирать цели и атаковать их. Отсюда и требование о запрете полностью автономных смертоносных систем: его инициаторы настаивают на принятии юридически обязывающего международного договора, который требовал бы от государств обеспечивать сохранение должного человеческого контроля над машинами. Как пояснила “Ъ” координатор глобальной кампании «Остановите роботов-убийц» (Stop Killer Robots) Мэри Верхэм, под «должным контролем» подразумевается возможность вмешательства оператора в процесс выбора мишени и осуществления атаки.

У сторонников этой идеи большая общественная поддержка. Опубликованную американской организацией «Институт будущего жизни» (Future of Life Institute) 18 июля петицию с требованием запретить создание полностью автономных боевых роботов подписали уже почти 2,5 тыс.

ученых, инженеров, общественных деятелей и представителей IT-бизнеса. Определенного успеха сторонникам радикальных мер уже удалось добиться. Так, до декабря 2017 году тематику САС в Женеве на протяжении трех лет обсуждали лишь неформально.

Однако в конце прошлого года 123 государства одобрили идею официально наделить группу дискуссионным мандатом.

Инициаторы запрета автономных боевых роботов надеются, что намеченная на конец августа встреча станет шагом к наделению группы полноценным переговорным форматом — то есть откроет путь к выработке конвенции о запрещении САС.

Умозрительные системы

Важно

Однако многие страны скептически относятся к идее запрета подобных систем. Среди них и Россия. Ее делегация (в составе представителей МИДа, Минобороны и Минпромторга) хоть и готовится к отъезду в Женеву, но о существенном ограничении или полном запрещении САС говорить не готова, а потому выступает против наделения Группы правительственных экспертов переговорным мандатом.

Как пояснили “Ъ” в МИД РФ, такое «осторожное» отношение «связано с целым рядом обстоятельств». «Во-первых, надо учитывать, что речь идет о технике, не имеющей пока реально действующих образцов. Представление о таких системах имеется пока лишь весьма поверхностное и умозрительное,— напоминают в ведомстве.

— Серьезные затруднения наблюдаются даже при выработке рабочей версии определения термина САС».

Во-вторых, в МИДе указывают на «сложности с четким разграничением гражданских и военных разработок в области автономных систем».

И в-третьих, в министерстве «имеются значительные сомнения относительно обозначаемой радикально настроенными государствами и неправительственными организациями недостаточности действующей международно-правовой базы для регулирования САС».

«На наш взгляд, международное право (в том числе его гуманитарная отрасль) полностью применимо к САС и не нуждается в модернизации или адаптации под такие пока еще не существующие системы вооружений»,— заверяют на Смоленской площади.

И добавляют: «Россия неукоснительно придерживается норм международного гуманитарного права, применимых к этому перспективному виду вооружений. Российское национальное законодательство содержит положения, ставящие барьер возможному вводу в эксплуатацию вооружений, не соответствующих международно-правовым обязательствам России».

Отметим, что российские военные активно адаптируют элементы искусственного интеллекта для своих целей. На вооружении ВС РФ стоят роботизированные морские комплексы «Галтель», способные после получения задания самостоятельно анализировать обстановку и выбирать способы ее решения.

Член коллегии военно-промышленной комиссии РФ Олег Мартьянов рассказал агентству «Интерфакс», что эти системы с 2017 года занимаются поиском неразорвавшихся боеприпасов и охраной акватории в районе сирийского порта Тартус.

Сообщалось также о поступлении в войска радиоэлектронной борьбы ВС РФ системы РБ-109А «Былина», способной самостоятельно анализировать боевую обстановку и выбирать способы подавления сигналов противника.

Совет

Элементами искусственного интеллекта планируется наделять едва ли не все новейшие российские системы вооружений — от крылатых ракет до танков и истребителей. Президент РФ Владимир Путин в сентябре прошлого года заявил, что страна, добившаяся лидерства в создании искусственного интеллекта, «будет властелином мира».

Пока же Россия в этой сфере уступает позиции США и Китаю.

В целом, по данным аналитиков американской исследовательской компании MarketsandMarkets, мировой рынок технологий искусственного интеллекта военного назначения в 2017 году составил $6,26 млрд.

Эксперты полагают, что к 2025 году этот показатель поднимется до $18,82 млрд. Среди компаний—лидеров глобального рынка первые три позиции занимают гиганты американского военно-промышленного комплекса: Lockheed Martin, Raytheon и Northrop Grumman.

В связи с этим не вызывает удивления, что и власти США не готовы предметно обсуждать мораторий на создание автономных боевых роботов. Такой же позиции придерживаются и другие страны, активно инвестирующие в инновационные вооружения: Великобритания, Франция, Германия, Израиль, Япония, Южная Корея.

Единственным государством—членом Совета Безопасности ООН, поддержавшим разработку конвенции о запрете САС, неожиданно стал в апреле этого года Китай.

Впрочем, в Пекине оговариваются: речь может идти только о запрещении применения полностью автономных боевых систем, но не об ограничениях на их разработку и создание.

Как бы то ни было, с учетом неготовности ведущих стран обсуждать какие-либо запреты в этой сфере сторонникам радикальных мер вряд ли стоит надеяться на быстрый прогресс.

Компромиссом может стать предложение Франции и Германии, которое, как ожидается, будет рассмотрено на сессии в Женеве.

Обратите внимание

Париж и Берлин предлагают принять политическое заявление, в котором страны гарантировали бы, что человек в любом случае будет играть ключевую роль при задействовании автономных боевых систем и сможет сохранять контроль над их действиями.

В МИД РФ “Ъ” пояснили, что Москва не возражает против начала подготовки на площадке Конвенции о негуманном оружии политической декларации по САС при том понимании, что она будет согласована по итогам работы профильной Группы правительственных экспертов.

В ведомстве подчеркивают, что действия российской делегации будут зависеть от «конкретного наполнения» этой декларации и от того, будет ли в документе учтена позиция России.

Российские переговорщики, как заверили “Ъ” в МИД РФ, готовы «включиться в работу» по составлению текста и в целом считают, что его принятие было бы «полезным итогом» деятельности Группы правительственных экспертов.

Как следует из интервью Мэри Верхэм, сторонников запрета роботов-убийц эта мера не удовлетворит. Но на большее им на текущий момент рассчитывать не приходится.

Елена Черненко

Источник: https://www.kommersant.ru/doc/3714419

Ящик Пандоры: ученые призвали ООН запретить создание роботов-убийц

Ученые призвали ООН запретить разработку и использование роботов-убийц. Петицию подписали 116 специалистов из 26 стран мира. Насколько близко человечество подошло к их созданию, и чем это грозит, в интервью телеканалу МИР 24 рассказал робототехник Антон Бураков

Судя по обращению ученых в ООН, получается, что к созданию автономных роботов-убийц мир уже подошел вплотную? 

— Да, мы подошли вплотную к созданию таких роботов. Но вообще-то я не вижу смысла ни в создании такой петиции, ни в таком законодательстве, потому что сейчас оружием массового уничтожения или массового террора используют автомобили, например.

А если робот предназначен для того, чтобы забивать гвозди, то и к нему можно приделать оружие. Я думаю, что эту петицию начали подписывать ради пиара или Илон Маск и его товарищи что-то знают такое, чего не знаем мы, и запаниковали.

Важно

Третья теория на этот счет: вместе с развитием робототехники должно развиваться и законодательство во всех направлениях, поэтому они постепенно теребят общественность. 

Однако получается что основатель компании, занимающейся искусственным интеллектом, Мустафа Сулейман, который также подписал петицию, выступает против искусственного интеллекта. Что-то здесь не складывается…

— Я думаю, что если Мустафа возглавит движение по законодательной инициативе, тогда, возможно, он сможет участвовать в разработке законов и что-то лоббировать. Это одна из версий, а другая – что он просто ответственный гражданин. 

Комментируя новость, СМИ пишут, что автономное летальное оружие уже существует. Что вам известно о подобных разработках? Насколько могут быть умны современные военные робототехнические комплексы?

— Мы, например, тоже сейчас разрабатываем робота-охранника для загородных домов ростом 1,5 метра, который должен бить током нарушителей. И мы должны учесть, чтобы это не были кошки или собаки. Как-то робот должен их различать.

Надо сказать, что из 100% интеллекта для робота-охранника разработано только 50%.

С другой стороны, что, если искусственный интеллект возьмет под контроль ядерное оружие или энергосети? Как мы здесь сможем бороться? С этим нужно бороться комплексно, а не запрещать роботу стрелять без приказа человека. 

С вашей точки зрения, существует возможность создания машин, которых мы видели в «Терминаторе»?

— Сейчас самая сложная и дорогостоящая технология – это технология ходьбы. А самое главное – автономное энергообеспечение. Дизельные генераторы сделают робот очень шумным.

Но любая кнопка, которая позволяет роботу открывать огонь, будет соединена с интернетом или любой другой сетью, которую можно взломать и сделать так, чтобы эта кнопка не участвовала в принятии решения.

Это тоже самое, что запретить стрелять людям, если в этом нет необходимости. Это же невозможно. То есть мы просто смиримся с тем, что роботы иногда начнут убивать людей. 

Говоря о роботах-убийцах, авторы обращения ссылаются на Конвенцию ООН об обычных вооружениях и предупреждают, что новая гонка вооружений «грозит миру третьей революцией в области, сравнимой с изобретением пороха и ядерного оружия». Как вам такая оценка? 

— Я с этим согласен. Они сейчас просто заранее бьют тревогу. Это логично, потому что когда мы получили ядерное оружие, никто этого не ожидал. Но я не думаю, что эти системы начали массово производиться или угрожать в пределах десяти лет. Потом – да. 

Совет

Если ООН отреагирует на письмо соответствующей декларацией или резолюцией, как думаете, это остановит разработчиков автономного летального оружия? 

— Но будут страны, которые не будут подписывать эту конвенцию, и ученые поедут туда разрабатывать роботов, как это происходит с клонированием или другими технологиями. Или теневой бизнес начнет свои разработки. Нужно сделать так, чтобы законодательство разрешало производить таких роботов под надзором государства. 

Если искусственный интеллект будет создан, кто-то будет в состоянии помешать его использованию в военных целях? 

— Никто. Я недавно услышал такое мнение, что люди довольно плохо справляются с жизнью на Земле, и что будет лучше, если роботы возьмут управление людьми на себя, как взрослые берут управление детьми. 

Как, на ваш взгляд, Организация Объединенных Наций должна отреагировать на призыв остановить разработку и использование автономного летального оружия?

— ООН в своем стиле может выпустить коммюнике, в котором скажет, что глубоко озабочена этим вопросом, и, возможно, в течение трех лет будет разрабатываться какое-то законодательство. Но вообще-то не все слушаются ООН. 

Источник: https://mir24.tv/news/16263712/yashchik-pandory-uchenye-prizvali-oon-zapretit-sozdanie-robotov-ubiic

“Роботы-убийцы”: как искусственный интеллект меняет войну

Корабли, танки, самолеты и пушки, оснащенные искусственным интеллектом, смогут участвовать в войнах будущего без вмешательства человека. 

Об этом передает Guardian.

По мнению специалиста, самоходные устройства будут служить в качестве оружия массового уничтожения: один программист и 3D-принтер смогут совершать операции, которые ранее требовали армии людей. Они будут индустриализировать войну, изменяя скорость и продолжительность того, как мы можем сражаться. Оружие с искусственным интеллектом сможет убивать людей быстрее, чем они успеют защитить себя.

Кампания «Остановите роботов-убийц», поддерживаемая Илоном Маском и Мустафой Сулейманом, призывает к введению необходимого законодательства, ведь действие превентивных методов заканчивается и гонка вооружений уже идет полным ходом.

В преддверии встречи США утверждали, что вместо того, чтобы пытаться «клеймить или запрещать» разработки, следует поощрять инновации и что использование новой технологии может фактически снизить риск жертв среди гражданского населения на войне. Однако эксперты опасаются, что системы не смогут проводить различие между военными и гражданскими лицами и действовать пропорционально угрозе.

Новая глобальная гонка вооружений

7 апреля 2016 года США запустили автономный корабль «Морской охотник». Фотография: Стив Дипаола / Рейтер

Полностью автономного оружия еще не существует, но высокопоставленные военные чиновники заявили, что использование роботов будет широко распространено в войне в течение нескольких лет. В 12 странах, включая Китай, Францию, Израиль, Великобританию и США, развернуты или находятся на стадии разработки не менее 381 автономных систем вооружения и военной робототехники.

Автоматизированные системы, такие как Железный купол Израиля и механизированные часовые в корейской демилитаризованной зоне, уже развернуты, но не могут действовать полностью автономно.

Исследование, проведенное Международной корпорацией данных, предполагает, что глобальные расходы на робототехнику удвоятся с 91,5 миллиардов долларов в 2016 году до 188 миллиардов в 2020 году, в результате чего полная автономия будет ближе к реализации.

Как лидер в исследованиях и разработках законов, США назвали автономию краеугольным камнем своего плана по модернизации армии и обеспечению ее стратегического превосходства по всему миру. Согласно данным Стокгольмского международного института исследований проблем мира, это привело к тому, что другие крупные военные державы увеличили свои инвестиции в ИИ и робототехнику.

Беспилотный автономный самолет США X-47B. Фотография: Rex Features

В настоящее время США работают над прототипом бесшумного беспилотного самолета X-47B, который сможет приземляться и взлетать в экстремальных погодных условиях и заправляться в воздухе.

Читайте также:  Камеры наблюдения наделят искусственным интеллектом

Страна также завершила испытания автономного подводного судна Sea Hunter, которое может оставаться в море в течение нескольких месяцев без единого человека на борту и способно затопить другие подводные лодки и корабли. Автономный шеститонный танк Crusher способен перемещаться по невероятно сложной местности и рекламируется как инструмент по «решанию практически любой возможной миссии».

Обратите внимание

В Великобритании разрабатываются собственные беспилотные летательные аппараты, которые можно было бы использовать в будущем. Беспилотный авиационный боевой дрон Taranis, названный в честь кельтского бога грома, может избежать обнаружения радаров и летать в автономном режиме.

Между тем Россия собирает арсенал беспилотных машин как в воздухе, так и на земле. По мнению комментаторов, страна рассматривает это как способ компенсировать свою обычную военную неполноценность по сравнению с США.

Российский боевой танк «Армата Т-14». Фотография: Михаил Мецель / Tass / PA Images

В России создан роботизированный танк «Нерехта», который может быть оснащен пулеметом или гранатометом, а российский полуавтономный танк Т-14 скоро будет полностью автономным. Производитель оружия «Калашников» разработал полностью автоматизированную, высококалиберную пушку, которая использует искусственные нейронные сети для выбора целей.

Китай имеет различные аналогичные полуавтономные танки и разрабатывает самолеты и подлодки, но информация об этих проектах строго засекречена.

Высокотехнологичный ящик Пандоры

Согласно Кампании «Остановите роботов-убийц», эти системы угрожают стать «третьей революцией в войне» после изобретения пороха и ядерных бомб, а также служить новым ящиком Пандоры, который будет невозможно закрыть.

Сторонники запрета говорят, что полностью автономное оружие вряд ли сможет соответствовать сложным и субъективным нормам международного гуманитарного права и права прав человека, которые требуют человеческого и сострадания.

Указывая на запрет 1997 года на наземные мины, который является одним из наиболее широко признанных договоров в области международного права, и запрет на кассетные боеприпасы, насчитывающий 120 подписей, Уорхем говорит: «История показывает, как ответственные правительства сочли необходимым в прошлом установить запреты на некоторые виды из-за значительной угрозы, которую они представляют для гражданского населения».

Считается, что оружие искусственного интеллекта может приблизить мир к апокалипсису быстрее, чем что-либо прежде.

«Это может автоматически вызвать битву, которую никто не сможет понять или распутать. Мы даже не можем знать, как системы будут взаимодействовать в конфликте. Все может закончиться через несколько минут после массового опустошения и гибели людей».

Источник: https://sceptic.online/power/roboty-ubijtsy-kak-iskusstvennyj-intellekt-menyaet-vojnu/

ООН: Чтобы запретить роботов-убийц, необходимы решительные действия – пока не стало слишком поздно

© Oli Scarff/Getty Images
27/8/2018

В связи с тем, что быстрое развитие технологий делает появление «роботов-убийц» всё реальнее и реальнее, Amnesty International призывает мировые державы поддержать проведение переговоров о принятии нового международного законодательства, запрещающего создание и применение полностью автономных систем вооружений.

В рамках Конвенции о запрещении или ограничении применения конкретных видов обычного оружия (или Конвенции о «негуманном» оружии, КНО) группа правительственных экспертов (ГПЭ) по летальным автономным системам вооружений проведёт встречу в Женеве в период с 27 по 31 августа 2018 года.

Эта встреча станет ключевым моментом для государств всего мира, чтобы обсудить и наметить возможные ответы на те вызовы – этические, гуманитарные, вызовы в области прав человека и в области безопасности, – которые ставит перед человечеством появление полностью автономных систем вооружений.

«Однако ещё не поздно поменять курс.

Важно

Запрет полностью автономных систем вооружений может предотвратить реализацию поистине апокалиптических сценариев, например, новую высокотехнологичную гонку вооружений между мировыми сверхдержавами, которая приведёт к широкомасштабному распространению автономных систем вооружений.

Мы призываем мировые государства, чьи представители соберутся в Женеве на этой неделе, к неотложным действиям, которых требует этот важнейший вопрос; необходимо определить круг мер, которые следует принять для устранения многочисленных угроз, связанных с появлением автономных вооружений».

Большинство государств на последнем заседании в рамках КНО в апреле 2018 года не раз подчёркивали важность сохранения человеком контроля над системами вооружений и вопросом о применении силы, а также поддержали разработку нового международного законодательства в области летальных автономных систем вооружений. Двадцать шесть государств высказались за полный запрет подобных вооружений, в том числе Австрия, Бразилия и Египет. Китай также призвал принять новый протокол КНО, запрещающий применение полностью автономных систем вооружений.

Amnesty International призывает выработать юридически обязательные стандарты для обеспечения того, чтобы люди по-прежнему оставались ключевым звеном при реализации «критически важных функций» систем вооружений, таких как идентификация, выбор и захват целей. Только так можно обеспечить соблюдение международного права и устранить этические опасения по поводу делегирования машинам полномочий решать вопросы жизни и смерти.

Эти вопросы обсуждались на предыдущих сессиях в рамках КНО в контексте использования подобных систем в боевых действиях. Amnesty International призывает государства учитывать также угрозы, связанные с применением систем автономных вооружений правоохранительным органами.

«До сих пор вероятность того, что автономные вооружения будут использоваться в полицейских операциях – со всеми вытекающими отсюда угрозами – по большей части игнорировалась.

Однако дроны, способные стрелять электрошоковыми стрелами, распылять слезоточивый газ и перцовый аэрозоль, уже существуют.

Недавно Израиль развернул полуавтономные летательные аппараты, способные распылять слезоточивый газ над участниками протестов в Газе, и скорее всего, в будущем мы увидим всё более активное применение подобных технологий правоохранительными органами», – подчеркнул Раши Абдул-Рахим.

«Использование полностью автономных систем вооружений правоохранительными органами в отсутствие эффективного и пристального контроля со стороны людей несовместимо с международным законодательством в области прав человека, и может привести к незаконным убийствам, травмам и другим нарушениям прав человека. Мы призываем государства предпринять конкретные шаги для того, чтобы остановить распространение этих опасных вооружений как на улицах городов, так и на полях сражений, пока не стало слишком поздно».

Справка

Amnesty International и её партнёры по кампании «Остановим роботов-убийц!» призывает ввести полный запрет на разработку, производство и использование полностью автономных систем вооружений в связи с угрозами соблюдению прав человека и гуманитарными рисками, которые связаны с подобными системами.

Использование полностью автономных вооружений без полноценного и эффективного контроля со стороны человека может, по всей видимости, создать своего рода вакуум в вопросе о привлечении к ответственности, поскольку автономные системы в случае их использования смогут вырабатывать собственные суждения, относящиеся к применению смертельной силы.

И хотя пока неясно, насколько сложными могут быть будущие технологии, маловероятно, чтобы полностью автономные системы вооружений смогли воспроизвести весь спектр неотъемлемых человеческих характеристик, что необходимо для соблюдения международного права. Сюда входит способность анализировать намерения людей, побуждающие их действовать, оценивать и реагировать на зачастую быстроразвивающиеся и непредсказуемые ситуации, или принимать сложные решения о соразмерности и необходимости применения силы.

Совет

Государства вновь соберутся в ноябре для совещания Высоких договаривающихся сторон в рамках КНО, и будут иметь возможность договориться о начале переговоров по созданию юридически обязательного правового инструмента.

#новости #главное #ООН #роботы-убийцы

Источник: https://amnesty.org.ru/ru/2018-08-27-un/

Россия в ООН: «Не пытайтесь остановить нас от создания роботов-убийц»

?Усилия ООН по ограничению или регулированию военного искусственного интеллекта (ИИ) могут быть провалены до того, как они начнутся.

У сторонников контроля над вооружениями были основания для надежды, когда в Женеве собрались десятки стран, чтобы обсудить будущее смертоносных автономных систем оружия  (САСО).

В отличие от предыдущих встреч, в эту группу входят правительственные эксперты и у этих экспертов есть мандат на более эффективное определение понятия смертоносной автономии вооружения. Но надежды на первый шаг к ограничению «роботов-убийц» были разбиты по мере дискуссии.

Россия заявила, что она не будет придерживаться международного запрета, моратория или регулирования такого оружия. Усугубляя этот вопрос, совещание было проведено таким образом, чтобы сделать какой-либо значимый прогресс в направлении определения (и, следовательно, в конечном итоге — регулирования) САСО практически невозможным.

Несколько участников отметили, что это напрямую связано с интересами России.

Российское заявление от 10 ноября представляет собой попытку юридически подорвать любой прогресс в направлении запрета. В нем утверждается, что определение «летальных автономных роботов» слишком сложно, в нем нет необходимости, и оно угрожает законному развитию технологий.

«По мнению Российской Федерации, нехватка рабочих образцов таких систем вооружения остается главной проблемой в обсуждении САСО… Это вряд ли можно рассматривать как аргумент в пользу принятия превентивных запретительных или ограничительных мер против САСО, являющихся гораздо более сложным и широким классом оружия, нынешнее понимание такого оружия недостаточно», — говорится в заявлении и  предупреждается, что усилия по запрещению «роботов-убийц» может иметь непреднамеренное сдерживающее воздействие на ИИ в целом. «Трудность проведения четкого различия между гражданскими и военными разработками автономных систем, основанных на тех же технологиях, по-прежнему является существенным препятствием в обсуждении САСО. Вряд ли приемлемо для работы над САСО ограничивать свободу пользоваться преимуществами автономных технологий, являющихся будущим человечества».

Участник, который не стал называть свою фамилию, учитывая весьма деликатную природу переговоров, сказал что «русские не заинтересованы в достижении прогресса». На вопрос о том, не является ли отсутствие прогресса следствием особой организации мероприятия, которая служила российским интересам, участник ответил: «Да, конечно».

Это ставится в вину послу Индии Амандипу Сингху Гилу, председателю Группы правительственных экспертов, по сути, чиновнику ООН, уполномоченному для проведения мероприятия. Гил солидаризировался с российской позицией.

Что еще более важно, Гил подошел ко всей пятидневной встрече таким образом, что любая попытка добиться прогресса в определении и, возможно, в один прекрасный день, регулировании, «роботов-убийц», была очень усложнена, сказал источник.

Вместо того, чтобы рассматривать серьезные предложения и позиционные документы, выдвинутые правительственными делегациями, Гил председательствовал на хаотичном и, в конечном счете, несущественном обсуждении ИИ вообще, едва касаясь заявленной цели совещания в течение пяти дней.

Обратите внимание

В какой-то момент он даже прекратил работу мероприятия, когда послы и делегаты попытались вернуть собрание к работе по определению «роботов-убийц». «Многие государства пришли к тому, чтобы определиться в терминах. Что и предполагалось изначально,»- сказал один из участников.

Другие участники отметили, что российские оборонные подрядчики, в частности «Калашников», уже продают оружие с функциями искусственного интеллекта, такими как автономный таргетинг и стрельба. Определение «робота-убийцы» не является помехой, когда стоит задача продать их.

«Одна из вещей, которая противоречит позиции России, заключается в том, что их собственные оборонные компании уже создают автономное оружие.

Поэтому, когда вы говорите, что «мы не можем говорить об этом оружии, потому что его нет», это подтверждение того, что российские компании уже такое оружие разрабатывают», — сказал Пол Шарр, старший научный сотрудник и директор программы «Технологии и национальная безопасность» в Центре новой американской безопасности. Он указал на многочисленные случаи, когда российское командование объявляло о намерении и готовности развивать виды оружия, которому они не могут дать даже определения. «Я хотел бы услышать, как Россия разъясняет свою позицию и намерения. В Соединенных Штатах существует подробная политика в отношении того, как они намерена регулировать вопросы об автономном оружии», — сказал он.

Но Сэм Бендетт, аналитик-ассоциированный исследователь программы российских исследований Центра военно-морских исследований и один из исследователей в Совете американской внешней политики, утверждал, что позиция России более тонкая.

«Русские также не уверены в том, как именно функционируют системы военной робототехники, имеющийся ИИ, учитывая, что искусственный интеллект в боевой составляющей по-прежнему является развивающейся концепцией», — сказал он.

Но исследования С. Бендетта также фиксируют растущий интерес России к разработке и выпуску оружия, использующего все более изощренный ИИ. В 2014 году Министерство обороны России разработало комплексный план развития перспективной военной робототехники до 2025 года.

В 2016 году россияне начали проводить ежегодную конференцию «Роботизация Вооруженных Сил Российской Федерации». Бендетт считает, что расходы России на военный ИИ будут расти, так как у Министерства обороны есть как минимум 10 исследовательских центров, которые ищут сферу применения САСО в войне. И, в итоге, Президент России Владимир Путин даже сказал, что нация, которая будет лидировать в ИИ, будет править миром.

«Россия, противостоящая международному органу, стремящемуся регулировать вопросы вооружений, не должна удивлять. В конце концов, на многих международных форумах Россия подчеркивает, что «суверенные страны свободны проводить свой политический / военный / экономический курс» в качестве альтернативы однополярному миру с Соединенными Штатами во главе,» — сказал Бендетт.

Патрик Такер, редактор по вопросам технологий, Defense One

Источник: https://zampolit-ru.livejournal.com/10930581.html

Сможет ли запрет «роботов-убийц» помочь в решении этой проблемы?

Исследовательская группа из университета в Буффало опубликовала документ, который предполагает, что запрет и демонизация автономного оружия или «роботов-убийц» может быть временным решением, но в действительности проблема заключается в том, что общество вступает в ситуацию, когда подобные системы становятся реальной возможностью.

Роботы-убийцы в центре классических историй, представленных в таких фильмах, как «Терминатор» и «Машина Судного дня» из оригинального сериала Star Trek, но идея полностью автономного оружия, действующего независимо от человека, уже не является прерогативой писателей-фантастов.

В бюджет Пентагона уже заложена статья расходов на роботов-убийц, поэтому ряд общественных организаций работают сообща над тем, чтобы остановить их разработку.

«Мы должны деконструировать термин «робот-убийца» на более мелкие культурные технологии», – говорит один из авторов документа Теро Карппи.

Любые разговоры о роботах-убийцах звучат на первый взгляд, как упражнения в фантазии, но в это время одни пытаются предотвратить развитие опасных технологий, а другие пытаются заложить основы их будущего развития.

Пентагон выделил 18 миллиардов долларов на разработку систем и технологий, которые могли бы заложить основу для полностью автономного оружия, инструментов для самостоятельного поиска, выявления врага и нападения на него.

Дипломатическим ударом для потенциального театра войны машин стала организованная в 2012 году общественными организациями кампания с тем, чтобы остановить роботов-убийц, направленная на запрет разработки такого оружия. Но Карппи и его соавторы утверждают в своей статье, «что необходимо пересмотреть состав реальной угрозы».

«Программное обеспечение и этические системы работают по определенным правилам, – говорит Карппи. – Мы можем принять системы и программное обеспечение на основе этических правил? Какую этику мы выберем? Что позволено делать программному обеспечению?»

Самоуправляемые автомобили работают на основании правил дорожного движения: когда остановиться, повернуть, уступить дорогу или продолжить движение. Но автономному оружию нужно различать друзей и врагов и пожалуй, самое главное понять, когда человек меняет поведение, например, когда сдается в плен.

«Мы не должны сосредоточиваться только на технической стороне проблемы, – говорит он. – Но, скорее, на идеологических, культурных и политических мотивах, которые управляют этими технологическими разработками».

Источник: http://www.robogeek.ru/interesnoe-o-robotah/smozhet-li-zapret-robotov-ubiits-pomoch

Почему не стоит бояться роботов-убийц

Кадр из фильма Slaughterbots, в котором в антиутопическом будущем автономные дроны-убийцы попадают в руки террористов

Дроны-убийцы, попавшие в руки террористов, устраивают резню невинных людей. Роботизированное оружие массового уничтожения сеет хаос и страх. Короткометражка, созданная сторонниками запретов автономного вооружения, создана, чтобы заставить вас поверить в то, что эта антиутопия уже совсем близко, и что надо принимать меры уже сегодня.

Фильм Slaughterbots [Резнеботы] вышел в ноябре 2017, одновременно с конференцией ООН по автономным вооружениям. Встреча ООН не закончилась ничем конкретным, но видео набирает популярность. Его уже просмотрело более 2 млн человек и оно попало в десятки статей. В качестве пропаганды оно работает идеально.

А с убеждением принять запрета на автономное вооружение оно совершенно не справляется.

Совет

Конечно, мир, в котором террористы могут напустить рой дронов-убийц на невинных людей, был бы ужасен, но реалистично ли будущее, показанное в фильме? Красивая картинка помогает скрыть пробелы в логике. Фильм погружает зрителя в антиутопический кошмар, но давайте скажем прямо: это всё научная фантастика.

Главное предположение фильма состоит в том, что в будущем военные создадут автономные микродроны с , способные подлететь к голове человека и активировать взрывчатку, тем самым убивая его. В фильме эти боты-убийцы быстро попадают в руки террористов, что приводит к массовому количеству смертей по всему миру.

Главная концепция имеет основу в реальности. В нашем мире Исламское государство [запрещённая в РФ террористическая организация] использовало готовые покупные квадрокоптеры, оборудованные небольшим количеством взрывчатки, для атаки иракских войск, в результате чего погибло и было ранено несколько десятков солдат.

Сегодняшние дроны у террористов в основном управляются дистанционно, но любительские дроны приобретают всё больше самостоятельности. Последние модели уже умеют долететь до фиксированной цели самостоятельно, огибая препятствия, а также самостоятельно отслеживать и следовать за движущимися объектами.

Небольшой дрон, оборудованный системой распознавания лиц, в принципе можно использовать для автономного поиска и уничтожения определённых людей, как это показывает кино Slaughterbots. Всего за несколько минут поиска в интернете я нашёл ресурсы, где можно скачать и натренировать бесплатную нейросеть, которая будет распознавать лица.

И хотя пока ещё никто не совмещал эти технологии, как показано в кино, все компоненты уже реальны.

Но я хочу сделать заявление: мы никак не сможем помешать этой технологии попасть в руки будущих террористов. Это грустно, но это необходимо понять.

Точно так же, как террористы могут и используют автомобили для тарана толп людей, технология, необходимую для превращения любительских дронов в грубое автономное оружие, уже слишком распространена для того, чтобы её можно было остановить.

Обратите внимание

Это проблема, и лучшей реакцией на неё будет сконцентрироваться на защитных мерах, позволяющих противостоять дронам и ловить террористов при помощи систем наблюдения. “

Фильм использует эту проблему, но раздувает её сверх меры, утверждая, что дроны могут быть использованы террористами как оружие массового поражения, и убивать людей тысячами.

К счастью, этот кошмарный сценарий настолько же вероятен, как HAL 9000, блокирующий вам вход в шлюз. Показанные в видео технологии реалистичны, но всё остальное — это полная чушь.

В видео делаются следующие предположения:

  • Правительства запустят массовое производство микродронов для использования их в качестве оружия массового поражения.
  • Против смертельных микродронов не существует эффективной защиты.
  • Правительства неспособны защитить оружие армейского уровня от террористов.
  • Террористы способны запускать крупномасштабные координированные атаки.

Эти предположения разнятся от спорных до фантастических.

Конечно, само видео — выдумка, а люди, отвечающие за разработку оборону, часто используют выдуманные сценарии, чтобы помочь политикам продумать последствия вероятных событий. Я — аналитик оборонки, работающий в мозговом центре, а на предыдущей работе в Пентагоне я занимался стратегическим планированием.

И я использовал вымышленные сценарии, чтобы проиллюстрировать выбор военных технологий, в которые военным США следует вкладываться. Но чтобы эти сценарии были полезными, они должны быть хотя бы вероятными. Это должно быть что-то, что может случиться.

Сценарий, использованный в фильме Slaughterbots, неспособен учесть политическую и стратегическую реальность использования военных технологий правительством.

Во-первых, нет никаких свидетельств того, что правительства планируют массовое производство мелких дронов для убийства гражданских лиц в больших количествах.

В моей готовящейся книге Army of None: Autonomous Weapons and the Future of War [Армия из никого: автономные вооружения и будущее войн], я исследую оружие будущих поколений, строящееся в оборонных лабораториях всего мира.

Россия, Китай и США все соревнуются в гонке по автономности и искусственному интеллекту. Но они создают оружие, по большей части направленное на сражение с военными силами.

Это оружие, направленное на поражение военных целей [counterforce], а не на поражение других активов, к которым причисляются и гражданские лица [countervalue]. У автономного оружия первого типа, конечно, есть свои проблемы, но оно не разрабатывается с целью массового уничтожения мирного населения, и его нельзя перенастроить на такое использование.

Важно

Во-вторых, в видео говорится о дронах, способных преодолеть любые «противодействия». Телевизионные эксперты кричат, что «мы не можем защитить сами себя». Это даже не выдумка, а фарс.

Для каждой военной технологии существует противодействие, а противодействие мелким дронам даже нельзя назвать гипотетическим. Правительство США активно разрабатывает способы отстрела, глушения, поджаривания, взлома, отлова и других методов противодействия мелким дронам.

Микродронам на видео можно успешно противостоять чем-то настолько простым, как проволочная сетка. На видео показаны тяжёлые дроны, пробивающие дыры в стенах, через которые проникают другие — но против этого может помочь простейшая многослойная защита.

Военные аналитики смотрят на соотношение цены защиты и нападения, и в этом случае преимущество явно на стороне статической защиты.

В мире, где террористы периодически осуществляют нападения при помощи самодельных дронов, люди вряд ли будут мириться с неудобством создания надёжных оборонительных сооружений, точно так же, как люди не носят бронежилеты для защиты от маловероятного попадания под пули стрелка.

Но если недружественная страна построит сотни тысяч дронов, способных стереть с лица земли город, можете быть уверены, что без сеток дело не обойдётся. Видео берёт реальную проблему: террористы, нападающие при помощи дронов — и масштабирует её без учёта реакции других сторон.

Если бы началось производство смертельных микродронов в промышленных масштабах, защита и контрмеры против них стали бы государственным приоритетом, и в этом случае противодействия были бы простыми.

А любое оружие, от которого можно защититься проволочной сеткой, оружием массового поражения не считается.

Совет

В-третьих, видео подразумевает, что военные неспособны предотвратить получение террористами доступа к вооружению армейского уровня. Но сегодня мы не даём террористам ручные гранаты, противотанковые ружья или пулемёты [правда, это утверждение опровергает даже последний биопик с Томом Крузом в главной роли / прим. перев.].

Террористы, нападающие при помощи дронов, волнуют всех потому, что они используют самодельную взрывчатку, приделанную к готовой технологии. Это реальная проблема, но опять-таки, видеоролик масштабирует эту угрозу до нереалистичных объёмов.

Даже если бы военные и начали делать смертельные микродроны, террористы смогли бы получить большое их количество не легче, чем любые другие военные технологии.

Оружие действительно постепенно попадает в руки участников военных действий, воюющих не с той стороны, но только оттого, что в Сирии полно противотанковых самонаводящихся ракет, не значит, что их легко встретить в Нью-Йорке. Террористы используют самолёты и грузовики именно потому, что успешно провезти контрабандой оружие армейского типа в западную страну не так-то просто.

Микродроны-убийцы из фильма

В-четвёртых, в видео предполагается, что террористы способны осуществлять нападение с невероятно точной координацией. В одном эпизоде два человека выпускают рой из 50 дронов из дверей фургона.

Этот эпизод сам по себе довольно реалистичен; одна из проблем автономного оружия состоит в том, что небольшая группа людей может запустить атаку большего масштаба, чем если бы у них было обычное оружие. Фургон с 50 дронами — достаточно разумная возможность. Но фильм доводит идею до абсурда.

Утверждается, что в одновременных атаках было убито порядка 8300 человек. Тогда, если люди с фургоном изображают типичную атаку, то для такого урона террористам надо было бы провести порядка 160 атак по всему миру.

Террористы действительно часто выполняют координированные нападения, но их количество обычно не превышает десяти. А в видео предполагается не только наличие сверхоружия, но и то, что оно попало в руки к сверхзлодеям.

Обратите внимание

В фильме шумиха и страх используются для преодоления критических предположений, в результате чего он мешает рациональному обсуждению рисков, связанных с доступом террористов к автономному вооружению. Из видео становится ясно, что мы должны бояться.

Но чего бояться? Оружия, выбирающего свои цели самостоятельно (по поводу этого, кстати, в видео не всё понятно)? Оружия без средств противодействия? Того, что террористы могут заполучить в свои руки оружие? Возможностей автономного оружия по увеличению масштаба атак? Если вы хотите вызвать страх перед роботами-убийцами, то это видео вам подойдёт.

Но при попытке тщательного анализа проблемы оно не выдерживает даже простейшего изучения. Видео не даёт какие-то аргументы, а занимается созданием дешёвых сенсаций и нагнетанием страха.

Естественно, целью видео является побудить зрителей к действиям при помощи страха.
Видео оканчивается словами профессора из Калифорнийского университета в Беркли, Стюарта Рассела, предупреждающего об опасностях автономного оружия и призывающего зрителя действовать с тем, чтобы этот кошмар не стал реальностью.

Я чрезвычайно уважаю Стюарта Рассела, как исследователя в области ИИ, так и человека, вносящего вклад в споры по автономному вооружению. Я приглашал Рассела на мероприятия в Центре новой Американской безопасности, где я занимаюсь исследовательской программой, связанной с ИИ и всемирной безопасностью. Не сомневаюсь, что взгляды Рассела искренни.

Но видео в попытке убедить зрителя делает ничем не подкреплённые приложения.

Что ещё хуже, предлагаемое решение — договор о запрете автономного оружия — не решит реальные проблемы, встающие перед человечеством с развитием автономности у оружия. Запрет не остановит террористов от изготовления самодельных роботизированных вооружений.

Также запрет на такое оружие, которое продемонстрировано в ролике, никак не повлияет на риски, связанные с появлением автономного вооружения у военных.

На самом деле, даже непонятно, попадёт ли под подобный запрет оружие, показанное в фильме, потому что там оно действует очень выборочно.

Важно

Концентрируясь на крайних и маловероятных сценариях, фильм на самом деле мешает прогрессу в рассмотрении реальных проблем, связанных с автономным оружием.

Государства, находящиеся среди лидеров разработки роботизированного оружия, скорее всего, отметут страхи, основанные на этом фильме.

Фильм льёт воду на мельницу тех, кто утверждает, будто страх перед автономным вооружением иррационален и подвержен излишней шумихе.

Автономное оружие поднимает важные вопросы о подчинении законам войны, о риске и контролируемости, и о моральной роли людей в военных действиях. Это важные проблемы, достойные серьёзного обсуждения.

Когда Рассел и другие включаются в оживлённые дебаты по этим вопросам, я приветствую такую дискуссию. Но указанный фильм не попадает в эту категорию.

Видео успешно завладело вниманием СМИ, но его склонность к сенсациям мешает серьёзным интеллектуальным обсуждениям, которые необходимо проводить по теме автономного вооружения.

Пол Шарр — старший научный сотрудник, директор программы по технологиям и государственной безопасности в Центре новой американской безопасности (CNAS). С 2009 по 2012 руководил рабочей группой министерства обороны США, выработавшей директивы по использованию автономности в вооружении.

Источник: https://se7en.ws/pochemu-ne-stoit-boyatsya-robotov-ubiyc/

Ссылка на основную публикацию
Adblock
detector