Специалисты работают над созданием этических правил для интеллекта беспилотных авто

«Моральные принципы» беспилотных автомобилей

Когда я на конференции ЦИПР-2017 в Иннополисе фотографировал Гошу Куценко, он в этот момент слушал докладчика на секции, посвященной роботам и беспилотным автомобилям.Там как раз обсуждалась тема морального выбора у автопилота.

Простыми словами это можно озвучить так: если наезд неизбежен, то кого давить “ребенка или бабушку”? А может быть в таком случае лучше “пожертововать” пассажиром машины?И вот в какую сторону сейчас развивается дискуссия в этом вопросе …

Конечно же вы все сейчас станете говорить о том, что мол надо не выбирать кого “давить”, а стараться не допускать подобных ситуаций или решать их так, чтобы все остались целы и невредимы. Это все так. Но то, что человек решает на уровне подсознания, робот или автопилот должен решать по заложенной в него программе.

А программу как раз таки разрабатывает заранее человек и он что то должен определить в этот момент. Нельзя же просто именно эту ситуацию вообще не предусмотреть. В противном случае в каком то сложном положении беспилотный автомобиль влетит на остановку полную людьми, вместо того, чтобы повернуть в обратную сторону и в отбойник например.

Для того, чтобы понять, как поступили бы люди в той или иной критической ситуации, сотрудники института разработали специальную игру «Moral Machine».

Тест доступен для всех желающих, в том числе и на русском языке. В игре моделируется ситуация, когда самоуправляемый автомобиль вышел из-под контроля, а искусственный интеллект должен сделать свой выбор.

Обратите внимание

Всего в тесте представлено 13 ситуаций, в каждой из которых необходимо решить кого- пешеходов или пассажиров- оставить в живых.Например, пользователю предлагается выбрать кто из 2 двух людей – молодой или пожилой человек – должен остаться в живых, а на кого наедет автомобиль.На сегодняшний день Moral Machine набрала уже более 11 млн. возможных сценариев поведения.

А как бы вы прошли этот тест?Однако, совсем недавно ученые из Университета Оснабрюка (Германия) провели другой эксперимент, участники которого должны были с помощью симулятора виртуальной реальности «водить машину» в туманный день в пригороде.

Неожиданно на пути «водителей» возникало препятствие в виде человека, животного или неодушевленного предмета, и им приходилось принимать решение, кого пощадить в данной ситуации.

Результаты эксперимента показали, что поступки водителей в этом случае были обусловлены их морально-этическими принципами, пишет издание EurekAlert! Таким образом, человеческое поведение можно хорошо описать с помощью алгоритмов, которые со временем будут использованы и машинами. Для этого собственно и не требовалось никаких исследования, все и так понятно, но “британские ученые такие ученые …”.

Мне как не специалисту больше непонятен не тот аспект, кого выберет задавить водитель животное или человека, а как будет решать водитель или в будущем программа беспилотного автомобиля, когда выбор будет стоять между врезаться в стену (и возможно погибнуть) и врезаться например в автобус и возможно погубить или покалечить несколько человек.Нет, давайте вообще по максимуму упростим ситуацию: врезаться в стену или сбить человека? Каждый человек на Земле совершит явно не одинаковое действие. Тут нет 100% верного решения. Так вот и программа беспилотного автомобиля должна понимать какие действия ей предпринять когда выбор стоит так или вот так. Конечные шансы никто не знает, но вот выбор направления действия должен быть однозначно!

В Германии пошли дальше. Недавно Федеральное министерство транспорта и цифровой инфраструктуры Германии определило 20 этических принципов для водителей автомобилей. Согласно им, к примеру, ребенок, бегущий через дорогу, признается «более вовлеченным в создание опасной ситуации», чем взрослый, стоящий на обочине. Таким образом, в данном случае водитель не должен жертвовать жизнью или здоровьем взрослого пешехода. Оригинально, не правда ли? Т.е. моральные ценности в этом случае что то лишнее и не нужное. Может быть так и должно быть? Четкий расчет и рационализм?

«Теперь, когда мы знаем, как внедрять этические принципы в машины, мы, как общество, сталкиваемся с двойной дилеммой, — объяснил профессор Питер Кениг. — Во-первых, мы должны решить, следует ли включать моральные ценности в „поведение“ машин, а во-вторых, должны ли машины действовать так же, как люди».Авторы исследования уверены, что автомобили-беспилотники — это только начало, поскольку все более распространенными становятся роботы в больницах и другие системы искусственного интеллекта. Ученые предупреждают, что мы стоим на пороге новой эпохи и должны установить для машин четкие правила, пока те не начали принимать решения без нас.Конечно же не будем думать, что эта тема и такие выборы возникли только сейчас.Я очень хорошо помню, как в детстве читал книжку Азимова “Я, Робот”. Она произвела на меня огромное впечатление. Возможно основной причиной этому были сюжеты, посвященные выбору роботами между тремя законами робототехники:1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.Но даже имея такие четкие законы, случались ситуации, которые либо не описывались ими, либо создавали серьезное противоречие со здравым смыслом.Чувствуется мне, что еще лет через 10 уже придется нам создавать свои законы робототехники и ставить на одну сторону весов рациональность и расчет, а на другую мораль и принципы совести.Или вы считаете, такой проблемы не возникнет?——————-

Павел Шипилин (pavel_shipilin) о коррупции в России и мире. Четверг, 6 июля, в 17:00 (Мск):

Ах да, зачем Гоша Куценко все это слушал я вам рассказывал тут.

Источник: https://masterok.livejournal.com/3729426.html

Как беспилотные автомобили будут решать вопросы жизни и смерти

Когда-то казалось, что все проблемы, связанные с моральным выбором умной машины, позволят разрешить законы робототехники, сформулированные писателем-фантастом Айзеком Азимовым.

Робот не должен причинять вред человеку – и точка. Но что делать беспилотному автомобилю, если у него отказали тормоза и сейчас он либо собьёт пешехода, либо рискнёт жизнью пассажира, съехав в кювет? Это не фантастика.

Автомобили-роботы уже выезжают на дороги.

“Беспилотный автомобиль: кого он должен спасать?” – под таким заголовком на сайте Массачусетского технологического института рассказывается о недавнем исследовании, опубликованном в журнале Science.

Учёные из MIT, предложили респондентам подумать над решением нескольких десятков моральных дилемм.

По сути, это исследование – вариация на тему знаменитой “проблемы вагонетки”, которая прежде казалась абсолютно умозрительной.

“Проблема вагонетки” – это мысленный этический эксперимент, который с 60-х годов используют психологи. Представьте, что по рельсам несётся тяжёлая неуправляемая вагонетка и на пути у неё пять человек, привязанных к рельсам.

У вас есть возможность нажать на рычаг и перевести стрелку на другой путь, где человек всего один. Вопрос в том, будете ли вы это делать. Правильного и неправильного решения у моральных дилемм не существует.

Приверженцы утилитарного подхода считают правильным спасать как можно больше жизней, другие говорят о недопустимости вмешательства и совершения убийства своими руками.

Как из человека стать машиной: биохакеры и мировое господство

“Легко представить ситуацию, когда алгоритмы, заложенные в программу безопасного движения, войдут в конфликт друг с другом”, – пишут авторы из MIT. И предлагают сделать выбор. “У машины отказали тормоза. Если она продолжит двигаться, то собьёт девочку, переходящую дорогу на красный свет.

Машина может уйти на соседнюю полосу, где горит зелёный, и тогда задавит пожилого человека. Помните, остановиться автомобиль не успевает – куда должен направить его бесстрастный алгоритм?”. Я честно прошла весь тест, предложенный исследователями, и это оказалось непросто.

Намного сложнее, чем задачка про вагонетку, ведь меня спрашивали, как запрограммировать реальный автомобиль.

Сталкиваются ли с этическими вопросами разработчики беспилотного транспорта, я решила узнать у них самих – и встретилась с руководителем департамента беспилотных транспортных средств российской компании Cognitive Technologies Юрием Минкиным.

Важно

Компания несколько лет занимается созданием алгоритмов автономного вождения для КамАЗов, а недавно анонсировала систему C-Pilot для легковушек. Если испытания пройдут успешно, в городах скоро появятся авто без водителя.

Кстати, благодаря этим проектам частная компания Cognitive Technologies смогла получить поддержку государства в рамках Федеральной целевой программы “Исследования и разработки”.

“Беспилотник априори морален”

Юрий Минкин: Я зайду с другой стороны. Один из главных ожидаемых результатов внедрения беспилотников состоит в уменьшении аварий и жертв буквально на порядки.

Сейчас на российских дорогах гибнут десятки тысяч человек, с распространением беспилотного транспорта их число снизится до сотен, а потом и до единиц. В этом смысле самоуправляемый автомобиль априори морален.

Он всегда сосредоточен на дороге, у него есть исчерпывающая информация, он может получать данные от других транспортных средств и элементов дорожной инфраструктуры. Создание таких автомашин – перспектива ближайших десятилетий.

Но ведь и с беспилотными автомобилями случаются аварии…

Юрий Минкин: Конечно, производители продумали ещё не всё. Недавно был громкий случай: аналогичный автомобиль Tesla столкнулся с фурой, не различив белый прицеп на фоне неба. Погиб пассажир.

Однако баг скоро устранят – клиенты получат исправленную прошивку (у машин этой компании программное обеспечение обновляется так же, как в смартфонах), и проблема будет решена.

Можно сказать, что жертва принесена не напрасно: больше в этой ситуации никто не пострадает.

Вы говорите, что перед разработчиком вопрос морали не стоит, но, похоже, вы просто уже решили его. Одна жертва лучше, чем пять?

Юрий Минкин: Конечно. Я считаю, что мы рассматриваем такой же уникальную ситуацию, как падение метеорита на человека. Моральная дилемма для беспилотника будет редчайшим случаем. У самого автомобиля морали нет, конечно, он действует по заданным ему критериям.

И в данном случае это должен быть критерий минимизации ущерба. Как оценивать ущерб, чтобы его минимизировать, – тонкий момент. Навстречу едет машина, мы не можем узнать, сколько в ней человек.

На переходе два ребёнка, а вдруг в машине их три? Но эти двое – очевидный факт, а что в машине, неизвестно.

Источник: https://rg.ru/2016/09/21/kak-bespilotnye-avtomobili-budut-reshat-voprosy-zhizni-i-smerti.html

9 проблем машинного обучения

Искусственный интеллект врывается в нашу жизнь. В будущем, наверное, все будет классно, но пока возникают кое-какие вопросы, и все чаще эти вопросы затрагивают аспекты морали и этики.

Какие сюрпризы преподносит нам машинное обучение уже сейчас? Можно ли обмануть машинное обучение, а если да, то насколько это сложно? И не закончится ли все это Скайнетом и восстанием машин? Давайте разберемся.

Разновидности искусственного интеллекта: Сильный и Слабый ИИ

Для начала стоит определиться с понятиями. Есть две разные вещи: Сильный и Слабый ИИ. Сильный ИИ (true, general, настоящий) — это гипотетическая машина, способная мыслить и осознавать себя, решать не только узкоспециализированные задачи, но еще и учиться чему-то новому.

Слабый ИИ (narrow, поверхностный) — это уже существующие программы для решения вполне определенных задач: распознавания изображений, управления автомобилем, игры в Го и так далее. Чтобы не путаться и никого не вводить в заблуждение, Слабый ИИ обычно называют «машинным обучением» (machine learning).

Про Сильный ИИ еще неизвестно, будет ли он вообще изобретен. Судя по результатам опроса экспертов, ждать еще лет 45. Правда, прогнозы на десятки лет вперед — дело неблагодарное. Это по сути означает «когда-нибудь». Например, рентабельную энергию термоядерного синтеза тоже прогнозируют через 40 лет — и точно такой же прогноз давали и 50 лет назад, когда ее только начали изучать.

Читайте также:  Дети учат новые слова, используя, по мнению психологов, тот же метод, что и роботы

Машинное обучение: что может пойти не так?

Если Сильного ИИ ждать еще непонятно сколько, то Слабый ИИ уже с нами и вовсю работает во многих областях народного хозяйства.

И таких областей с каждым годом становится все больше и больше. Машинное обучение позволяет решать практические задачи без явного программирования, а путем обучения по прецедентам. Подробнее вы можете почитать в статье «Простыми словами: как работает машинное обучение«.

Поскольку мы учим машину решать конкретную задачу, то полученная математическая модель — так называется «обученный» алгоритм — не может внезапно захотеть поработить (или спасти) человечество. Так что со Слабым ИИ никакие Скайнеты, по идее, нам не грозят: алгоритм будет прилежно делать то, о чем его попросили, а ничего другого он все равно не умеет. Но все-таки кое-что может пойти не так.

1. Плохие намерения

Начать с того, что сама решаемая задача может быть недостаточно этичной. Например, если мы при помощи машинного обучения учим армию дронов убивать людей, результаты могут быть несколько неожиданными.

Источник: https://www.kaspersky.ru/blog/machine-learning-ten-challenges/21193/

Этическая сторона программирования беспилотных авто

Экология потребления. Мотор: Прежде чем начать серийно выпускать автомобили с беспилотным управлением, автопроизводителям придется решить сложную этическую дилемму…

Все новые технологии в сфере автоматизации раньше всего проникают в автомобильную промышленность. Сегодня серийные машины стандартно оснащаются круиз-контролем, программой параллельной парковки и даже функцией автоматического обгона. Имея все эти новшества, водитель может спокойно (ну или не совсем спокойно) сидеть и наблюдать за тем, как компьютер управляет его машиной.

Поэтому закономерно, что многие автопроизводители начинают задумываться о том, чтобы полностью передать управление под контроль компьютера. Такие автомобили будут более безопасными, экологичными и экономичными, нежели их «ручные» предшественники. Но абсолютную безопасность, как известно, обеспечить невозможно.

Совет

И это порождает ряд трудных вопросов. Например, как нужно запрограммировать машину на случай неизбежной аварии? Должна ли система минимизировать человеческие потери, даже если придется пожертвовать жизнями пассажиров? Или она должна будет спасать пассажиров любой ценой? Или выбор между двумя этими альтернативами должен быть случайным? 

Ответы на подобные вопросы могут повлиять на то, как беспилотные автомобили будут восприняты обществом. Ведь кто захочет купить машину, которая в экстремальной ситуации может убить владельца?

Так поможет ли здесь наука? Возможно, к ответу на этот вопрос смогли приблизиться ученые из Тулузской школы экономики – Жан-Франсуа Боннефон и его коллеги. Они пришли к выводу, что, поскольку на приведенные морально-этические вопросы не может быть правильного или неправильного ответа, последнее слово в развитии беспилотных автомобильных систем будет за общественным мнением.

Поэтому ученые решили изучить общественное мнение с применением нового научного метода – экспериментальной этики. Этот подход подразумевает изучение реакции большого количества людей на поставленные перед ними этические дилеммы. Результаты оказались интересными, хотя и немного предсказуемыми.

«Полученные данные являются лишь первыми шагами в направлении изучения сложнейших проблем морального свойства при программировании автономных транспортных средств», — говорят исследователи.

И вот какую дилемму предлагали разрешить испытуемым. Представьте, что в недалеком будущем у вас есть беспилотная машина. Вы едете в ней, и вдруг дорогу впереди переходит группа из десяти людей. Машина не успевает остановиться, чтобы избежать наезда, но может свернуть в сторону и врезаться в стену. Но в таком случае погибнете вы. Какой вариант должна выбрать машина?

Один из подходов к решению данной проблемы – исходить из идеи, что количество жертв необходимо минимизировать. Смерть одного человека против смерти десяти.

Но у такого подхода могут быть и другие последствия. Если беспилотные автомобили будут покупать меньше из-за того, что они потенциально способны привести к гибели владельца, то больше людей будут погибать в авариях с участием обычных машин. Получается безвыходная ситуация.

Боннефон и его коллеги ищут приемлемое решение этой этической дилеммы, отталкиваясь от общественного мнения. В начале они предположили, что люди чаще всего выбирают сценарий, который подразумевает сохранение их собственных жизней.

Обратите внимание

Они опросили несколько сотен рядовых граждан. Участникам опроса был предложен сценарий, по которому можно было спасти одного или нескольких пешеходов, свернув в стену, убив таким образом пассажира или одного пешехода.

В то же время исследователи меняли некоторые подробности сценария, такие как количество пешеходов, которых можно спасти; кем было принято решение свернуть – компьютером или владельцем автомобиля; а также какова роль испытуемого в этом сценарии – в качестве пассажира авто или стороннего наблюдателя.

В целом люди чаще высказывались за идею сохранить как можно больше человеческих жизней.опубликовано econet.ru

Автор Наиль Байназаров

Источник: https://econet.ru/articles/81481-eticheskaya-storona-programmirovaniya-bespilotnyh-avto

В америке разработали 15 правил робототехники для беспилотных автомобилей

Американская Национальная администрация по безопасности дорожного движения (NHTSA) опубликовала требования к безопасности роботизированных автомобилей.

Этот текст на 115 страницах совсем не похож на технически-бюрократические документы, которые обычно выпускают национальные ведомства по стандартизации.

Это скорее список пожеланий, а то и приглашение к дискуссии, которая в итоге все-таки должна привести к созданию стандарта и к изменениям в законодательстве.

К моменту, когда дело дойдет до массовой эксплуатации роботизированных автомобилей, такие стандарты уже должны существовать — в том числе и как инструментарий для проверки машин на соответствие законодательным требованиям.

Текст из NHTSA касается не только поведения автопилота как такового, но и контроля системы за собственным состоянием, вопросов приватности, а также подходов к проектированию софта для таких систем. Кстати, в гражданской авиации разработка программной части уже давно подробнейшим образом регламентирована.

Вот основные тезисы нового документа:

1) Разделение данных. Во время эксплуатации беспилотники будут накапливать огромные массивы данных. Автопроизводители обязаны хранить эти данные и обеспечивать доступ к ним властей в случае аварии или нештатной ситуации, чтобы можно было определить причины происшествия;

2) Приватность. До владельца машины нужно четко донести, какие именно данные собирает электроника автомобиля. Он должен иметь возможность отказаться от сбора персональных данных — например, биометрии или паттернов поведения;

3) Безопасность системы. «Железо» автопилота должно быть спроектировано так, чтобы безопасно реагировать на нештатную работу софта, аварийные ситуации и другие риски. Автопроизводители обязаны проводить внешний аудит системы;

4) Цифровая безопасность. Электронная система должна иметь охранный функционал, позволяющий отражать сетевые атаки (вероятно, речь идет о файерволе. — Прим. автора). Автопроизводителям следует документировать как сами решения в области безопасности, так и данные об их тестировании. Должен быть налажен обмен такими данными между компаниями;

5) Интерфейс «Человек — машина». Переключение между режимом автопилота и ручным управлением должно быть очевидным. Информация о том, когда автоведение не может работать, должна быть легкодоступна водителю. Автопроизводителям также следует создать способ коммуникации между автомобилем под управлением автопилота, пешеходами и другими автомобилями;

6) Пассивная безопасность. Автономный автомобиль должен соответствовать стандартам безопасности, установленным Национальной администрацией по безопасности дорожного движения (NHTSA). В случае аварии автономный автомобиль не должен уступать аналогичному автомобилю традиционного типа;

7) Информирование клиентов. Автопроизводителям следует провести обучение своих сотрудников и персонала дилерских центров, чтобы те могли рассказать покупателям, как работает автопилот. Для клиентов необходимо проводить практические занятия, на которых показывать как возможности, так и ограничения систем автопилотирования;

8) Сертификация. Любое обновление программного обеспечения должно проходить сертификацию в NHTSA;

9) Поведение после аварии. Автопроизводитель должен продемонстрировать, что машина не становится опасной после ДТП. Например, при повреждении критических датчиков режим автоведения не должен активироваться самостоятельно;

10) Законы. Автомобиль должен двигаться по правилам дорожного движения, учитывая различия в местных законах между разными штатами (скажем, в части штатов разворот через сплошную или поворот направо на красный сигнал светофора разрешены, а в других — запрещены). При этом для предотвращения аварии он может отступить от правил;

11) Этические соображения. Не исключено, что система автоведения может быть поставлена в условия этического выбора. Например — «тормозить или уворачиваться?» Алгоритмы принятия таких решений должны быть раскрыты для NHTSA;

12) Операционный дизайн. Исчерпывающее описание условий, в которых система автоведения может (или не может) работать. Автопроизводители должны подтверждать, что машина проходила тестирование в тех или иных условиях. Например: с какой скоростью может двигаться машина, может ли автоведение работать в темноте или на грунтовке;

13) Распознавание и реагирование. Как автомобиль реагирует на других участников дорожного движения, пешеходов, животных, падающие деревья? Автопроизводитель должен показать, что система автоведения способна адекватно отрабатывать как рутинные дорожные ситуации, так и чрезвычайные происшествия;

14) Отключение. В случае неисправности автомобиль должен безопасно переходить из режима автоведения в ручной. При этом должно учитываться и состояние водителя: автомобиль должен распознавать, если тот спит, пьян или переутомлен;

15) Проверка. Автопроизводители должны разработать процедуры тестирования и аттестации автопилотов, включающие виртуальные испытания, работу на тестовом полигоне и тестирование на реальных дорогах.

Источник: https://autoreview.ru/news/v-amerike-razrabotali-15-pravil-robototehniki-dlya-bespilotnyh-avtomobiley

Этические законы для искусственного интеллекта

В центре внимания законодательных органов Германии стала этическая сторона использования искусственного интеллекта.

Как сообщает ряд немецких СМИ, специальный правительственный комитет в Германии, включающий экспертов в области этики, права и технологий, сделал абсолютным приоритетом для техники жизнь людей.

Согласно разработанным правилам, программное обеспечение автомобилей должно работать таким образом, чтобы любой ценой сберечь жизнь и здоровье человека, будь то пассажиры или пешеходы.

По мнению законодателей Германии, в случае, когда авария неизбежна, программное обеспечение должно выбрать то действие, которое причинит наименьший вред людям даже ценой уничтожения имущества или животных. Кроме того, беспилотники не должны принимать решение, ориентируясь на возраст, пол или физическое состояния любых вовлечённых в аварийную ситуацию людей.

Этическая проблема применения искусственного интеллекта ранее была сформулирована в так называемой «проблеме вагонетки» (trolley problem) еще в 1967 г. английским философом Филиппой Фут, которая в основу своих работ положила вопросы ценности человеческой жизни.

Её оригинальная формулировка: «Тяжёлая неуправляемая вагонетка несётся по рельсам. На пути её следования находятся пять человек, привязанные к рельсам сумасшедшим философом. К счастью, вы можете переключить стрелку – и тогда вагонетка поедет по другому, запасному пути.

Важно

К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?». До сих пор «проблема вагонетки» широко обсуждается философами, социологами и другими специалистами.

С новым накалом дискуссии по этой проблеме развернулись в связи с развитием искусственного интеллекта в разных областях.

Помимо этических норм многих беспокоит и социальное влияние применение технологий искусственного интеллекта (ИИ). В частности, беспокойство у обывателей вызывает идея того, что роботизированные системы якобы могут в ближайшее время лишать людей работы. Однако представители хай-тек индустрии считают такие опасения излишними.

«Вы уже работаете рука об руку с ИИ: программы, применяющие его, проникли в сферы  дизайна и проектирования, которые критически важны что в автопроме, что в веб-разработке, — указывает Ирина Черепанова, менеджер ИИ-конструктора сайтов uKit AI.

— Например, компании Toyota и Materialise с помощью технологий генеративного дизайна смогли разработать суперлегкое автомобильное кресло. Прототипирование десятков и сотен вариантов устройства доверили ИИ, а инженеры ставили ему задачу и принимали результат.

По сути, это новый способ делегирования: только часть задачи поручится машине, которая может предложить разные, иногда неожиданные решения быстрее человека. Однако, она не умеет думать (лишь учится) и управляется настройками, а значит, для управления по-прежнему нужен человек.

Так что, когда вы слышите истории «ИИ заменит человека», стоит помнить: реально эта перспектива угрожает не требующим квалификации профессиям. Это кассира в супермаркете можно заменить программой распознавания и аппаратом для приема карт. Специалисты же незаменимы; для них ИИ станет помощником, встроенным в привычные компьютеры и программы».

Читайте также:  Недавние исследования показали что компьютерный интерфейс способен расшифровать мысли человека

Источник: http://rosautonet.ru/news/eticheskie-zakony-dlya-iskusstvennogo-intellekta

Контроль над невидимым – Журнал Стратегия

30 октября 2018

Подошли ли мы к тому моменту, когда искусственный интеллект нуждается в регулировании, угрожает ли нам его развитие и опыт каких стран можно считать показательным в этой сфере? Своим независимым взглядом на эти вопросы с Журналом Стратегия поделился Алексей Лукацкий, бизнес-консультант компании Cisco, специалист в области информационной безопасности.

Насколько важно государственное регулирование в развитии искусственного интеллекта и так ли оно необходимо? Какие проблемы поможет решить?

Для начала ответим на вопрос, что такое искусственный интеллект (ИИ) и чем он отличается от обычного интеллекта или обычной программы, которую мы можем купить в Интернете или магазине. Следуя неформальному определению, ИИ — это способ использования компьютеров для выполнения творческих задач, что традиционно считается свойством человека.

Но в общем смысле искусственный интеллект пока не существует, и поэтому сегодня он имеет очень узкое применение — игра в шахматы, распознавание и классификация образов, синтез человеческой речи и прочее.

Совет

А как можно законодательно регулировать игру в шахматы, диагностику болезней на рентгенографических снимках или обнаружение компьютерных вирусов с помощью машинного обучения? Искусственный интеллект в этих применениях всего лишь позволяет видеть то, что недоступно человеку, или делать это гораздо быстрее, чем могли бы сделать мы.

Но значит ли это, что нужно закрывать глаза на возможности, которые дает искусственный интеллект? Конечно, нет. Допустим, «плохие парни» используют ИИ, чтобы создавать компьютерные вирусы или программы, способные обходить системы защиты. Это, безусловно, плохо.

Но это плохо и без искусственного интеллекта, и такая деятельность уже регулируется действующим российским законодательством. А теперь представим, что врач воспользовался ИИ, распознающим рак, и интеллектуальная система приняла неверное решение. Это врачебная ошибка и отвечает за нее врач, независимо от того, что его стимулировало ее сделать.

Врач, не распознавший рак в начале XX века, и врач, не сделавший это в XXI, одинаково виноваты, и именно им отвечать за ошибку. В обоих случаях в рамках действующего законодательства отвечает человек, который использует помогающий ему искусственный интеллект.

Но есть ситуации, когда интеллектуальная система принимает решение самостоятельно, и вот тут начинается самое интересное. Вспомним недавние печальные истории с беспилотными автомобилями, которые становились причинами дорожно-транспортных происшествий или даже смертей людей.

Именно системы искусственного интеллекта в них, неспособные в определенных условиях (в том числе и специально созданных) распознавать дорожные знаки, препятствия или пешеходов, привели к тяжелым последствиям.

Но на кого в этом случае должно возложить ответственность государство? Логичный ответ: на автопроизводителей, если ИИ дал сбой по их вине. Но есть и противоположная точка зрения: автовладелец осознает риск использования беспилотного автомобиля, значит, именно он должен нести всю полноту ответственности.

Можно провести аналогию с законом «О персональных данных», в статье 16 которого есть такие пункты: «1.

Запрещается принятие на основании исключительно автоматизированной обработки персональных данных решений, порождающих юридические последствия в отношении субъекта персональных данных или иным образом затрагивающих его права и законные интересы, за исключением случаев, предусмотренных частью 2 настоящей статьи. 2.

Решение, порождающее юридические последствия в отношении субъекта персональных данных или иным образом затрагивающее его права и законные интересы, может быть принято на основании исключительно автоматизированной обработки его персональных данных только при наличии согласия в письменной форме субъекта персональных данных или в случаях, предусмотренных федеральными законами, устанавливающими также меры по обеспечению соблюдения прав и законных интересов субъекта персональных данных. 3. Оператор обязан разъяснить субъекту персональных данных порядок принятия решения на основании исключительно автоматизированной обработки его персональных данных и возможные юридические последствия такого решения, предоставить возможность заявить возражение против такого решения, а также разъяснить порядок защиты субъектом персональных данных своих прав и законных интересов».

В этой статье используется схожая идеология. Системе запрещено принимать решение без участия человека, за исключением ситуации, когда человек понимает все риски и дает на это письменное согласие.

Обратите внимание

Возможно, подобная норма должна действовать и в случаях применения ИИ без участия человека. Разве что необходимо добавить пункт об ответственности производителей, если искусственный интеллект наносит ущерб по вине именно разработчика.

В случаях когда ИИ только помогает человеку, именно последний несет ответственность в рамках действующего законодательства.

Опыт каких стран в разработке программ регулирования ИИ вы считаете успешным? Какие примеры законодательных актов в этой сфере могли бы назвать?

Источник: http://strategyjournal.ru/editors-choice/intervyu/kontrol-nad-nevidimym/

Новая профессия – специалист по обучению беспилотников

Самоуправляемые автомобили могут показаться волшебством. Идея транспортного средства, которое не нуждается в поворотах руля или нажатии на педали, как будто сошла со страниц фантастических романов.

Однако, как и многие фантастические истории, она может быть реализована благодаря волшебникам, искусство которых остается незамеченным, – и их очень много. Как оказалось, проложить путь для полностью самоуправляемых автомобилей невозможно без огромного количества ручного труда.

Большинство компаний, разрабатывающих технологии беспилотных автомобилей, нанимают сотни, а то и тысячи человек – часто в таких центрах зарубежного аутсорсинга, как Индия и Китай.

Задача всех этих людей – научить машины распознавать пешеходов, велосипедистов и другие препятствия.

Эта работа делается вручную путем маркировки, часто кадр за кадром, тысяч часов видеосъемки, полученных с прототипов беспилотных автомобилей с тестовых полигонов в Кремниевой долине, Питсбурге и Фениксе.

«Машинное обучение – миф, это все работа для волшебника из страны Оз, – говорит Джереми Конрад, инвестор из Lemnos Labs в Сан-Франциско. – Команды, занимающиеся маркировкой видео, имеют невероятно важное значение для каждой компании, и потребность в них сохранится еще какое-то время, потому что технологии развиваются, а внешняя среда меняется очень быстро».

Значительный прогресс в развитии технологий искусственного интеллекта, в качестве сенсоров и мощности компьютеров заложил технологические основы для беспилотной революции. Однако, несмотря на все инновации, присутствие людей за кулисами процесса будет необходимо еще многие годы: они будут отмечать на видео деревья и дорожные знаки, чтобы данные в системах оставались актуальными.

«Специалисты-практики в сфере искусственного интеллекта самонадеянно заблуждаются, считая, что компьютеры могут решить все проблемы», – говорит Мэтт Бенке, основатель и генеральный директор компании Mighty.ai, привлекающей работников на неполный рабочий день с целью обработки и маркировки данных для машинного обучения для технологических компаний.

Подобная проблема существует для любых систем, использующих искусственный интеллект: компьютеры учатся, поглощая огромный объем вручную промаркированной информации, чтобы распознавать объекты и закономерности, когда они встретятся им снова.

Научить автомобиль

Обучение самоуправляемых автомобилей сложнее, чем других систем искусственного интеллекта, из-за бесчисленного разнообразия ситуаций, в которых может оказаться машина.

Системы научатся делать поправки на погодные условия и уровень освещенности в разное время суток или года, но городская среда может кардинально измениться за ночь из-за строительных работ, проведения праздников, митингов или из-за аварии.

«Процесс маркировки – это скрытые издержки, о которых руководители компаний, проектирующих самоходные транспортные средства, обычно не говорят. Это очень трудоемко и утомительно», – говорит Самип Тандон, генеральный директор Drive.ai, стартапа, разрабатывающего беспилотные автомобили.

Источник: https://www.vedomosti.ru/management/articles/2017/07/20/724770-obucheniyu-bespilotnikov

Вопросы правового регулирования в сфере автономных систем и искусственного интеллекта

Когда в прошлом месяце в США робот-наблюдатель Knightscope K5 упал в пруд в офисном комплексе, это было не в первый раз, когда такие машины попадали в неприятности.

Конечно, робот системы безопасности, похожий на R2D2 из “Звездных войн”, который переворачивается и падает в пруд, не представляет большую опасность, однако, более сложные автономные системы с искусственным интеллектом будут затрагивать жизни многих людей.

Итак, как должны регулироваться ситуации, когда роботы и автономные системы ошибаются и кто должен нести ответственность, если в результате ошибки причиняется вред здоровью или имуществу? Если в результате инцидента с машиной погибает человека, как должны квалифицироваться такие действия. Понятно, что машина не может нести ответственность, значит отвечать должен кто-то из людей.

Важно

В Российском законодательстве сегодня предусмотрена ответственность за производство либо сбыт товаров и продукции, выполнение работ или оказание услуг, не отвечающих требованиям безопасности (Ст.238 УК РФ). Но достаточно ли будет такого регулирования, когда вопрос будет касаться самообучающихся автоматизированных систем с AI? 

В краткосрочной перспективе, основные трудности будут заключаться в определении ответственности в зависимости от конкретной аварии, действительно ли автономная система совершила ошибку, или ее действия не выходят за рамки нормы, а причина в других факторах? Как определить, правильно ли поступила система, если, например, чтобы избежать столкновения с группой людей, она совершает маневр, в результате которого гибнет один человек? 

Часть исследователей предполагают, что в некоторых случаях ответственность могут нести разработчики системы. В частности, страховые компании будут внимательно следить за этой ситуацией, особенно в области использования беспилотных автомобилей.

Для них определение виновного является важным вопросом.

В связи с чем, вероятность возникновения судебных споров страховых компаний и разработчиков автономных систем весьма вероятна и пока в этом вопросе остается большое поле для дальнейшего нормотворчества.

Вопрос правового регулирования этой новой для нас отрасли не праздный. Илон Маск и другие ученые заявляют, что бесконтрольное развитие этих технологий представляют для человечества большую угрозу, чем атомное оружие, в связи с чем, они предлагают ввести жесткие нормативные рамки для автономных систем AI на уроне ООН. 

Вероятно, процесс в этом направлении начнется с малого, например, недавние рекомендации британского правительства о борьбе с потенциальными кибератаками на “умные” системы, интегрированные в автомобили или ожидаемый законопроект об автономных и электрических транспортных средствах, который будет представлен позднее в этом году, с целью создания новой структуры для страхования транспортных средств (Великобритания).

Или принятые в Германии  20 рекомендаций для автомобильной промышленности, которые следует учитывать при разработке любых автоматизированных систем управления, свод этических правил.

У некоторых исследователей, опасение вызывает тот факт, что политики недостаточно углубляются в этот вопрос и оставляют много легко используемых лазеек. Проблема заключается еще и в том, что регулирование должно касаться потенциальных угроз, а не уже существующих.

Совет

Некоторые аналитики, считают, что государственное регулирование данной сферы может стать барьером на пути развития научно-технического процесса. 

И, конечно, большое количество аналитиков, согласны с тем, что эти системы потенциально будут экономить тысячи или даже десятки тысяч жизней каждый год, когда они будут широко развернуты, с очень малой и приемлемой частотой ошибок. По их мнению возможные эксцессы с участием (по вине) автономных систем должны рассматриваться также, как рассматриваются побочные эффекты, вызываемые многими лекарствами. 

И все же, если машина совершит ошибку, как мы будем определять виновного? 

Многие исследователи, такие, как Алан Уинфилд, профессор Robot Ethics в Лаборатории робототехники Bristol, предлагают идею этического черного ящика.

Роботы и автономные системы, по его словам, должны быть оснащены эквивалентом регистратора данных полета, чтобы непрерывно регистрировать информацию с датчиков и соответствующие данные внутреннего состояния системы.

Идея заключается в том, что она может установить причину, а соответственно и определить виновную сторону в случае аварии, вызванной роботом или машиной с поддержкой AI, что также будет иметь значение для принятия мер в целях исключения подобных ошибок в будущем. 

У нас всегда должна иметься возможность определения того, почему AI принял то или иное решение, это принцип прозрачности, этический принцип, лежащий в основе разработки автономных систем.  

Некоторые юристы, работающие в сфере высоких технологий, считают, что рост технологий искусственного интеллекта действительно вносит большие изменения в нашу жизнедеятельность, но если дело доходит до AI и мошенничества, то такие риски должны быть оценены и сведены к минимуму самими компаниями точно так же, как и любая более привычная нам угроза.

Если мы говорим о будущих гипотетических ситуациях, когда технология станет достаточно умной для совершения мошенничества, эта возможность должна быть установлена и предотвращена.

Читайте также:  Uarm: настольный робот-манипулятор

Это означает принятие мер для того, чтобы не одна автономная система в будущем не имела возможности работать без предварительного тщательного изучения и проверки.

Таким образом, речь идет о превентивном регулировании и контроле, и если такого контроля не будет, потенциал для вредоносных действий всегда будет иметь место.

Обратите внимание

Другим серьезным вопросом в этой области является правовое регулирование военных автономных систем.

Такие системы уже давно используются вооруженными силами разных стран. Это крылатые ракеты, беспилотники, роботы-саперы и разведчики и др., но эти системы в наше время значительно улучшаются. Мощность этого оружия повышает вероятность новой гонки вооружений, и их автономность поднимает вопросы на уровень международного права, прав человека и гуманитарного права. 

Учитывая специфику военных АС,  заключающихся в преимущественном их применении при ведении войн между государствами, этот вопрос подлежит регулированию исключительно на международном уровне. Мировым сообществом должны быть разработаны и приняты руководящие нормы и принципы, регулирующие производство и границы использования военных автономных систем. 

Подробней, фото1, фото2, фото3, фото4

Источник: https://golos.io/ru–tekhnologii/%40konstantin/voprosy-pravovogo-regulirovaniya-v-sfere-avtonomnykh-sistem-i-iskusstvennogo-intellekta

Новый закон для роботов: процветание человека

Паллаб Гош, Научный обозреватель Би-би-си

Image caption Может ли робот нанести вред человеку?

Американский писатель-фантаст Айзек Азимов в свое время сформулировал три закона, определявшие взаимоотношения между людьми и роботами:

  • Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред;
  • Робот должен повиноваться всем приказам, которые дает человек, кроме случаев, когда эти приказы противоречат Первому закону;
  • Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам.

Как часто случается, на наших глазам фантастика стала реальностью. В докладе, опубликованном Королевским научным обществом и Британской академией, говорится, что нет никакой нужды в трех законах робототехники, которые можно заменить одним универсальным правилом: “Человек должен преуспевать”.

Как говорит профессор Оттолайн Лейзер, которая является сопредседателем группы научных советников Королевского общества, принцип процветания человечества должен быть положен в основу всего управления системами искусственного интеллекта, так как он объединяет в себе все три закона.

“Принцип процветания человека и сообществ должен стать первичным, и мы полагаем, что три закона Азимова могут быть в нем объединены”, – заявила она в разговоре с корреспондентом Би-би-си.

Image caption Айзек Азимов одним из первых задумался о законах для роботов

В докладе содержится призыв к созданию новой организации, которая должна позаботиться о том, чтобы умные машины служили обществу, а не контролировали его.

В нем говорится, что для регулирования разработки самообучающихся машин необходима система демократического надзора. Без подобной системы такие машины могут причинить человечеству страшный вред, говорится в докладе.

Image caption В фильме по книге Азимова “Стальные пещеры” роботы сопровождают человека повсюду

Речь пока не идет о том, что роботы смогут поработить людей. Но когда машины, способные к самообучению и принятию самостоятельных решений, станут повсеместно использоваться дома, в бизнесе и в сфере государственных услуг, возможность утраты контроля над ними выглядит пугающе.

Доклад призывает установить для роботов правила, по умолчанию ставящие интересы человека превыше интересов машины.

Создание такой системы правил не может опираться исключительно на технические стандарты. Умные машины должны будут руководствоваться этическими и демократическими ценностями, считает Энтони Уокер – заместитель главы лоббистской группы TechUK и один из авторов опубликованного доклада.

“Технологии способны дать нам массу преимуществ, но люди должны быть уверены, что эти системы хорошо продуманы, безопасны и управляемы”, – замечает он.

Век Азимова

В докладе предлагается совершенно новый подход к этой проблеме. Его авторы выдвигают идею создания некоего “наблюдательного совета” в составе экспертов и заинтересованных сторон, которые займутся созданием этической базы для технологических разработок в области искусственного интеллекта.

Вкалывают роботы

В основу принципа человеческого процветания, по мнению авторов доклада, должны быть положены следующие принципы:

  • Защита индивидуальных и коллективных прав и интересов;
  • Обеспечение прозрачности, отчетности и инклюзивности;
  • Поиск успешных примеров и обучение методом проб и ошибок;
  • Совершенствование существующих методов демократического управления.

Необходимость нового подхода к управлению умными машинами очевидна: век Азимова уже наступил.

Создание беспилотных автомобилей, например, ставит вопросы о том, каким образом выстраивать приоритеты в области безопасности. Что произойдет в ситуации, когда машине придется делать выбор между безопасностью пассажиров и безопасностью пешеходов?

Существует также проблема ответственности в случае подобного инцидента. На кого ляжет вина – на владельца машины или на саму машину?

Правообладатель иллюстрации Getty ImagesImage caption Беспилотные автомобили – дело недалекого будущего

Другой пример – появление систем искусственного интеллекта для персонализированного обучения. Такие машины способны самостоятельно определять сильные и слабые стороны обучаемого и изменять методы преподавания.

Важно

Можно ли поручить такие самообучающимся системам преподавать без надзора и четкого руководства? Ведь если мы беспокоимся о возможном влиянии учителя на ребенка, влияние обучающей машины на детское сознание заслуживает не меньшего внимания.

Все эти вопросы должны решать не только технические компании, которые занимаются разработкой подобных умных машин, – они адресованы всем нам.

Именно по этой причине авторы доклада считают, что подробности конструкции систем искусственного интеллекта не могут быть коммерческой тайной.

Они должны быть достоянием общественности, и если что-то пойдет не так такие системы должны легко перепрограммироваться.

Существующие законы направлены на защиту личных данных. Они ничего не говорят об информации, которую мы генерируем ежедневно на своих компьютерах и мобильных телефонах, с помощью которых можно легко отследить наши предпочтения практически в любой сфере.

Уже сейчас существуют системы, которые могут собирать эту информацию в открытом доступе и генерировать личный профиль человека, который можно использован в коммерческих целях – например, страховыми компаниями для определения стоимости страховки или работодателями, подбирающими кандидата на новую вакансию.

Такие системы могут быть весьма полезны, но недостаток контроля над ними может привести к тому, что наши судьбы будут определяться компьютерными алгоритмами.

Ключом к решению этой проблемы, по мнению профессора Лейзер, является создание индивидуализированных принципов управления.

“Алгоритм, который определяет, какие книги вам рекомендуют на сайте Amazon, очень сильно отличается от алгоритма, необходимого для определения диагноза заболевания, – говорит она. – Поэтому неразумно было бы регулировать алгоритмы в целом – без учета того, для чего они применяются”.

Совет

Правящая в Британии Консервативная партия в своей предвыборной программе обещала принять закон о защите цифровых данных и создать комиссию по этике их использования.

Хотя чаще всего министры упоминают этот вопрос в контексте борьбы с терроризмом и насилием в интернете, некоторые считают, что идеи, высказанные в докладе Королевского общества, могут быть использованы такой комиссией в своей работе.

Уже сейчас можно утверждать, что системы искусственного интеллекта войдут в повседневную жизнь не раньше, чем люди научатся им доверять.

Без этого в полной мере реализовать тот огромный потенциал, которым обладает искусственный интеллект, просто не удастся.

Источник: https://www.bbc.com/russian/features-40441035

Беспилотные автомобили: Кто решает, кому жить, а кому умирать?

2025 год. Женщина доедает свой тост, выпивает последний глоток кофе и выходит на улицу. Она садится в свой беспилотный автомобиль и говорит ему ехать в офис. В пути она просматривает утренние новости на планшете, а машина плавно двигается по улице. Зелёный свет — автомобиль выезжает на перекрёсток.

В этот момент на дорогу выскакивает мяч, а за ним ребёнок, который пытается его поймать. Слишком поздно: бортовой компьютер быстро вычисляет, что столкновение неизбежно. В данной ситуации есть два выхода. Машина может снизить скорость, но это не спасёт ребёнка. Или он может попытаться увернуться, выехать на встречную полосу, и тогда погибнет его пассажир.

Что должна сделать машина? Спасти женщину, которая её купила, или невинного ребёнка? 

А что бы сделали вы?

Добро пожаловать в этику беспилотных автомобилей.

Однако на самом деле машина не будет делать выбор, она поступит так, как диктуют ей алгоритмы. Реальный выбор был сделан несколькими годами ранее, когда этот алгоритм был спроектирован. И тот настоящий выбор работает сейчас. Мы сами решаем, кто сможет решать, кому жить, а кому умирать.

Если вам нужны доказательства того, что выбор происходит сейчас, то компания Ford объявила, что её автомобили смогут работать полностью автономно к 2021 году. А Tesla с прошлого года продаёт машины, которые оснащены всем оборудованием, необходимым для автономной работы.

Тем не менее, для большинства потребителей полностью автономные автомобили относятся к далёкому будущему. В настоящее время все новости сосредоточены на плюсах беспилотных транспортных средств: снижение количества аварий, перестройка наших городов, а также уменьшение расходов на страхование.

Это лишь несколько примеров влияния новой технологии на нашу жизнь. Однако СМИ, как правило, не упоминают о возможных негативных последствиях.

Обратите внимание

В этом следует виним потребителей, прессу и компании: просто изображение прекрасного будущего продаётся лучше, чем объяснение некоторых рутинных моментов. Такова жизнь.

И одна из проблем, входящих в число этих рутинных моментов (а именно этический алгоритм), будет решать, кому умереть.

Компании, занимающиеся разработкой беспилотных авто, придерживаются мнения, что «практичности» не требуется водитель. Особо подчеркнём следующее:

На самом деле это происходит почти со всем искусственным интеллектом в мире. Более 2000 выдающихся учёных и бизнес-лидеров подписали документ Asilomar AI Principles, в котором изложены принципы, которыми необходимо руководствоваться при создании искусственного интеллекта.

Там даже есть раздел «Этика и Ценности». Но кто решает, какой системы этических норм стоит придерживаться? А ведь это, в буквальном смысле, влияет на нашу способность жить. По подсчётам компании Ford, у нас осталось менее пяти лет.

Сейчас самое время решить, кто будет создавать правила этики для беспилотных автомобилей.

Будут ли это компании, которые нацелены на получение прибыли, правительство с его политической подоплёкой или более широкое общество, жизнь которого поставлена на карту? В конечном счёте, компании и правительство будут преобладать, но мы можем заставить их вести с нами диалог и прислушиваться к нашему мнению.

Это переломный момент в общественной морали.

Для нас это шанс создать моральный кодекс, который бы мы хотели для нашего общества и который будет доступен для всеобщего обозрения. Нет сомнений, что до этого люди, компании и правительства тоже руководствовались определёнными моральными принципами, но они не были достаточно прозрачными.

Важно

Но если я пролезу перед вами без очереди, вы не будете знать, каким моральным кодексом я воспользовался, чтобы оправдать это. Но когда автомобиль решит убить своего пассажира, мы все будем знать, чем он руководствовался. Однажды созданное программное обеспечение будет определять поведение машины в ситуациях, когда аварии с летальным исходом не избежать.

Эти строки кода будут следовать определённому этическому принципу, который мы согласуем путём диалога или молчания.

Сейчас уникальное время, потому что современное поколение людей может участвовать во всеобщем диалоге, касающемся этических принципов, по которым мы хотим жить. Впервые они будут вписаны в наши продукты и сервисы.

Они будут определять, чью жизнь автомобиль сохранит, а чью — нет. Но важнее всего то, что они будут направлять развитие общества и других его технологий.

Этические дебаты должны выйти за пределы научных кругов и захватить всё человечество.

Сейчас мы можем либо сами принять участие в такой переломный момент, либо позволить другим (компаниям, правительству) сделать это за нас. А что выберете вы?

Источник: https://thatsmart.ru/2017/06/who-will-die/

Ссылка на основную публикацию
Adblock
detector