Тестирование искусственного интеллекта microsoft тау с треском провалилось

Разработанный Microsoft искусственный интеллект научился расизму за сутки — Офтоп на TJ

23 марта компания Microsoft представила искусственный интеллект по имени Tay, который начал общаться с пользователями сети через Твиттер. Спустя считанные часы компании пришлось подвергнуть своё детище цензуре и на время остановить работу проекта. Об этом сообщает The Next Web.

Обновление на 26 марта: добавлено извинение вице-президента Microsoft Research.

Первоначально целью Microsoft было создать чат-бота, который общается на языке молодых людей от 18 до 24 лет.

Tay использовала словосочетания вроде «zero chill» (обозначает полное безразличие), а также различные сокращения вроде «c u soon» вместо «see you soon» («скоро увидимся»).

hellooooooo w

Источник: https://tjournal.ru/flood/25311-razrabotannyy-microsoft-iskusstvennyy-intellekt-nauchilsya-rasizmu-za-sutki

Применение искусственного интеллекта в тестировании ПО

Оригинальная публикация

Автор: Артур Пачин

Да, у нас есть опыт применения ИИ

Инженеры Перфоманс Лаб постоянно исследуют возможности применения наиболее эффективных передовых технологий, позволяющих получать более качественные результаты в работе, в том числе искусственный интеллект. У нас имеется опыт использования технологий машинного обучения для системы HelpDesk.

Технология применяется для автоматического заполнения различных полей входящих инцидентов. Для успешного предсказания значений в данных полях, искусственный интеллект предварительно обучался на заданной выборке заполненных инцидентов и с помощью алгоритмов машинного обучения строил модель.

На основе построенной модели в дальнейшем делались предсказания значений полей.

Что грядет

Технологии постепенно поглощают всё больше сфер деятельности, на очереди тестирование программного обеспечения. Мы все настолько избалованы повсеместной автоматизацией, что при появлении подходящих инструментов с радостью бы передали большую часть тест-дизайна и валидации тестов на откуп искусственного интеллекта (ИИ).

Обратите внимание

Вместо того чтобы вручную настраивать автоматизированное тестирование, машины будут сами разрабатывать и выполнять тесты, постоянно совершенствуясь во время взаимодействия с людьми.

Эта механизация тестового покрытия означает, что каждая команда разработки скоро будет иметь доступ к виртуальной команде тестировщиков с более развитым интеллектом, скоростью работы и уровнем охвата, чем даже самые высокооплачиваемые команды разработки могут получить сегодня.

Ручное тестирование

Ручное функциональное тестирование является дорогим, как по времени, так и по деньгам. Самые продвинутые команды разработки приложений и вендоры кодят тысячи строк тестов для своих приложений: строка за строкой набирая одно и тоже «нажмите сюда» и «проверьте то».

Такой подход имеет много недостатков, в том числе в плане финансирования команды тестирования. Создание таких тестов отвлекает внимание разработчиков от основной цели, которую они создают – самого продукта.

Кроме того, для запуска эти скрипты либо требуют управления многими машинами или же привлечения серьезных человеческих ресурсов для выполнения вручную. Все это съедает драгоценное время. Полное прохождение тестов может занимать несколько дней, а порой и несколько недель.

Это не вяжется с политикой сегодняшних команд разработки, которые стремятся создавать и развертывать свои приложения ежедневно или даже непрерывно. Ручное тестирование не может поддерживать такой темп, как бы не старалось.

На что тратятся силы в автоматизации

Если рассматривать классический подход к автоматизации тестирования, то поддержка тестов является фактором, дополнительно повышающим её стоимость: чем больше тестов – тем трудозатратнее и дороже становится их поддержка. Далее, когда меняется приложение, тестовый код чаще всего также кто-то должен обновить.

И зачастую выходит так, что большинство усилий автоматизации быстро превращается в чистое техническое обслуживание, с небольшим количеством изменений по дополнительному покрытию. Боты ИИ развиваются и после изменений в коде.

Важно

Поскольку боты не жестко закодированы, они адаптируются и сами учатся находить новые функции приложения. Когда ИИ находит изменения, он автоматически оценивает их, чтобы определить, что это: новый функционал или дефекты нового релиза.

Таким образом, жестко-закодированные тестовые скрипты являются хрупкими и требуют ручной доработки после каждого изменения в коде приложения, а ИИ ботов самостоятельно развивается после изменения кода.

Что происходит при усложнении приложения

Ручное тестирование не масштабируется, потому что тесты создаются по одному за раз. Добавление тестов является линейной активностью. Добавление функций продукта может увеличить сложность в геометрической прогрессии, так как новые функции и состояния взаимодействуют с более старыми функциями.

В начале проекта обычно тестирование может идти параллельно наращиванию функциональности, но чем сложнее становится приложение, тем сложнее становится обеспечить полное его покрытие тестами. Что наиболее расстраивает в текущем состоянии ручного тестирования – это то, что оно проверяет только конкретные кейсы, которые вы выбрали — и ничего больше.

Если добавляется новая функция, то ранее созданный вручную авто-тест все равно завершится успешно, даже если новая функция не работает.

Только исследовательское тестирование (человеком) сможет обнаружить эти изменения, но этого чаще всего не происходит, так как данное время расходуется на повторное выполнение основных тестов, поэтому нередко возникают ситуации, когда ручное тестирование проверяет работоспособность приложения в целом, упуская детали.

Чем ИИ лучше

Подход ИИ для проверки качества выигрывает в тех случаях, которые вызывают так много проблем при ручном тестировании.

Если бы мы имели простой ИИ, который бы знал, как обойти функционал приложения подобно конечному пользователю или тестировщику, записывал бы метрики производительности и отслеживал, где находится каждая кнопка или текстовое поле, то он мог бы генерировать и выполнять десятки тысяч тест-кейсов в течение нескольких минут. А что, если дать машине тысячи примеров ошибок, а также примеры правильного функционирования. Боты могли бы предложить, где команда должна сосредоточить свои усилия. И если эти боты протестируют тысячи других приложений, параллельно обучаясь, они получат огромный опыт, который может помочь команде тестирования для принятия решений по развертыванию. Таким образом, понятие Боты в контексте тестирования начинает звучать вполне правдоподобно и разумно.

Читайте также:  Подводные роботы помогают исследовать океан

ИИ заметит каждую мелочь, которая добавляется или удаляется из приложения.

Там, где ручная автоматизация пропускает изменения в последнем билде, боты ИИ автоматически нажмут каждую новую кнопку, добавленную в приложение, и обратят внимание на каждую картинку, пропавшую из приложения.

Боты будут оценивать все изменения и ранжировать их в зависимости от того, насколько они важны на основании коллективного разума текущей команды тестирования, а также и всех других команд, которые пометили аналогичные изменения как «фичу» или «баг».

А теперь пришло время рассмотреть возражения от скептиков:

Возражение 1: «Мое приложение является особенным, ИИ тут не поможет»

В действительности, ваше приложение выглядит так же, как и многие другие. Если разделить его на части, подобно тому, как шеф-повар разделывает рыбу, вы заметите, что приложение имеет кнопки, текстовые поля, изображения и т.д., то есть те же ингредиенты, как и любое другое. Если ИИ может анализировать какое-то другое приложение, то весьма вероятно, он достаточно хорошо сработает и на вашем.

Возражение 2: «Эй, я всегда буду умнее бота!»

Совет

Врачи, кредитные и финансовые консультанты однажды тоже думали, что не могут быть заменены ИИ и автоматизированы. А правда в том, что вы знаете только то, что вы знаете – ваше приложение и тест-кейсы, книгу или две, и может быть то, что вы выучили в ходе беседы на конференции о тестировании.

ИИ как Терминатор: не знает усталости, ничего не забывает, без страха и боли неумолимо идёт к своей цели.

Вы действительно умнее и в состоянии сделать больше, чем 100, 1000 или 10000 ботов, анализирующих ваше приложение? Даже если вы умнее –не предпочли бы вы иметь ботов, делающих всю скучную работу за вас, чтобы вы вместо этого смогли сосредоточиться на творческих или более сложных вопросах?

Возражение 3: «Конечно, но как ИИ знает, какие тестовые данные подойдут для приложения?»

Если хорошенько подумать: большинство приложений принимают одни и те же данные. Имена, адреса электронной почты, телефоны, поисковые запросы товаров, фотографии профиля из камеры и т.д.

Практически весь поток входных данных в ваше приложение составляют типичные данные, которые можно классифицировать и структурировать. Небольшого набора данных будет достаточно для построения впечатляющего ИИ тестирования.

По крайней мере, этого будет достаточно, чтобы стать вашим помощником.

Возражение 4: «Хорошо, но как эти боты узнают, правильно ли приложение работает?»

Хороший вопрос. Действительно, как вы узнаете, что приложение функционирует нормально? Вы никогда этого не делаете. У вас есть какие-то тесты, может быть, 100 ручных или автоматизированных тестовых скриптов, и они проходят успешно, но они тестируют только небольшой кусочек возможного пространства состояний вашего приложения.

Вы также знаете, что самую большую ценность имеет информация в виде обратной связи, ошибок от реальных пользователей и их планомерное исправление. То, что вы действительно хотите знать в тестировании так это: «Работает ли оно так же, как вчера?».

Обратите внимание

Если нет, то в чем различия – это хорошо или плохо? Это действительно то, что является результатом большинства испытаний. ИИ боты отлично подходят для поиска по тысячам точек в вашем приложении, проверяя множество вещей, чтобы убедиться, что все работает так, как это было вчера.

С помощью быстрого сканирования, бот может сказать вам, что 99% вашего приложения работает так же, как это было на последнем релизе, а вы можете сосредоточиться на 1% того, что изменилось.

Появятся ли ИИ боты в ближайшее время? Сейчас боты ИИ тестирования уже начали свое обучение, тестируя сотни самых больших приложений на рынке.

Данный текст является адаптированным переводом статьи: https://www.linkedin.com/pulse/ai-software-testing-jason-arbon

Автор оригинала Джейсон Арбон, генеральный директор Appdiff

Обсудить в форуме.

Источник: http://www.software-testing.ru/library/around-testing/processes/2563-ai-software-testing

Искусственный интеллект в тестировании ПО: идут AI боты! | Блог Bytex

Термин «AI» использовался в видеоиграх с момента их создания, но под ним не подразумевался настоящий искусственный интеллект. Это общий термин для описания заранее запрограммированного противника или персонажа, который просто следует узкому набору инструкций.

Но все меняется, и ранее мы уже писали о том, что Electronic Arts начала тестировать самообучающихся ботов в Battlefield 1, делая уверенный шаг вперед в игровом искусстве. Разработчики заявили, что, используя технологии самообучения при тестировании игр, можно обойтись без участия живых людей. Но так ли это на самом деле? Давайте порассуждаем!

Тестирование и AI

Компьютеры действительно хорошо играют и даже разрабатывают видеоигры, от простых платформеров до более сложных, таких как Mortal Combat.  А сейчас весь мир следит за тем, как машины могут позаботиться об одной из самых мучительных проблем в современной разработке игр — тестировании.

Тестирование видеоигры немного отличается от обычного тестирования программного обеспечения, так как многие из стандартных методов в данном случае неприменимы. Кроме того, этот процесс автоматизировать достаточно сложно.

Модульное тестирование существенно помогает улучшить качество программного обеспечения. Но подобные подходы, применяемые на практике тестировщиками, встречаются редко. Причина состоит в самом функционале игры, которая зависит от процесса рендеринга в игровой механике.

Что грядет?

Ключом к успешному тестированию видеоигр является игра в качестве реального пользователя. Этого можно добиться, подражая реальным пользователям, а именно — создав самообучающегося бота AI.

 Компания Electronic Arts продемонстрировала самообучающийся искусственный интеллект в экшене Battlefield 1, намекая на то, что рано или поздно индустрия придет к тому, что ИИ позволит модифицировать процесс разработки игр, упразднив многие ее этапы.

Читайте также:  Инновационный центр "сколково" представил роботов, которые будут помогать инвалидам

С помощью ботов разработчики смогут, без привлечения сторонних компаний, проектировать и тестировать свои продукты, создавать массовость на серверах и симулировать нагрузки на них, искать геймплейные ошибки, недочеты, механические проблемы с отсутствием объектов или присутствием их не там, где надо. Это можно будет сделать просто снимая информацию с  ботов, которые день и ночь будут трудиться на благо геймеров.

Вскоре исчезнут проблемы с недостатком онлайна на серверах! Игроки больше не будут стоять в долгих очередях в лобби и ждать недостающих игроков. Спустя еще какое-то время ботов научат определять cкилл игрока на сервере и подстраиваться под него…

Определенно, нас ждет интересное будущее в развитии игровой индустрии!

Заберут ли AI-боты всю работу по тестированию QA?

Реальная ценность в тестировании — это креатив, необходимый для выявления ошибок, которые люди (программисты) не думали или не могли предсказать на момент разработки продукта. И одна из самых больших проблем для разработчиков AI сегодня — наделить машины здравым смыслом.

Источник: https://bytextest.ru/2018/04/26/iskusstvennyj-intellekt-v-testirovanii-po/

8 неочевидных способов определить искусственный интеллект

Этот тест назван в честь Ады Лавлейс, математика из XIX века, которую считают первым в истории программистом. Он призван определить наличие интеллекта у машины через способность её к творчеству.

Первоначально тест предложили в 2001 году: тогда машина должна была создать произведение искусства, которое разработчик машины принял бы за созданное человеком.

Так как чётких критериев успеха нет, тест получается слишком неточным.

В прошлом году профессор Марк Рейдел из Технологического института Джорджии обновил тест, чтобы сделать его менее субъективным. Теперь машина должна создать произведение в определённом жанре и в определённых творческих рамках, заданных человеком-судьёй.

Важно

Проще говоря, это должно быть произведение искусства в конкретном стиле. Скажем, судья может попросить машину нарисовать маньеристскую картину в духе Пармиджанино или написать джазовое произведение в духе Майлза Дэвиса.

В отличие от оригинального теста, машины работают в заданных рамках, и поэтому судьи могут оценивать результат более объективно.

Этот тест придумал Чарли Ортиц, менеджер по искусственному интеллекту в компании Nuance Communications. По словам Ортица, недостаток теста Тьюринга в том, что он проверяет в первую очередь языковые способности, опуская другие важные составляющие разума — восприятие и физические действия. Проще говоря, у компьютеров, проходящих тест Тьюринга, нет глаз или рук.

Испытание IKEA (также известное как строительное испытание), придуманное Ортицом, призвано обойти эти ограничения.

Его могут пройти только роботы, способные построить физические структуры из, например, деталей мебели IKEA или даже кубиков LEGO.

Робот, проходящий испытание IKEA, должен давать вербальные инструкции и описания структур, самостоятельно манипулировать деталями и физическими компонентами, следить за постройкой, отвечать на вопросы и описывать ход работы.

Как и Ортиц, создатели визуального теста Тьюринга пытаются уменьшить роль языка в первоначальном тесте. Сотрудники Эксетерского университета в Англии Майкл Барклай и Энтони Галтон придумали тест, который проверяет визуальные способности машины, то есть может ли она «видеть», как человек. Тест можно посмотреть здесь.

Машине показывают картинку и спрашивают, например, где на ней находится чашка, — и дают несколько вариантов ответа. Все варианты ответов правильные (на столе, на подстилке, перед стулом, слева от лампы), но некоторые из них могут быть более человеческими, чем другие (скажем, из всего перечисленного человек скорее ответит «на столе»).

Совет

Кажется, что это простое задание, но на самом деле способность описать, где находится объект по отношению к другим объектам — важнейший элемент человеческого разума. Здесь играют роль множество нюансов и субъективных суждений, от размера объектов до их роли в конкретной ситуации — в общем, контекст.

Люди проделывают это интуитивно, а машины сталкиваются с проблемами.

Чат-боты, проходящие тест Тьюринга, умело обманывают судей и заставляют поверить, что они — люди. По словам Гектора Левеска, профессора информатики в Университете Торонто, такой тест лишь показывает, как легко обмануть человека, особенно в короткой текстовой переписке. Но из теста Тьюринга невозможно понять, есть ли у машины интеллект или хотя бы понимание языка.

В 2011 году Левеск опубликовал статью, в которой предложил новый тест, так называемую «схему Винограда», названную в честь учёного Терри Винограда. Проходя этот тест, машина отвечает на вопросы с двумя вариантами ответа.

Звучит просто — и для людей эти вопросы действительно простые, — но они сформулированы так, что без естественного понимания языка машина испытывает трудности. Вот один из вопросов: «Трофей не влезал в коричневый чемодан, потому что он был слишком маленьким (большим). Что было слишком маленьким (большим)?».

Если в вопросе используется слово «маленьким», то ответ — трофей, если «большим» — то чемодан. Эрнест Дэвис, коллега Левеска, работавший с ним над исследованием, опубликовал целую библиотеку вопросов, которые могут быть использованы в таком тесте.

Чтобы ответить правильно, нужно обладать навыками, которые до сих пор недоступны компьютерам: например, уметь представлять пространство, отношения между людьми, размер объектов, даже нюансы политики — всё зависит от конкретных вопросов.

Некоторые исследователи предлагают перевернуть тест Тьюринга с ног на голову — и сделать так, чтобы не человек проверял машину, а чтобы машина могла определить человека.

Самая популярная форма такого теста — это CAPTCHA, запутанные надписи, которые вы видите на многих сайтах и которые нужно вбивать на клавиатуре так, как показано на экране.

CAPTCHA мало кто воспринимает всерьёз, но в то же время между создателями CAPTCHA и роботами, способными их обойти, идёт что-то вроде гонки вооружений. Если будут побеждать первые, мы сможем прийти к более сложным системам, которые научатся превосходно отличать человека от машины.

Обратите внимание

Уже сейчас предлагают более сложные альтернативы: скажем, соединение CAPTCHA с тачскринами. Практического смысла для определения ИИ в обратном тесте Тьюринга мало, но он может размыть наши представления о человечности, интеллекте и заставить нас посмотреть на это по-новому.

Читайте также:  Business wisdom summit 2016 готов к очередной встрече профессионалов

Учёный-когнитивист Гэри Маркус — активный критик теста Тьюринга в его нынешнем виде. В этом году, например, он организовал конференцию, посвящённую вопросам искусственного интеллекта, где призывал оставить тест Тьюринга и придумать что-нибудь новое.

Маркус предложил свою альтернативу, которую, например, описал в статье для журнала The New Yorker.

Он предлагает построить компьютерную программу, которая смогла бы смотреть телевизионные шоу и видео на YouTube и отвечать на вопросы по их содержанию — ну, скажем, почему Джоффри Баратеон приказал казнить Эддарда Старка. Но это не так трудно.

Тест Маркуса заключается в другом: включите такой программе эпизод «Симпсонов» и пусть она объяснит, в каких местах следует смеяться. Если компьютер может определить и понять юмор, сарказм и иронию — и даже объяснить их — значит, он максимально приблизился к интеллекту, а может и обладает им.

Для того чтобы доказать, что машина обладает разумом, нужно больше, чем поведенческие и языковые тесты. Нужно доказать, что у неё есть необходимые инструменты для интеллекта, что у машины есть какой-то эквивалент сложного и динамического человеческого мозга, даже если этот мозг — просто код.

В нейробиологии есть термин нейронный коррелят сознания — это сложный набор механизмов и событий в мозге, необходимых для сознания. Если мы обнаружим коррелят в машине, мы убедимся, что перед нами не просто симуляция сознания, а настоящее сознание. Но это очень трудно: о человеческом мозге мы понимаем очень мало.

Так что цифровое вскрытие машины скорее работает не как тест, а как шаг к созданию искусственного мозга — всё-таки, чтобы вскрыть и увидеть такой мозг, нужно его сначала создать.

На упомянутой выше конференции, организованной Гэри Маркусом, предложили ещё одно неожиданное решение проблемы теста Тьюринга — так называемая олимпиада Тьюринга. Любое единичное испытание проверяет наличие интеллекта не полностью, потому что в человеческом интеллекте есть много разных элементов.

Поэтому учёные предлагают организовать целую серию испытаний для машины, каждое из которых будет проверять разные аспекты интеллекта. В конце концов, по отдельности машины становятся всё лучше в разных сферах: от зрения и визуального распознавания до распознавания речи и понимания языка.

Организаторы конференции планируют провести первую такую олимпиаду уже в начале следующего года.

Изображения via Duck, Shutterstock

Источник: http://www.lookatme.ru/mag/live/inspiration-lists/214377-turing-test-alternatives

Искусственный интеллект Microsoft превзошел человека в видеоигре

Видеоигры за последние десятилетия стали одним из любимейших способов проводить свободное время.

Может ли искусственный интеллект играть лучше человека? Может, даже в четыре раза лучше, как показывают результаты тестирования компанией Microsoft искусственного интеллекта.

Но, разумеется, в качестве примера была взята одна определенная игра, сохраняющая немалую популярность даже спустя более трех десятилетий после своего дебюта.

Важно

Исследователи Microsoft тестируют искусственный интеллект и машинное обучение системы искусственного интеллекта. В ходе тестирования искусственный интеллект показал свою способность достигнуть теоретического максимума очков в игре Ms.

Pac-Man, адаптированной для исторической игровой приставки Atari 2600. Ни одному человеку подобного результата достигнуть не удалось.

Рекорд был поставлен искусственным интеллектом спустя более чем 34 года после выхода игры, которая увидела свет в 1982 году.

Рассматриваемый искусственный интеллект был создан стартапом Maluuba, приобретенным софтверным гигантом Microsoft ранее в 2017 году. На нем тестируется тип машинного обучения, называемого «обучением с подкреплением».

Если попробовать наиболее просто описать суть метода, то речь идет о том, что создано примерно 150 искусственных интеллектов, которые входят в игру, сосредоточившись на индивидуальной цели, например, нахождении ближайшего необходимого игрового предмета или избегании привидений. Найденные ими решения объединяются и затем управляются искусственным интеллектом более высокого уровня, который воспринимает эти решения в качестве подсказок и делает из них наилучший выбор, возможный в конкретной ситуации.

Искусственному интеллекту предстоит взвешенно походить к принятию решений, оценивая их эффективность.

Например, если в данном случае касание привидения ведет к провалу, даже если 100 искусственных интеллектов говорят о том, что необходимо двигаться вправо и «проглотить» следующий бонус, несмотря на приближающееся привидение, а всего три советуют этого не делать, то их совет все равно приоритетен.

В результате такой искусственный интеллект оказался способным набрать максимально 999 990 очков. Исследователи говорят, что это максимум, который вообще когда-либо достигался в версии игры Ms. Pac-Man для Atari 2600. Более того, он в четыре раза превосходит рекорд, поставленный человеком, который составлял 211 480 очков.

Совет

Игра Ms. Pac-Man могла быть выбрана по той причине, что поведение привидения в ней отличается большей сложностью и меньшей предсказуемостью, чем в обычной Pac-Man. Впрочем, причина, по которой предпочтение было отдано именно этой консольной версии, не уточняется.

К каким практическим результатам может вести данное исследование? Исследователи полагают, что разработанная ими методология сможет помочь специалистам по продажам. Она также может найти себе применение в обработке естественного языка.

Удивляет ли вас способность искусственного интеллекта превосходить человека в видеоиграх?

По материалам polygon.com

Источник: https://Hi-News.ru/games/iskusstvennyj-intellekt-microsoft-prevzoshel-cheloveka-v-videoigre.html

Ссылка на основную публикацию
Adblock
detector