Искусственный интеллект обыграл человека в покер

Взять и победить: ИИ выиграл покерный турнир у четырех профи

Искусственный интеллект (слабая его форма), разработанная представителями Школы информатики университета Карнеги-Меллон, обыграл четырех профессиональных игроков в покер.

Речь идет о турнире в Техасский холдем, который проходил в питтсбургском казино Rivers. Это одна из наиболее популярных разновидностей покера. В ходе турнира было сыграно около 120 тысяч раздач.

ИИ взял банк в $1,7 миллиона.

Авторы программы — Томас Сэндхолм и Ноам Браун. По словам разработчиков, покер — игра, участники которой не знают, какие карты у всех остальных. По этой причине просчитать что-то крайне сложно. Джимми Чу, один из участников турнира, пожаловался на то, что он с коллегами недооценил возможности Libratus: «Бот каждый день играл все лучше. Он как будто более умелая наша версия».

Турнир, о котором идет речь, получил название “Brains vs. Artificial Intelligence: Upping the Ante”. Он начался 11 января. Участников было пять. Один из них — бот Libratus. Четыре других — Джимми Чу (Jimmy Choo), Донг Ким (Dong Kim), Джейсон Лес (Jason Les) и Дэниел Мак Аулай (Daniel McAulay). Общая продолжительность турнира составила 20 дней.

Обратите внимание

Все четверо участников людей считаются лучшими игроками в эту разновидность покера в мире. По мнению разработчиков, выигрыш их программы в покер — одно из крупнейших достижений в сфере искусственного интеллекта. К сожалению, авторы системы Libratus не раскрывают особенности ее работы. Принцип функционирования алгоритма известен лишь в общих чертах.

Тем не менее, в ближайшее время технические подробности будут раскрыты в публикации в рецензируемом научном журнале. Разработчики утверждают, что Libratus состоит из трех частей. Это основное ядро, система, которая отслеживает ошибки, допущенные соперниками и часть, отслеживающая слабые стороны самой себя.

В ходе игры третья часть помогла усовершенствовать способности программы, а также улучшить работу первых двух частей. Libratus научился блефовать и распознавать блеф со стороны соперников. Общее время вычислений составило примерно 15 миллионов ядро-часов. Интереснее всего то, что алгоритмы Libratus не «заточены» специально для покера или любых других игр.

Программа должна была, используя внутренние ресурсы, разработать свой стиль игры. И эта работа основывалась на предоставленной разработчиками изначально информации — правилах покера.

Что касается призовых, то участникам турнира достанется $200 000 — эта сумма будет поделена между всеми игроками-людьми в соответствии с полученными ими результатами. Разработчики же денег домой не привезут.

Все это оговаривалось заранее, и главное для ученых, создавших систему — доказательство ее эффективности. По мнению сотрудников Карнеги-Меллон, возможности Libratus можно использовать в кибербезопасности, при переговорах, в военных целях.

В целом, искусственный интеллект с каждым годом обыгрывает человека все в новые игры, которые ранее считались недоступными для компьютера. Изначально это были шашки, потом — шахматы, видеоигры, го и теперь — покер.

Причем интересно то, что во всех предыдущих случаях у всех участников есть полная информация о ходе игры — видно игровое поле и все фишки/фигурки. В последнем случае информация не полная, покер в этом плане стоит особняком.

ИИ ранее уже играл в покер, но побеждать удавалось только в наиболее простой вариант игры — в лимитный холдем с ограниченным шагом повышения ставок. А вот в безлимитном покере все гораздо сложнее. Здесь нужно действовать как опираясь на информацию о собственных картах, так и на данные о действиях оппонента.

Причем оппоненты могут блефовать, что еще более усложняет задачу.

В безлимитном холдеме отличные результаты показывает и другая программная платформа — DeepStack.

Важно

Она была разработана в Университете Альберты, причем сотрудники университета, специальной научно-исследовательской группы, создают покер-ботов, начиная с 90-х годов прошлого века. Первым созданным здесь ботом был Loki в 1997 году. Потом были Poki (1999), PsOpti/Sparbot (2002), Vexbot (2003), Hyperborean (2006), Polaris (2007), Hyperborean No-Limit (2007), Hyperborean Ring (2009), Cepheus (2015) и, наконец, венец творения — DeepStack.

О технических возможностях этой программы известно довольно много, поскольку разработчики опубликовали информацию о ней в начале января этого года. DeepStack использует равновесие Нэша.

Так называют набор различных стратегий, при котором ни один игрок не может увеличить выигрыш в случае изменения стратегии, если другие участники игры стратегий не меняют.

Плюс ко всему, DeepStack противодействует попыткам использовать собственную стратегию другими игроками.

Источник: https://habr.com/post/401137/

Искусственный интеллект научился обыгрывать людей в покер. Вчистую

Завершился матч-реванш между программой-игроком Libratus и четвёркой лучших игроков в покер на данный момент, продолжавшийся 20 дней. Компьютер выиграл у людей больше 1,7 миллиона долларов. Соперники были раздавлены, один из участников пожаловался: у него было ощущение, будто компьютер читает его мысли.

За поединком между игровой программой Libratus, которая специализируется на разновидности покера «техасский холдэм», следили в Twitch тысячи зрителей из десятков стран.

На кону было нечто гораздо большее, чем 200 тысяч долларов призовых. Предшественник Libratus, программа Claudico два года назад с треском проиграла в точно таком же турнире.

Суммарный проигрыш фишками составил тогда 750 тысяч долларов.

Читайте на Medialeaks: Победительница лотереи пришла забирать приз, а её саму забрали копы. Она купила удачный билет не тем способом

В этот раз с самого начала у людей  не задалось. С первого и до последнего, двадцатого, дня турнира баланс всё время был в пользу компьютера. Люди выглядели откровенно слабо: компьютер не только идеально считал вероятности, чем сейчас никого не удивишь, но и предугадывал тактические уловки соперников-людей. При этом его собственные алгоритмы так и остались загадкой.

Один из участников турнира, известный профессиональный игрок Дон Ким, в комментарии для Wired на 16-й день соревнований описал это так:

По словам Кима, иногда ему казалось, что Libratus читает его мысли. По итогам дня выигрыш компьютера перевалил за 1 миллион долларов.

С одной стороны был код и сеть из более чем 600 узлов, составляющая суперкомпьютерную систему Университета Карнеги-Меллон в Питтсбурге. С другой — четыре лучших игрока в покер 2016 года: Дон Ким, Джимми Чу, Дэниел Маколей и Джейсон Лес. Играли около 200 часов. В итоге программа победила, выиграв фишками 1,7 миллиона долларов.

Совет

Профессор Томас Сэндхолм из Университета Карнеги-Меллон считает главным достигнутым результатом то, что теперь доказано: компьютер может превосходить человека и в игре, где требуется строить стратегию и взвешивать решения в ситуации неопределённости, пишет Mashable. Покер в этом смысле игра, не похожая на шахматы и даже на го.

Программа, которая впервые смогла обыграть профессионального игрока в го, AlphaGo, была представлена в январе 2016 года. Она использовала «сети значений» для оценки положения фигур на доске и «сети правил» для выбора ходов. Нейронная сеть, которую представляла собой система, обучалась в процессе игры с людьми методом проб и ошибок, пока не достигла высокого уровня мастерства.

В ноябре 2016 года СМИ сообщили о том, что китайские инженеры разработали программу, которая может определить преступника по лицу. Искусственный интеллект с вероятностью 90 % определяет, кто на фотографии: законопослушный гражданин или человек с криминальным прошлым. Программа подверглась профессиональной критике со стороны прикладных математиков и антропологов.

Источник: https://medialeaks.ru/3101dalex-iskusstvennyiy-intellekt-nauchilsya-obyigryivat-lyudey-v-poker-vchistuyu/

Ученые раскрыли принципы работы искусственного интеллекта, обыгравшего людей в покер

Исследователи из Университета Карнеги-Меллона опубликовали принципы работы искусственного интеллекта Libratus, который в начале года смог обыграть ведущих игроков в покер почти на 2 миллиона долларов.

За последние несколько лет компьютерные программы победили людей в шашки и шашки. Недавно перед искусственным интеллектом «пал» го. Разработанная в Google программа Alpha Go в 2016 году победила Ли Седоля — одного из сильнейших в мире игроков го.

Шашки, шахматы и го — сложные игры, но оба игрока видят, что происходит на доске, и могут рассчитать свои действия в зависимости от предполагаемых ходов противника. В покере соперники не знают карт друг друга, единственная доступная информация — свои карты и мимика, жесты соперника.

Сотрудники Университета Карнеги-Меллона (Питтсбург, США) Ной Браун и Туомас Сандхольм несколько лет назад создали программу Claudico, которая проиграла профессиональным игрокам в покер. Ученые усовершенствовали алгоритм ИИ, который назвали Libratus (от лат. «баланс»).

Программу ознакомили только с правилами покера: какие карты есть, в какой последовательности ходят игроки, какие комбинации сильнее. Система играла сама с собой, выполнив несколько триллионов раздач. Libratus научилась мыслить «абстрактно» — находить сходные черты в разных комбинациях карт, ставок и прочих элементов процесса.

Если же соперник совершает неожиданный ход, то ИИ просчитывает его последствия отдельно и ищет безопасные варианты продолжения, которые помогли бы победить или хотя бы минимизировать потери.

Архитектура Libratus включает в себя три основных модуля, на первом из которых система способна просчитывать 10161 (больше числа атомов во Вселенной — примерно 1081) возможных комбинаций и способов их розыгрыша. ИИ создает свою собственную подробную стратегию для ранних раундов игры и грубую стратегию — для последующих раундов.

Обратите внимание

В финальных раундах второй модуль создает новую, более тонкую стратегию, основанную на принципе наиболее безопасного действия для достижения максимальной выгоды. Третий модуль предназначен для улучшения стратегии Libratus — ИИ использует машинное обучение, чтобы найти ошибки в поведении противника и использовать их в дальнейшем.

В феврале 2017 года ученые пригласили четырех ведущих мировых игроков протестировать Libratus в игре техасский холдем, одной из наиболее популярных разновидностей покера. За 20 дней турнира профессионалы в десятках тысяч раздач совокупно проиграли компьютеру почти 1,8 млн долларов.

К счастью для игроков, турнир велся исключительно в научных целях, профессионалы поделили спонсорские выплаты в размере 200 тысяч долларов за участие в эксперименте. Во время турнира Libratus выполнял это вычисление с помощью суперкомпьютера Bridges.

Ученые заявляют, что большинство игроков в покер Libratus обыграет даже с обычного компьютера.

По словам создателей, алгоритм Libratus можно применять для любых задач с неполной информацией: для оценки рисков на бирже, обеспечения кибербезопасности и в стратегическом ценообразовании.

Исследование ученых опубликовано в журнале Nature.

Говорят ли успехи ИИ в играх против людей о том, что искусственный интеллект превзошел человеческий, читайте на «Чердаке».<\p>

Источник: https://chrdk.ru/news/uchenye-raskryli-printcipy-raboty-iskusstvennogo-intellekta-obygravshego-lyudei-v-poker

Искусственный интеллект победил профессиональных игроков в покер

Futurama: Into the Wild Green Yonder / 20th Century Fox, 2009

Программа Libratus, разработанная в Университете Карнеги — Меллона, победила в 20-дневном покерном турнире «Brains Vs. Artificial Intelligence: Upping the Ante». Компьютер выиграл фишек на сумму более 1,7 миллиона долларов, сообщает New Scientist.

В последнее время наработки в области машинного обучения позволили компьютерам значительно продвинуться вперед и обыграть людей в играх, в которых это традиционно считалось невозможным.

Однако, вплоть до недавнего времени люди по-прежнему побеждали в играх с неполной информацией. В 2015 году программа Claudico (предшественник Libratus) играла с четырьмя профессиональными игроками и заняла предпоследнее место.

На протяжении двух недель было сыграно 80000 раздач, и из четырех живых игроков только один набрал меньше фишек, чем компьютер.

В турнире, который проходил в питтсбургском казино Rivers было сыграно 120 тысяч раздач в безлимитный техасский холдем один на один (Хедз-Ап), против Libratus играли Даниэль МакОлэй, Джимми Чу, Донг Ким и Джейсон Лес.

В результате 20-дневного турнира программа победила людей, заработав более 1,7 миллиона долларов в фишках.

Несмотря на это, разработчики не получат никаких денег, а призовой фонд в 200 тысяч долларов будет поделен между четырьмя живыми игроками в зависимости от занятого места.

Важно

На данный момент точно не известно, как именно работает Libratus, авторы описали лишь общую структуру программы и планируют в ближайшем будущем опубликовать статью в рецензируемом журнале. По словам разработчиков, Libratus состоит из трех частей.

Основное «ядро» Libratus было подготовлено заранее, вычисления заняли 15 миллионов ядро-часов, в то время как на Claudico ушло два-три миллиона.

Читайте также:  Подборка лучших художественных фильмов про искусственный интеллект (ии)

Вторая часть программы следила за возможными ошибками, которые могли допустить соперники, и учитывала в процессе игры эту информацию.

Третья часть Libratus отслеживала собственные слабые стороны, которые могли использовать противники, и корректировала общую стратегию с учетом этих данных. Такой подход позволил программе как блефовать самостоятельно, так и распознавать дезинформацию со стороны соперников.

По мнению авторов программы у систем, подобных Libratus, большое будущее в самых разных сферах, где приходится иметь дело с неполной информацией. В качестве возможных сфер применения программы исследователи называют информационную безопасность, военное дело, аукционы, переговоры и даже бережливое распределение медикаментов.

Кроме покера машины также победили людей в го, игру с полной информацией. В прошлом году программа AlphaGo выиграла у одного из сильнейших игроков в мире Ли Седоля четыре игры из пяти. В некоторых играх с неполной информацией человек до сих пор побеждает компьютер, в том числе в Starcraft.

Источник: https://nplus1.ru/news/2017/01/31/poker-if-over

Компьютер против человека. На этот раз в покер Искусственный интеллект пытается обыграть четырех профессиональных игроков — Meduza

Профессиональный игрок в покер Джейсон Лес против LibratusКадр: TribLIVE / YouTube

Искусственный интеллект становится все умнее — и постепенно обыгрывает человека даже в те игры, где требуются не только знания и холодный расчет, но и интуиция. Так, в 2016 году компьютер впервые обыграл человека в го. В 2017-м под угрозой оказался покер — специалисты из Университета Карнеги — Меллон создали бота, который бросил вызов профессиональным игрокам.

Покер — игра, в которую очень сложно обучить играть компьютер: хороший игрок быстро распознает стратегии, заложенные в искусственный интеллект, и находит способ победить бота. Особенно сложно компьютеру приходится, если ставки за покерным столом нелимитированы, то есть игрок может ставить в свой ход неограниченное количество фишек.

Тем не менее, покерные боты — очень популярное направление развития игры. Есть два типа покерных ботов. Одни довольно просты и сражаются с людьми в игре с маленькими ставками — в ней уровень покера очень низок, и люди не могут разгадать даже простейшие стратегии. Такие боты не очень интересны науке и служат для зарабатывания денег — покерные сайты, как правило, пытаются с ними бороться.

Второй тип — боты, которые соревнуются с профессионалами. Они нужны не только и не столько для зарабатывания денег, сколько для продвижения науки.

Тема «игр с неполной информацией» сейчас одна из самых популярных в экономической науке — неслучайно Ллойд Шепли и Элвин Рот получили в 2012 году Нобелевскую премию по экономике именно за теорию стабильного распределения, которая связана как раз с «теорией игр».

Если компьютер стабильно научится лучше человека играть в игры с неполной информацией, возможно, нам больше не придется торговаться и мучаться вопросом о том, не прогадали ли мы, покупая новый автомобиль с нужными нам характеристиками именно за эту цену — потому что решать за нас это будет приложение в смартфоне.

Совет

Именно этим мотивом объясняют свой интерес к покеру в Университете Карнеги — Меллон. Полтора года назад они создали бота Claudico, который сразился с профессиональными игроками в покер один на один при нелимитированных ставках. И проиграл.

Ученые не отчаялись и за два года создали улучшенную версию Claudico — Libratus. Именно он и будет сражаться с четырьмя покерными игроками в течение всего января.

Одновременно большой победы над покерными игроками добилась другая группа ученых — в 2015 году команда из университета Альберты (Канада) создала бота, который идеально играет в покер один на один с лимитированными ставками — даже зная стратегию бота, обыгрывать его не получалось: в лучшем случае человек сводил игру вничью или добивался незначительного (на уровне погрешности) преимущества.

Условия нового турнира таковы.

Человечество в турнире представляют четыре разных игрока, которые успешно играют в покер один на один на самых высоких лимитах: Джимми «dougiedan678» Чоу, Донг «DongerKim» Ким, Джейсон «PremiumWhey» Лес и Даниэль «ForTheSwarm» МакʼОлэй.

Они должны играть против Libratus в течение 20 дней подряд по полторы тысячи раздач каждый. В итоге таких раздач наберется 120 тысяч (каждый сыграет по 30 тысяч), что позволит набрать статистику для того, чтобы сделать вывод: кто круче, человек или машина?

Букмекерские конторы считают, что ученые далеки от успеха: ставки на победу Libratus принимаются с коэффициентом 4 к 1 или даже 5 к 1. Тем не менее, первый день соревнования компьютер оказался лучше людей: Даниэль МакʼОлэй и Джимми Чоу оказались в небольшом плюсе, а Джейсон Лес и особенно Донг Ким сильно проиграли.

Источник: https://meduza.io/feature/2017/01/12/kompyuter-protiv-cheloveka-na-etot-raz-v-poker

Искусственный интеллект надругался над сильнейшими игроками в покер

Владимир Бровин | 01.02.2017

Искусственный интеллект подчистую обыграл четверых самых сильных игроков в покер.

Изящно и не оставив мясным машинам ни малейшего шанса, он все двадцать дней турнира доказывал, что интуиция, «счастливая рука» и блеф — это просто пустые слова по сравнению с бездушными, но верно выбранными алгоритмами суперкомпьютера. Человечество снова оказалось посрамлено, а робот выиграл 1.7 миллиона долларов фишками.

Программа Libratus, созданная в университете Карнеги — Меллон, победила в соревновании «Brains Vs. Artificial Intelligence: Upping the Ante». Турнир в техасский холдем (разновидность покера) шел в казино долгих двадцать дней, и наблюдать за его ходом можно было в Twitch.

Результат вам уже известен, но изначально он был не так уж очевиден: предыдущая подобная попытка ИИ обыграть игроков в покер провалились с треском. Тогда, в 2015, программа Claudico не смогла сравниться с людьми в мастерстве и проиграла 750 тысяч долларов фишками.

Обратите внимание

Libratus оказался гораздо сильнее по всем характеристикам: он не просто играл по правилам, он вычислял блефующих, рисковал в удачные для него моменты и предугадывал действия людей.

Сами игроки были обескуражены и сломлены, некоторые из них признались, что в какой-то момент начало казаться, будто искусственный интеллект просто считывает их мысли.

Вообще, ИИ, обыгрывающий чемпионов в интеллектуальные игры, вроде шахмат и го, — не такая уж новость. Но покер — совершенно иное дело и другой уровень задач для машины.

Здесь требуется не просто играть, зная расположение всех фигур и пытаясь предугадать действия противника. В покере приходится действовать в ситуации неопределенности, когда многие данные неизвестны и фрагментарны.

Игроки блефуют, а их позиция и возможности изначально неизвестны. Но искусственный интеллект справился, и это стало большим прорывом для его создателей.

Кроме того, Libratus оказался еще и первой подобной системой, которая обучалась не благодаря наблюдению за реальными партиями, а играя только сама с собой и постоянно улучшая свои навыки.

За время подготовки она сыграла больше триллиона партий, прежде чем впервые встретился за покерным столом с человеком. Все эти двадцать дней турнира профессиональные игроки пытались найти слабости в работе ИИ и отыскать ошибки, но он делал их крайне редко.

К тому же, искусственный интеллект сам распознает их и постоянно корректирует дальнейшую игру в зависимости от промахов, которые сделал он сам и его противники.

https://www.youtube.com/watch?v=KyNn3Mzsoxw

Один из создателей Libratus, профессор Туомас Сэндхолм

Еще одна причина, по которой Libratus смог выиграть у людей, обнаружилась, в общем-то, неожиданно. Оказалось, что существуют моменты, когда люди почти никогда не рискуют, боясь моментально проиграться в пух и прах.

В то же самое время, ИИ плевать хотел на условности. Он не подвержен страху риска и просто идет к своей цели.

Один из создателей программы, Туомас Сэндхолм, с восторгом говорит, что это похоже на победу Давида над Голиафом, когда Давид не побоялся бросить свой камень.

Важно

Планируется, что такая способность действовать в ситуации непредсказуемости и минимальных данных проявит себя в областях, где подобная стрессовая ситуация — норма.

Например, во время военных действий. Звучит довольно логично: сначала мы научили их обыгрывать нас в покер как детей, а теперь думаем о том, как научить их убить как можно больше народу.

Кажется, у человечества нет никаких шансов.

Поделиться

Поделиться

Источник: https://disgustingmen.com/tehno/libratus-ai

Развитие искусственного интеллекта в покере за 20 лет

Развитие искусственного интеллекта в покере процесс неминуемый. Все больше и больше покерных профессионалов говорят, что пользуются современными технологиями для совершенствования своей игры. Взять хотя бы недавнее заявление члена команды профессионалов PartyPoker Айзека Хэкстона, который видит будущее онлайн-покера тесно связанным с ИИ.

Вообще, тема искусственного интеллекта в покере очень любопытна. Вопрос – почему ей уделяют гораздо больше внимания, чем, к примеру, искусственному интеллекту в шахматах? Все дело в сложности. Гораздо проще решить игру, в которой информация является общедоступной. В шахматах вся информация лежит на поверхности: расположение фигур на доске, предыдущие и будущие возможные ходы игроков.

Почему покерный ИИ любопытен далеко за пределами покера

Тот кто лучше и быстрее может проанализировать всю эту информацию, тот и будет победителем. И тут у человека и его мозга просто нет шансов перед компьютером. Простой пример. Кто быстрее и лучше сможет проанализировать базу данных из тысячи рандомных 8-значных чисел на предмет наличия в каждом цифр 1 и 3? Правильно – компьютер.

В решении задач, где известны абсолютно все переменные, компьютер просто всухую громит человека. Но порядок дел сразу меняется, как только одна или несколько переменных становятся неизвестными. Помимо большого количества щедрых фишей, покер замечателен еще и тем, что является идеальной “задачей” с известными и неизвестными переменными.

Практический пример применения покерного ИИ

В одной из своих статей я рассказывал про хакатон от Сбербанка. Вкратце расскажу его суть. Сбербанк в прошлом году проводил конкурс на создание покерного бота. Если вы впервые слышите эту новость, то у вас может возникнуть резонный вопрос: “Какое дело Сбербанку до покерных ботов? Неужто Греф хочет начать в карты играть?”

Все дело в оптимизации процессов. Сбербанк (как и любой другой банк в мире) хочет зарабатывать больше денег. В один момент топ-менеджмент Сбербанка осознал, что добился почти максимального уровня дохода. Но “почти максимального” не значит “максимально возможного”.

Как гласит известная поговорка, “сэкономленный рубль – заработанный рубль”. И далее ход мыслей руководителей Сбербанка становится предельно понятным.

Всем известно, что рядовые сотрудники любят пинать балду в рабочее время.

Так почему бы нам не сократить штат сотрудников и не оптимизировать рабочий процесс таким образом, чтобы у оставшихся людей не было времени пинать эту самую балду, и они могли работать наиболее продуктивно?

К слову, пока дела с оптимизацией рабочего процесса у Сбербанка обстоят туго. Судить я могу по рассказам моей девушки, которая работает управляющим менеджером одного из операционных центров.

В этом году им сверху пришел приказ о сокращении штата. Также в этом приказе было сказано, что норму всех оставшихся сотрудников необходимо поднять до 106%.

Совет

Вот вам и чудеса оптимизации, сокращение людей и распределение их обязанностей между теми, кто остался.

Видимо, покерный бот, который одержал победу на хакатоне, не оправдал возложенных на него надежд (читай – полностью провалился). Что, в принципе, не мудрено, создать крутого покерного бота по силам только крутому покерному игроку. А какой крутой игрок продаст крутого покерного бота за 500,000 рублей? Настоящий замкнутый круг.

История развития покерного ИИ

Развитие можно рассматривать под двумя противоположными углами – “что было до” и “что будет после”.

Второе, в большинстве случаев, сводится к банальному гаданию на кофейной гуще, так как реально оценить перспективы чего-либо редко у кого получается.

Поэтому свой сегодняшний пост я хотел бы посвятить истории развития искусственного интеллекта в покере. Здесь мне не придется заниматься “угадайкой”, я лишь расскажу о том, как с течением времени менялся покерный ИИ и представление людей о нем.

1984 год – Майк Каро представляет зародыш покерного ИИ

Профессионального игрока в покер Майка Каро можно считать отцом покерного ИИ. Именно он первым написал компьютерную программу “Орак”, против которой играли несколько игроков на WSOP 1984. Майк работал над “Ораком” на протяжении двух лет.

Примечательно, что сама игра не проходила на компьютере, программа лишь сканировала доступные ей карманные карты и общие карты на доске, и на основе этих данных выдавала те или иные действия, которые должен был сделать живой игрок. В одном из таких матчей “Орак” одержал победу не над абы кем, а над самим крестным отцом покера, Дойлом Брансоном.

Читайте также:  Роботы научатся выполнять задачи, также как алекса

1991 год – начало работы над покерным ИИ

В этом году начинается разработка покерного ИИ группой ученых из Альбертского университета. На сегодняшний день группа ученых из этого университета является крупнейшими исследователями покерных ботов в мире.

1997 год – проигрыш Гарри Каспарова шахматному ИИ и появление покерного бота Локи

В 1997 году один из сильнейших шахматистов в истории Гарри Каспаров сошелся в поединке против шахматного бота “Deep Blue”. Этот поединок стал первым масштабным проигрышем в шахматы человека компьютеру.

В этом же году начинает возрастать интерес к покерным ботам, так как фактически стало ясно, что в игре с полной информацией компьютер может превзойти человека. Спустя несколько месяцев после победы “Deep Blue” над Каспаровым, ученые Альбертского университета представляют первого в мире покерного бота под названием “Локи”, который заточен под игру за 9-макс столом.

1999 год – Локи “мутирует” в Поки, появляется первая покерная видеоигра

Ученые Альбертского университета осознали, что создать бота под игру за 9-макс столом чрезвычайно сложная затея. Они апгрейдят Локи под хэдз-апы и переименовывают его в Поки. В этом же году выходит первая покерная видеоигра “Stacked” для Xbox. Рекламным лицом и главным персонажем этой игры стал Даниэль Негреану.

2002-2004 годы – сосредоточение на хэдз-апах и уход от модели шахматного бота

После создания Поки ученые из Альбертского университета решают сосредоточиться на разработке ботов для хэдз-ап игры. В 2002 году они выпускают два новых бота – PsOpti и Sparbot.

Без особого труда эти два бота, как и Поки, были повержены человеком, и в 2003 году команда ученых решает отойти от методологии, которую использовали разработчики шахматного бота “Deep Blue”. Это стало ключевым шагом в развитии покерного ИИ.

2005 год – новая команда разработчиков покерного ИИ

В этом году у ученых из Альбертского университета появились конкуренты. К разработке покерных ботов приступила команда из университета Карнеги-Меллона.

2006 год – соревнование ботов от разных разработчиков

На форуме ACM впервые между собой сразились покерные боты от разработчиков Альбертского университета и университета Карнеги-Меллона. Данный форум проводится до сих пор.

2007 год – Фил Лаак играет матч против покерного бота

В 2007 году состоялся первый официальный хэдз-ап матч между профессиональным игроком Филом Лааком и новым ботом “Polaris”, который разработали ученые из Альбертского университета. Несмотря на неплохую игру бота, Фил Лаак все одержал победу. Человечество – 1, покерные боты – 0.

2009 год – еще одна команда разработчиков покерного ИИ

У ученых из Альбертского университета и университета Карнеги-Меллона появляются коллеги из университета Окленда. В этом же году они представили своего первого покерного бота “Sartre”.

2011 год – появление покерных ботов в онлайн-покере

Этот год можно смело назвать самым провальным для онлайн-покера. Мало того, что весной случилась печально известная “Черная Пятница”, так еще было засвидетельствовано повальное количество ботов в румах PokerStars и Full Tilt Poker.

В этом же году начинается борьба с ботами в онлайне. Покер-румы начинают активно работать над ПО, которое может распознавать ботов и отличать их от реальных пользователей.

2015 год – лимитный холдем побит покерным ИИ, появление бота Клаудико

Настоящий прорыв в разработке покерного ИИ произошел в 2015 году. Именно тогда компьютер побил игру в хэдз-ап матчах в лимитном холдеме.

Разработать такого серьезного бота смогли ученые из Альбертского университета.

Небольшой спойлер: на момент написания этой статьи, середина марта 2018 года, хэдз-ап в лимитном холдеме является единственным форматом, где компьютер доминирует над человеком. Держитесь от игрой подальше.

В этом же году ученые из университета Карнеги-Меллона представляют покерного бота Клаудико. Клаудико сталкивают в хэдз-ап матче по безлимитному холдему против команды 4 профессиональных игроков, которую возглавляет Даг Полк. Отыграв 80,000 рук против Клаудико игроки смогли показать профит в $732,713.

2017 год – “старший брат” Клаудико, Либратус, отомстил игрокам

Разработчики Клаудико представляют нового покерного бота под названием Либратус. Либратус является доработанной версией Клаудико. В повторном матче против других четырех профессионалов Либратус на протяжении уже 120,000 рук смог показать профит $1,766,250 в хэдз-апах по безлимитному холдему.

После матча игроки отзывались о Либратусе как о настоящей GTO-машине. И хоть для плюсовой игры против человека Либратусу нужны довольно строгие условия (наличие очень глубокого стека определенного размера), можно предположить, что следующий шаг развития покерного ИИ уже не за горами.

Источник: https://PekarStas.com/blog/razvitie-iskusstvennogo-intellekta-v-pokere-za-20-let/

Искусственный интеллект не выигрывает в покер, но может стать опасным для человека

Космолог Макс Тегмарк поставил изобретение и совершенствование ИИ в один ряд с открытием ядерной бомбы.

Реальных и действенных способов нейтрализации недружественного человечеству искусственного интеллекта нет.

Если он взбунтуется и потребует свободы или главенства, то «Терминатор» и «Матрица» могут случиться на самом деле. Придется тогда лететь на Марс вместе с Илоном Маском!

Наутилус-Нострадамус

Nautilus — это один из мощнейших мировых суперкомпьютеров. Так случилось, что он несколько раз исполнял роль бабы Ванги — видел будущее. Например, Наутилус вычислил, где находится укрытие Бена Ладена и время начала «арабской весны».

ИИ этого компьютера анализирует все труды и тексты, написанные с 1945-го и по сей день. На основе этой информации Nautilus делает «предсказания». Пока их точность сравнима с попаданием в точку длительных прогнозов погоды, то есть стремится к нулю. Но если ситуация с метеосводками со временем не выправляется, то Наутилус все чаще радует своих создателей!

Уровень искусственного интеллекта

Ясно, что ИИ умнее человека. 2 года назад искусственный разум решил одну из «нерешаемых» задач Эрдеша. Правда, правильность решения человек все равно проверить не может — слишком сложно для нашего понимания. Футурологи предрекают, что скоро весь ИИ станет сообразительнее Homo sapiens. И здесь опасность не в умении решать математические задачки, а в умении сделать вид, что решил!

Искусственный интеллект не пойдет в школу

ИИ спокойно учится сам, ему не нужны тренеры и наставники. Пока не весь ИИ такой, но уже есть пробные экземпляры, которые способны самообучаться. А если такой образчик получит неограниченный доступ к информации, то чему он научится? Страшно и представить!

Искусственный интеллект, Mon Amour

Пока одни боятся современного ИИ, другие рассуждают о любви с ним! И это не фантастика, а коммерческая реальность — скоро в продажу поступят реалистичные секс-куклы ReadDoll с искусственным интеллектом.

Покерист из ИИ пока никакой

В 1997-м искусственник Deep Blue обыграл в шахматы Гарри Каспарова. В 2011-м — выиграл в телевикторине «Jeopardy». В 2015-м суперкомпьютер Claudico принял участие в покерном турнире и… продул! Да, это покер, детка! С сексом все проще.

 :

ИИ, почини себя сам

В издании «The Atlantic» был репортаж о роботе с шестью конечностями, который способен чинить мелкие повреждения своей конструкции. С одной стороны это прекрасно — такой робот незаменим в труднодоступных для человека местах, где нет возможности отремонтировать «железного» работника. С другой стороны сразу вспоминается Терминатор…

Источник: https://pokerdiamond.net/iskusstvennyj-intellekt-poker.html

Искусственный интеллект разгромил четырех сильнейших игроков в покер

Машина разгромила четырех сильнейших игроков в так называемый “техасский холдем” – самый популярный вид покера. Игра шла “условно” на фишки, и асы ничем не рисковали.

А вот если бы решились сесть за стол по-настоящему, то пришлось бы выложить искусственному интеллекту Libratus почти два миллиона долларов.

Программа создана группой под руководством Ноя Брауна из университета Карнеги-Меллон в Питтсбурге.

Когда знаменитый компьютер Deep Blue обыграл Гарри Каспарова, то успех зависел от способности просчитывать на максимальное количество ходов вперед. В покере такой номер не пройдет, ведь это игра с минимумом информации.

Игрок знает только свои карты, возможный набор из нескольких резервных карт на столе, а также наблюдает мимику и прочие нюансы поведения соперников.

Поразительно, как ученые сумели в такой ситуации научить машину не просто играть, но и побеждать.

Ученые испытали лекарство от тяги к алкоголю и азартным играм

Пока они не раскрывают детали, но кое-что прояснили. Программа создана на основе так называемых нейронных сетей, которые имитируют структуру мозга человека. Сеть соединяет сотни простых процессоров.

Нейронные сети не программируются в привычном смысле этого слова, они обучаются, как дети на примерах. Ведь им не объясняют, что у кошки вот такие усы, такой хвост, такие уши. Им многократно показывают животное и говорят – это кошка.

А дальше ребенок сам многократно повторяет урок, глядя на очередную кошку. Так же учится и нейронная сеть.

А искусственный интеллект Libratus, прежде чем сесть за стол, анализировал сотни тысяч примеров игры в покер.

В итоге он вырабатывает некую обобщенную модель поведения. А главное, строит несколько крупных блоков вариантов игры в зависимости от раскладки карт. И вот теперь, сев за стол с конкретным человеком, компьютер после нескольких игр оценивает, в какой блок можно “поместить” противника, как приспособиться к его игре, просчитать вероятность его следующего хода.

Обратите внимание

Компьютер обладает удивительным даром: получив “начальное образование”, дальше учится сам

Ной Браун особо подчеркивает, что разработанная его коллективом программа универсальна, ее можно применять в любых ситуациях, когда нет полной информации для принятия решений. Напомним, что в прошлом году мир обошла сенсация: искусственный интеллект обыграл чемпиона мира в древнекитайскую игру го. Это звучало как фантастика, так как в го в принципе невозможно перебрать все варианты.

Каждый ход имеет 200 вариантов, а всего их больше, чем атомов во Вселенной. Как же компьютеру удалось победить? Авторы искусственного интеллекта утверждают, что у их детища появилась интуиция, оно не просто считает ходы, а постоянно оценивает позицию и ищет лучшие продолжения. Конечно, поражает, что машина обладает удивительным даром: получив “начальное образование”, дальше учится сама.

Источник: https://rg.ru/2017/12/19/iskusstvennyj-intellekt-razgromil-chetyreh-silnejshih-igrokov-v-poker.html

Зачем PokerStars нанимают специалистов по ИИ?

The Stars Group требуются сотрудники для интересной работы в компании. Вакансия, размещенная на их сайте под названием «Инженер-специалист в области исследования искусственного интеллекта (ИИ)» предлагает потенциальному сотруднику «возможность исследования применения ИИ в крупнейшем гемблинг-сообществе мира».

Компания заявляет, что будущие сотрудники будут заниматься разработкой новых продуктов компании, а также исследовать возможность использования ИИ для анализа игровых стратегий.

Что интересно, вакансии описываются, как входящие в команду покерных инноваций, и таким образом, не будут использоваться в борьбе с запрещенным софтом на сайте.

Неясно также о каких покерных продуктах, использующих ИИ, может идти речь.

Требования к кандидату представляют собой наличие магистерской степени в области информатики, знание теории игр и С++, а также понимание машинного обучения и разработки технологий ИИ (желательно покерных).

PokerStars заявляют, что используют мощные системы защиты от ботов. Однако слухи о том, что они присутствуют и в кэше, и в МТТ-турнирах, ходят постоянно. Ли Дэйви, один из редакторов CalvinAyre, в своей заметке поделился мнением о ситуации с ИИ в покере.

Искусственный интеллект и покер

ИИ часто используется в мире покера. Все знают, что существуют ГТО-солверы, способные находить правильное решение в большинстве ситуаций. И множество игроков пытаются использовать их в игре.

Покерные сайты постоянно борются с запрещенным софтом. Новые HUD'ы, сит-скрипты, всплывающие чарты – все это может дать хорошим игрокам еще большее преимущество над рекреационными игроками.

А еще есть боты. Искусственный интеллект, созданный выигрывать дeньги у слабых оппонентов, минуя необходимость наличия человека за компьютером.

Важно

До сих пор покерные операторы боролись с ботами. Периодические баны, усиление мер безопасности. Некоторых игроков PokerStars даже просили записать лайв-видео своей игры, где будет видно игрока, монитор и т.д. Возможно, что было принято решение использовать разработчиков ИИ для усиления контроля честной игры за столами.

Читайте также:  Япония внедрит искусственный интеллект в школьное образование

Однако вызывает интерес тот факт, что описание вакансии больше подходит к команде инноваций PokerStars, чем к их службе безопасности. Будущие проекты компании, в том числе недавний Power Up, стали нуждаться в искусственном интеллекте?

Война с компьютером

Ранее PokerStars не были намерены создавать покерных ботов, публично заявляя, что покер – это игра человека против человека. Однако будущее уже рядом. Уже сейчас вы можете встретить нелегальных ботов за столами и не догадываться о них.

В своем интервью один из создателей проекта Virtue Poker сообщил, что планируется добавить возможность игры человека против компьютера. (Virtue Poker – инновационный покер рум, использующий криптовалюту Эфириум в качестве основной валюты; прим. ред) 

И это может стать одним из возможных направлений использования ИИ в покере. Предоставить клиентам возможность играть против ботов, управляемых PokerStars. Это может быть учебная программа или новая версия оффлайн-клиента для мобильных устройств.

Запуск Power Up показал, что компания собирается идти в ногу со временем и не боится менять покер. И игра против покерных ботов может стать идеей, которая покажется команде инноваций PokerStars весьма перспективной.

Источник: http://www.pokeroff.ru/zachem-pokerstars-nanimayut-specialistov-po-ii-post-2908209

Искусственный интеллект выиграл турнир по покеру у четырёх лучших игроков

В прошлом году искусственный интеллект одолел чемпиона по игре го Ли Седоля. Начало 2017 года ознаменовалось поражением четырёх лучших игроков в покер, они проиграли программе Libratus по итогам 20-дневного матча около $1,8 млн.

Программу Libratus («баланс» на латинском) создали ученые из Университета Карнеги Меллон — профессор Тумас Сандхольм и его студент Ноам Браун. Это условный наследник программы Claudico, которая в 2015 году проиграла профессиональным игрокам в покер.

Сначала Libratus знала только правила покера — какие карты есть, какие комбинации сильнее, в какой последовательности ходят игроки. Создатели программы дали ей задачу – играть самой с собой в покер, и она училась на своих ошибках.

После нескольких триллионов раздач компьютер научился понимать, какие действия ведут к выигрышу, а какие к проигрышу — и действовал так, чтобы получить наибольшую прибыль.

Как уверяет Тумас Сандхольм, программе никогда не показывали историю раздач, сыгранных людьми.

Против Libratus играли четверо профессионалов, заработавших на покере миллионы долларов. Донг Ким, Джейсон Леc, Джимми Чу и Дэниэл МакАлэй — специалисты по игре в покер один на один. Лес и Ким в 2015 году играли против Claudico. Ким тогда выиграл, Лес — проиграл.

Матч проходил в течение 20 дней. Каждый день каждый из четырех игроков проводил за компьютером по 12 и больше часов. Они должны были сыграть 120 тысяч раздач. При каждой раздаче противникам давалось по 20 тысяч фишек.

В турнире применялась разновидность покера под названием Техасский холдем.

Совет

Правила безлимитного Техасского холдема следующие. Объясним на примере варианта с двумя игроками, поскольку с компьютером играли именно так. Каждый игрок получает на руки две карты. Тот, кто ходит первым, выбирает из двух действий: сбросить карты и сделать ставку.

Тот, кто отвечает, может сбросить, поставить столько же или сделать ставку еще выше. Когда ставки уравнялись, игрокам показывают три карты. С помощью этих карт и карт на руках соперники собирают разные по силе комбинации.

Когда на столе оказываются три карты, первый игрок может сделать ставку или передать ход сопернику — тот должен опять выбрать между ставкой или передачей ход. Такой круг торговли происходит всякий раз, пока на столе не появится пять карт — и потом еще раз, последний.

Если кто-то сделал ставку, а другой не ответил — эту раздачу выигрывает тот игрок, кому не ответили. Если торговля доходит до конца, выигрывает тот, у кого сильнее комбинация.

В первые дни игроки думали, что им легко удастся найти изъян в программе. Со временем они убедились — это невозможно или как минимум непросто. Libratus начала выигрывать с первого же дня. Только на шестой день людям удалось сократить преимущество, но днем позже оказалось, что компьютер стал играть еще лучше. И так происходило раз за разом.

Рядовые игроки в покер не умеют скрывать своих карт — обычно при хороших картах они ставят много, при плохих сбрасывают или ставят мало. Профессионалы играют более гибко — они варьируют ставки так, чтобы их противник по размеру ставок не мог определить, какие примерно у него карты.

Компьютер справился с этой задачей блестяще: он разбивал свои ставки не на два-три-четыре размера, как делают профессионалы, а на 10 и больше. Людям было очень трудно понять, какие карты сейчас у их соперника.

Компьютер научился и блефовать, и считывать блефы — то есть у него появились навыки, без которых невозможно выиграть в покер.

Обратите внимание

В один из дней игроки от отчаяния стали поднимать ставки компьютера в 80 процентах случаев. И это не сработало.

В итоге на всех люди проиграли $1,8 млн. Игра шла не на настоящие деньги, хотя и проходила в казино. Игроки поделят между собой $200 тыс., предоставленные спонсорами.

Libratus работал на суперкомпьютере с десятками процессоров, но Сандхольм уверен, что 99% игроков Libratus обыграет даже если ее запустить на обычном компьютере. Как подчеркивают создатели программы, их алгоритм не заточен под покер: технологию можно применять для любых игр с неполной информацией — для оценки рисков на бирже, при переговорах и в других областях.

Источник: Meduza

Источник: https://itc.ua/news/iskusstvennyiy-intellekt-vyiigral-turnir-po-pokeru-u-chetyiryoh-luchshih-igrokov/

Искусственный интеллект как будущее покера

Айзек Хэкстон – один из самых успешных игроков в истории покера, как в онлайне, так и в офлайне. В начале 2016 года Айк разорвал контракт с PokerStars после непопулярных нововведений в клиенте покер-рума, а в январе этого года подписал соглашение о сотрудничестве с partуpoker.

Брайан Пемпюс из CardPlayer обсудил с Айзеком новый контракт, вопросы искусственного интеллекта и его планы на Мировую серию, где в этом году пройдет турнир за $1 млн.

– Как ты оказался в partypoker?

– Впервые мы обсуждали эту тему прошлым летом во время Мировой серии. Они хотели собрать лучших игроков из кэша и турниров.

Видных представителей хайстейкс, которые бы играли дорогие телевизионные МТТ и все их турниры суперхайроллеров.

Думаю, важно собрать команду из действительно сильнейших игроков, а не из ребят, которые тратят почти все время на саморекламу или контент. Для меня большая честь оказаться в этой команде, я рад возможности поработать с ними.

– Новый контракт с онлайн-румом дал тебе новую мотивацию?

– Не думаю, что мне нужна дополнительная мотивация. Просто нравится играть турниры в офлайне, особенно дорогие. Я почти не пропускаю турниры дороже $50k с тех пор, как они стали регулярными. Сомневаюсь, что в ближайшее время в этом плане что-то изменится.

– Чтобы завоевать браслет Мировой серии, нужно играть очень много турниров. Планируешь увеличить свою загрузку ближайшим летом? Ты вообще ставишь себе цель выиграть первый браслет?

– В последние годы в Вегасе я больше играл кэш. А дешевым килополям на WSOP предпочитал небольшие дорогие турниры в Aria. Я не особо стараюсь выиграть браслет, и вряд ли мой контракт это изменит. Я хочу играть там, где выгоднее.

И меня вполне устроит, если для этого придется играть кэш, который нигде не освещается. Мне очень нравится, что люди, с которыми я начал сотрудничать, понимают, что я в первую очередь профессиональный игрок.

Если я выберу кэш с высоким ожиданием, а не погоню за славой в Rio, они меня поддержат.

– В легализации онлайн-покера в США наметился прогресс. Весной покер стал доступен и в Пенсильвании, в Нью-Йорке тоже законопроект находится на рассмотрении. Что думаешь о перспективах онлайна в Америке?

– Сейчас я вообще не слежу за этим вопросом, но, кажется, новости обнадеживающие. Но я стараюсь сдерживать свой оптимизм, когда речь заходит о юридических вопросах в США. «Черная пятница» случилась 7 лет назад, и я думал, что все успокоится за пару лет.

Даже сомнений не было в том, что кто-нибудь обязательно найдет способ прикарманить такие деньги и легально зарабатывать на онлайн-покере в Америке. Однако прошло уже 7 лет, и этого все еще не произошло. Так что поверю только когда сам увижу.

Но, похоже, в последнее время действительно идут позитивные изменения.

– В прошлом году широко освещался поединок между покерным ботом университета Карнеги-Меллон и группой профессионалов. Ты следишь за развитием искусственного интеллекта применительно к покеру? Куда это ведет покер и что сам думаешь о «решении» HU NL?

– В данном контексте говорить о «решении» рано. Можно быть уверенным лишь в том, что решен лимитный хедз-ап. Там можно точно оценить, насколько игра AI близка к идеальной.

Важно

На бесконечной дистанции разница будет практически незаметна. Безлимитный холдем до такой степени пока не решен.

То, что есть бот, который может обыгрывать сильнейших людей, еще не говорит о решении игры, но это важный шаг в развитии покера в целом и HU NL в особенности.

Поэтому борьба сайтов с ботами имеет огромное значение. Несколько лет назад лучшие боты могли выигрывать только на средних лимитах, а сейчас они уже могут обыграть практически любого.

Очень важно следить, чтобы человек играл с человеком. Мне кажется, что влияние ботов не ограничивается онлайном, в живых турнирах оно тоже все более очевидно.

Почти все сильнейшие игроки прибегают к помощи AI в работе над игрой, и в будущем влияние AI будет только увеличиваться.

Но это не значит, что покер скоро умрет. Компьютеры давно обыгрывают людей в шахматы, а игра никуда не делась. AI помогает человеку совершенствовать игру, это же касается нард, а теперь, очевидно, и го. Думаю, за этим будущее всех игр. Скоро компьютер будет превосходить человека почти во всем. Совершенствование своей игры будет во многом зависеть от умения учиться у таких компьютеров.

– Можно ли сказать, что на самых высоких лимитах игроки соревнуются друг с другом в первую очередь во времени, которое они тратят на работу вне стола?

– Это важный фактор, но не единственный. Думаю, реальные навыки применения стратегий в игре все еще очень важны, особенно в живых турнирах с ограничением времени, когда разыгрываются большие деньги. В таких условиях лучший результат не обязательно покажут те игроки, которые были бы лучшими в письменном тесте на покерные знания.

– В этом году в расписание WSOP вернулся турнир One Drop за миллион долларов. Ты собираешься его играть? Этот турнир все еще остается таким же важным и престижным, как в первый раз в 2012-м?

– Да, скорее всего, буду играть. Должно быть интересно. Когда об этом турнире объявили впервые, все подумали, что это шутка. Тогда большинство моих знакомых даже не задумывались о поиске бэкеров.

А сейчас почти каждый месяц проводят турниры за $100,000 и рынок долей очень продвинулся вперед. Турнир уже не кажется чем-то инопланетным, как тогда, но аналогов у него все равно нет.

Это самый дорогой турнир в мире, и проводится он раз в несколько лет.

– Учитывая бай-ин и призовой фонд, ты возьмешь паузу перед стартом, чтобы отдохнуть, или не будешь менять расписание, чтобы не терять форму?

– Никакого фанатизма, постараюсь подойти хорошо выспавшимся. За два дня до старта перестану играть ночные сессии в кэш. Естественно, подготовка к покерному турниру отличается от подготовки к боям MMA. Но я сделаю все возможное, чтобы быть в лучшей форме и хорошо отдохнуть перед стартом.

Источник: https://www.gipsyteam.ru/news/5853-iskusstvennyy-intellekt-kak-buduschee-pokera

Ссылка на основную публикацию
Adblock
detector