Počítačový program proti hráčům pokeru

Díky programu DeepStack byl vytvořen další historický milník, kdy lidé v populárních hrách podlehli počítačům. Tentokrát jde o jednu z nejpopulárnějších karetních her na světě - dvouhráčový No-limit Texas Holdem poker. Vědecké objevy, které vedly k tomto výsledku, publikoval vědecký časopis Science.
Po backgammonu, dámě, šachu a japonské hře go je tady další výhra umělé inteligence nad člověkem. Oproti předchozím hrám je tu však jeden zásadní rozdíl. „Je to typická hra s neúplnou informací, ve které hráči během hry nemají stejnou informaci a pohled na hru,” říká Michael Bowling, profesor z Albertské univerzity, který vedl výzkumný tým.
To, že hráč nevidí karty oponenta a naopak, dělá problém složitějším. Tato neurčitost informace je ale v reálném světě běžná. Matematické modely her umožňují popsat situace z ekonomie, síťové bezpečnosti, ochrany důležitých cílů nebo kontroly jízdného. „V těchto reálných situacích se jednotlivé strany jen velmi zřídka rozhodují na základě úplných a totožných informací. Proto je pokrok v řešení her s neúplnou informací zásadní pro praktické aplikace,” vysvětluje Michael Bowling.
„Podařilo se nám přenést myšlenky, které byly klíčové v hrách s úplnou informací, do světa her s neúplnou informaci. Doposud nebylo jasné, zda je podobný přístup vůbec možný,“ říká Martin Schmid z Katedry aplikované matematiky Matematicko-fyzikální fakulty UK. DeepStack umožňuje vypočítat vhodnou strategii pro situaci v pokeru až v momentě, kdy situace nastane, tedy bez nutnosti uvažovat o úplně celé hře předem naráz, což byl doteď převládající přístup. Tato zásadní změna principů řešení byla umožněna mj. rozvojem strojového učení pomocí hlubokých neuronových sítí, které v případě DeepStacku vyhodnocují jednotlivé pokerové situace. Jde tedy o jistou formu intuice, kterou algoritmus využívá pro správná rozhodnutí. Podobně jako v případě člověka, musel i DeepStack trénovat svoji intuici hraním mnoha pokerových partií. Jeho síť v průběhu učení viděla miliony pokerových situací.
„Schopnost uvažovat o jednotlivých pokerových situacích až v momentě, když nastanou, je klíčová pro složité hry, jako je No-limit Texas Holdem, ve kterých může nastat mnohem víc různých situací, než je počet atomů ve vesmíru,” vysvětluje Viliam Lisý z Centra umělé inteligence na katedře počítačů Fakulty elektrotechnické ČVUT, v té době působící na Albertské univerzitě. I takto složitou hru hraje DeepStack rychleji než lidi. V průměru potřebuje jen tři sekundy „myšlení” na každé rozhodnutí. Program funguje i na běžném laptopu s výkonnější grafickou kartou od Nvidie.
DeepStack hrál proti skupině třiceti profesionálních hráčů pokeru, které vybrala Mezinárodní federace pokeru ze sedmnácti států. Každý hráč měl možnost hrát 3000 her během čtyř týdnů. Program tyto hráče v průměru porazil s velkou převahou. Každého z jedenácti hráčů, kteří dohráli všech 3000 her, porazil i individuálně a pouze v jednom případě výhra nebyla statisticky signifikantní.