AlphaStar от DeepMind одержал победу над лучшими геймерами в StarCraft 2

AlphaStar от DeepMind одержал победу над лучшими геймерами в StarCraft 2
30 октября DeepMind объявил о новой вехе для своих агентов искусственного интеллекта, обученных играть в Blizzard Entertainment StarCraft II. Программное обеспечение лаборатории AI, принадлежащее Google, под названием AlphaStar, теперь имеет гроссмейстерский уровень в стратегической игре в реальном времени и способно превзойти 99,8% всех игроков-конкурентов. Полученные результаты опубликованы в исследовательской статье в научном журнале Nature.
Представители DeepMind утверждает, что это также выровняло игровое поле при тестировании нового и улучшенного AlphaStar против людей-оппонентов, которые приняли участие в онлайн-соревнованиях этим летом. С одной стороны, он научил AlphaStar использовать все три игровые расы, что усложняет игру в верхних эшелонах профессиональной игры. С другой AlphaStar был ограничен просмотром той части карты, которую будет видеть человек, а также было наложено ограничение на количество щелчков мыши, которые он мог выполнить, до 22 недублированных действий каждые пять секунд игры, чтобы выровнять его со стандартной реакцией человека.

«История прогресса в области ИИ была отмечена значительными достижениями в играх. С тех пор, как компьютеры взломали го, шахматы и покер, StarCraft стала консенсусом следующей большой задачи», - заявил Дэвид Сильвер, главный исследователь DeepMind из команды AlphaStar. «Сложность игры намного больше, чем в шахматах, потому что игроки контролируют сотни юнитов. Это сложнее чем Go, потому что есть 10*26 возможных вариантов для каждого хода. И игроки имеют меньше информации о своих противниках, чем в покере».
Еще в январе DeepMind объявил, что его система AlphaStar смогла побить лучших профессиональных игроков 10 матчей подряд во время предварительно записанной сессии, но проиграл профессиональному игроку Гжегожу «MaNa» Коминчу в финальном матче в прямом эфире. Компания продолжала совершенствовать систему в период с января по июнь, когда она заявила, что начнет принимать приглашения лучших игроков со всего мира. Последующие матчи проходили в июле и августе.
Результаты были ошеломляющими: AlphaStar стал одним из самых искушенных игроков Starcraft II на планете, но, что удивительно, все еще не совсем лучше чем люди. Около 0,2 процента игроков способны победить его, но это в значительной степени считается лишь вопросом времени, прежде чем система улучшится настолько, чтобы сокрушить любого оппонента.
Эта веха в исследованиях тесно связана с аналогичной разработкой исследовательской компании по искусственному искусству в Сан-Франциско OpenAI, которая обучает агентов искусственного интеллекта, используя обучение с подкреплением, чтобы играть в сложную многопользовательскую игру «пять на пять» Dota 2. Еще в апреле ИИ OpenAI взял верх над чемпионом мира Dota 2. Скачок возможностей OpenAI Five отражает возможности AlphaStar, и оба являются яркими примерами того, как этот подход к машинному обучению может дать беспрецедентный уровень игровых способностей.
Тем не менее, программное обеспечение все еще ограничено той дисциплиной, для которой оно предназначено. Агент Go-Playing не может играть в Dota, и наоборот. Это потому, что программное обеспечение не запрограммировано с помощью простых для замены наборов правил. Вместо этого DeepMind и другие исследовательские институты используют обучение с подкреплением, чтобы позволить агентам понять, как играть самостоятельно, поэтому программное обеспечение часто разрабатывает новые и дико непредсказуемые стили игры, которые уже были приняты лучшими игроками-людьми.
«AlphaStar - интригующий и неортодоксальный игрок, обладающий рефлексами и скоростью лучших профессионалов, но стратегиями и стилем, которые являются полностью его собственными. То, как AlphaStar тренировался, когда агенты конкурировали друг с другом в лиге, привело к необычному игровому процессу», - заявил Диего «Kelazhur» Швимер, профессиональный игрок команды Panda Global. «Хотя некоторые стратегии AlphaStar на первый взгляд могут показаться странными, я не могу не задаться вопросом, может ли объединение всех различных игровых стилей, которые он продемонстрировал, действительно является лучшим способом игры».


DeepMind надеется, что успехи в обучении с подкреплением, достигнутые его лабораторией и коллегами-исследователями искусственного интеллекта, могут быть более широко применимы в будущем. Наиболее вероятное приложение для такого программного обеспечения - робототехника, где те же самые методы могут должным образом обучить агентов ИИ, как выполнять реальные задачи, такие как управление роботизированными руками, в виртуальном моделировании. Затем, после долгих лет симуляции управления двигателем, ИИ может взять на себя управление физическими роботизированными руками и, возможно, однажды даже управлять роботами всего тела. Но DeepMind также видит все более изощренные и, следовательно, более безопасные автомобили с самостоятельным вождением, в качестве еще одного направления своего особого подхода к машинному обучению.
Напомним, что этой осенью Electronic Arts запустила неожиданный публичный тест для геймеров

Комментарии