イーロン・マスクのOpenAIがDota 2でプロゲーマーに挑戦、そして優勝の可能性も

今年の8月、世界最高峰のプロゲーマーたちがバンクーバーに集結し、世界で最も価値の高いeスポーツ大会で数百万ドルの賞金をかけて戦います。彼らは、イーロン・マスク氏が支援する5つの人工知能ボットチームと合流し、機械学習の力の新たな限界に挑戦します。

このボットは、AIの発展と技術の危険化を防ぐためにテスラのCEOが2015年に共同設立した独立研究機関OpenAIによって開発された。

バンクーバーでは、インターネットで最も視聴されているビデオゲームの一つであるDota 2の毎年恒例の世界選手権が開催されます。賞金総額は1500万ドルを超え、さらに増加しており、ゴルフのマスターズ大会の1100万ドルを上回っています。各試合では、5人ずつの2チームが、悪魔、クモ、氷の幽霊などのキャラクターを操作して、相手の基地を破壊しようと競います。

今月初め、OpenAIのチーム「OpenAI Five」は、Dota 2の世界ランキングで上位1%に入るセミプロのチームと対戦し、勝利を収めました。この対戦では、両チームに同じキャラクターを使用するなど、ゲームの機能が多少簡素化されていました。しかし、OpenAIのCTO兼共同創設者であるグレッグ・ブロックマン氏は、2カ月後のバンクーバー大会でプロ選手とのより本格的な試合に向けて、ボットの準備を整えられると考えています。「このシステムからプロレベルのプレイが生まれるのを目の当たりにしてきました」と彼は言います。

これは大胆な発言だ。オークやウォーロックとの戦いは、チェスや囲碁ほど頭を使う必要はないように思えるかもしれない。チェスや囲碁は、それぞれ1997年と2016年にコンピューターがトップクラスの人間に勝利したゲームだ。しかし、Dota 2のような複雑なビデオゲームは、実際にはAIシステムにとってはるかに難しいと、カナダのセントジョンズにあるメモリアル大学の教授、デイブ・チャーチル氏は言う。だからこそ、2016年に囲碁のチャンピオンを破って歴史に名を残したAlphaGoを開発したアルファベット傘下のDeepMindは、現在、同様に難しいビデオゲームであるStarCraft 2の開発に取り組んでいるのだ。

Dota 2とStarCraftは非常に異なるが、どちらもAIにとって難しい。なぜなら、アクションがはるかに大きな盤上で行われ、チェスや囲碁のように対戦相手のすべての動きが見えるわけではないからだ。複雑なビデオゲームでは、プレーヤーはより多くの決定をより迅速に行う必要がある。チェスのプレーヤーは平均して常に約35の可能な動きを持っており、囲碁のプレーヤーは250の可能な動きを持っている。OpenAIによると、各チームのボットは、8分の1秒ごとに平均1,000の有効な動きの中から選択する必要がある。Dota 2の試合は通常約45分続く。「これらのゲームは、チェスや囲碁よりも現実世界のシナリオに非常によく似た特性を持っています」とチャーチルは言う。OpenAIは、同社のDota 2アルゴリズムは、例えばロボットが複雑なタスクを実行する方法を学習するのを助けるために適応できると述べている。

OpenAI Fiveは、自身のクローンと何百万回も対戦することでDota 2のプレイ方法を学習しました。このソフトウェアは強化学習と呼ばれる手法に基づいて構築されており、ソフトウェアは試行錯誤を繰り返しながら、仮想報酬を最大化する行動を見つけ出します。OpenAI Fiveの場合、報酬はOpenAIの研究者が選択したゲーム統計の組み合わせであり、これにより着実にスキルが向上します。

強化学習は動物や人間の学習方法に関する研究に着想を得ていますが、人工版は効率がはるかに低いです。OpenAI FiveのトレーニングにはGoogleのクラウドコンピューティングサービスが活用され、12万8000個の従来型コンピュータプロセッサと256個のグラフィックプロセッサ（大規模な機械学習実験に不可欠なチップ）が数週間にわたって使用されました。従来型プロセッサはゲームの実行と学習アルゴリズムのトレーニングデータの生成を行い、学習アルゴリズムはグラフィックプロセッサによって駆動されます。OpenAI Fiveは毎日、Dota 2の180年分に相当するゲームをプレイしました。

人間にはビデオゲームを学ぶのに180年もかかるわけではありません。実際、強化学習はゲームのようなおもちゃのようなシナリオ以外では非効率すぎると主張するAI研究者もいます。しかし、OpenAIプロジェクトは、現在のアルゴリズムにさらなる計算能力を投入できれば、人々の予想をはるかに超えることを実現できることを示していると、ブロックマン氏は主張します。

OpenAIのボットも人間のようにプレイするわけではありません。例えば画面に表示される画像をデコードするのではなく、ゲームの様々な側面を示す数値の流れとしてゲームを認識します。人間のプレイヤーよりも速く反応できます。

OpenAI Fiveがバンクーバーで優勝した場合、これらの違いや、ゲームをボットに適応させるために行われたその他の調整により、一部のAI研究者は公平な戦いではなかったと主張するかもしれません。チャーチル氏は、このような複雑な課題での勝利は大きな意味を持つものの、その画期的な成果は方法論の詳細に左右されると述べます。彼は冗談めかして、あらゆる論争を避ける唯一の方法は、ロボットがコンピューターの前に座り、キーボードとマウスを操作する試合を行うことだと語ります。ブロックマン氏は、プロゲーマーがボットを価値ある対戦相手として認めるかどうかで、ボットの成功を判断すると述べています。

もしロボットが勝利すれば、その成果は必然的にDeepMindとその囲碁研究と比較されることになるだろう。ブロックマン氏は、コンピューターと人間の競争において、DeepMindが次の大きな目標を設定するために競争しているわけではないと述べている。「私たちは機械学習とAIを共に探求し、これらの技術が何を可能にするのかを探っているのです」とブロックマン氏は語る。

WIREDのその他の素晴らしい記事