Ultralytics YOLOを用いてゲーム動画を解析させてみました。
視覚に障害を持っている方向けの利用として、画面内の要素を分析できるのかどうか検証してみようと思います。
海外では身体障害を持つ方のオンラインゲーム参加も多いようで、ゲーム大会でも有名なLGチーム (Luminosity Gaming)に所属されてる方もいるようです。
Apex
世界大会が行われるなどの人気ゲームApex Legendsを分析してみます。YouTuberとして活動されている eスポーツチーム・デーモンファントムの龍神さんの動画をお借りしました。
https://www.youtube.com/@龍神eスポーツチャンネル
前提として、YOLOv11でデフォルトで検出可能なのは以下の要素です。シューティングゲームに関係する要素はあまりないですが、新たにモデルをトレーニングすれば新要素を足すことも可能です。
0: ‘person’, 1: ‘bicycle’, 2: ‘car’,
3: ‘motorcycle’, 4: ‘airplane’, 5: ‘bus’,
6: ‘train’, 7: ‘truck’, 8: ‘boat’,
9: ‘traffic light’, 10: ‘fire hydrant’, 11: ‘stop sign’,
12: ‘parking meter’, 13: ‘bench’, 14: ‘bird’,
15: ‘cat’, 16: ‘dog’, 17: ‘horse’,
18: ‘sheep’, 19: ‘cow’, 20: ‘elephant’,
21: ‘bear’, 22: ‘zebra’, 23: ‘giraffe’,
24: ‘backpack’, 25: ‘umbrella’, 26: ‘handbag’,
27: ‘tie’, 28: ‘suitcase’, 29: ‘frisbee’,
30: ‘skis’, 31: ‘snowboard’, 32: ‘sports ball’,
33: ‘kite’, 34: ‘baseball bat’, 35: ‘baseball glove’,
36: ‘skateboard’, 37: ‘surfboard’, 38: ‘tennis racket’,
39: ‘bottle’, 40: ‘wine glass’, 41: ‘cup’,
42: ‘fork’, 43: ‘knife’, 44: ‘spoon’,
45: ‘bowl’, 46: ‘banana’, 47: ‘apple’,
48: ‘sandwich’, 49: ‘orange’, 50: ‘broccoli’,
51: ‘carrot’, 52: ‘hot dog’, 53: ‘pizza’,
54: ‘donut’, 55: ‘cake’, 56: ‘chair’,
57: ‘couch’, 58: ‘potted plant’, 59: ‘bed’,
60: ‘dining table’, 61: ‘toilet’, 62: ‘tv’,
63: ‘laptop’, 64: ‘mouse’, 65: ‘remote’,
66: ‘keyboard’, 67: ‘cell phone’, 68: ‘microwave’,
69: ‘oven’, 70: ‘toaster’, 71: ‘sink’,
72: ‘refrigerator’, 73: ‘book’, 74: ‘clock’,
75: ‘vase’, 76: ‘scissors’, 77: ‘teddy bear’, 78: ‘hair drier’, 79: ‘toothbrush’分析結果 1. キャラクターセレクト画面
ストリートファイターのように、キャラクターごとに必殺技のようなものがあるのが特徴のゲームです。
まずはキャラクターセレクト画面を分析させてみました。
ドローンを活用して戦うキャラクターなのですが、Baseball Bat ( 野球のバット)を持っていると判定されました。
ドローンの形を事前に学習しておけば、認識できそうです。
分析結果 2. 降下作戦
上空からスカイダイブしてゲームフィールドに降り立ちます。
おそらくですが奥行き表現が現実世界と大きく異なるのでうまく分析できません。
高度や速度などの「テキスト読み上げ」の活用が効果ありそうです。
分析結果 3. アイテム探し
ゲーム内のアイテムを探します。オブジェクトとして置いてあるイスやテレビを認識しています。
分析結果 4. 屋内接敵
今度はガスを使って戦うキャラクターを使用しています。建物の中にいる敵と戦うため、ガス発生機を投擲しています。
ここで興味深い分析結果が得られました。暗い室内ですが、画面内に2名のキャラクターを検出しています。
人間の目で少し見え辛いゲーム画面でも、AIを使えばサポート可能かもしれません。
デフォルト設定のままでは難しいと思われましたが、テキスト読み上げを活用したり、ゲームに特化したモデル学習をすればもうすこし遊べるのではないかと思われました。
インターフェースとしては入力機器周辺でAIの利用が多い気がしますが、既存ゲームへの適応なども面白いかもしれません。
