読者です 読者をやめる 読者になる 読者になる

Brace, Paren, Semicolon.

受験勉強中

劇場版SAOのARデバイス実装方法を考えてみる ソードアート・オンライン オーディナル・スケール

ソードアート・オンライン オーディナル・スケール を観てきました。

※ ネタバレはちょっとだけあります。気になる方はご注意ください。

sao-movie.net

ということで書きます!

感想としては,非常〜に良かった。SAOはアニメの方は全て鑑賞済みでしたが,今回の映画はさらに近未来っぽさが磨かれていました。アシスタントAIやウェアラブルバイスのある日常がリアリティをもって描かれているなあという印象で,「ディープラーニング」という言葉がうまく一般ナイズされた使われ方だったのも面白かった。まさにマイフェイバリット近未来SFムービーという感じです。

さて,作中に出てきたオーグマー(Augma)というARデバイスが気になったので,帰って酔っ払いながら実装方式を考えてみましたので,軽くまとめてみたいと思います。半分妄想半分リアルという感じです。また,技術的な内容についてガチで詳しい方がいらっしゃいましたら,Twitterなどでツッコミをいただけると泣いて喜びます!!😂

オーグマーとは?

オーグマーは,作中で街の人々が装着している小型のウェアラブルバイス。外見はちょっと大きめのBluetoothヘッドセットみたいな感じですね。名前はおそらくAR(Augmented Reality)の Augmented から来ていると思います。

小型のヘッドホンのような外見の次世代ウェアラブル・マルチデバイス。 … 覚醒状態の人間に視覚・聴覚・触覚情報を送り込むことが可能(一部略)

引用元:AR(拡張現実)型情報端末《オーグマー(Augma)》

オーグマーを装着するとARでLINEのようなメッセージ交換ができたり,今でいうスマホの機能がAR空間上で自然にできるようになっているイメージです。また,オーグマーによってARゲーム「オーディナルスケール」に参加することができ,Ingressよろしく街中がゲーム空間になって遊び放題になったりします。詳しくは映画をご覧くださいw

オーグマーの「覚醒状態の人間に視覚・聴覚・触覚情報を送り込むことが可能」という特徴に非常に興味をそそられて,どうしたら実装できるかを考えてみました。

実装について

さて,オーグマーの実装について以下の2点からまとめてみます。

  1. ハードウェアレイヤ
  2. ソフトウェアレイヤ

1. 実装(ハードウェアレイヤ)

まずメインの機能要件として,「覚醒状態の人間に視覚・聴覚・触覚情報を送り込む」機能があるので,ユーザーの中枢神経系を刺激してやる必要があると思われます。

公式サイトのオーグマーのスケッチには「視線検出カメラ搭載ダイレクトプロジェクトシステム」と書いてあるので,FOVEのように視線を検出しつつ,網膜にプロジェクションする想定のようにも見えます。しかし,中枢神経系を直接刺激しない方式では,視覚・聴覚くらいは刺激できたとしても,全身の触覚を刺激するのは難しそう(一応,作中ではビブスやコントローラのバイブレーションでそれっぽさを出している設定らしい)。

また,オーグマーの実装には高いリアルタイム性が要求されるため,それを満たせるようなハードウェア実装が必要です。

1.1. 脳の刺激方式

前述の通り,中枢神経系を刺激する方式を考えます。

生体へ刺激を伝えるためのキャリアはいくつか考えられます。磁力・電気・電波・光・放射線・音波…など。神経細胞を刺激するためには,ひとまず電気的刺激ができると良さそう。個人的には,磁気を用いる手法が良さそうですが,光遺伝学ファンとしては光で実装してほしいですw

磁気

離れた場所へ局所的に電位を発生させる方式として,磁気を用いた方法があります(経頭蓋磁気刺激法 - Wikipedia)。頭部を囲むコイルに電流を流してパルス磁束を発生させると,神経束などの良導体に渦電流を発生させ,神経を刺激します。

この磁気刺激法の空間分解能は,2004年時点で5mm程であったようです。オーディナルスケールの舞台である2026年時点ではより高精度になっているはず…と思いたい!

電波

電波はレンズ効果により局所的な刺激が可能。電位を発生させることはできませんが,ホットスポットと呼ばれる局所的な熱を発生させることができます。

そこで,熱によって神経細胞が活性化するようにあらかじめ脳を改変しておけば,電波の利用も可能になるかも。ちょうど「脳にドライバをインストールしておく」みたいな感じですね。遺伝子編集済みの神経性ウイルスを運び屋として「脳をドライバに感染させる」のが良さそうと思います。ただし熱反応だと即時性や冷却など問題が多いですかね。

光は頭皮や頭蓋骨に遮られて深部に到達できないのが難点ですが,もし到達することができれば,光遺伝学を利用して即時性のある刺激が可能です(光遺伝学 - 脳科学辞典)。これも上述の電波のケースのように,脳にドライバをインストールしておく必要がありますね。あとは,光をどうやって深部に届けるかが大きな課題となります。

1.2. 脳活動の計測

オーグマーは刺激オンリーではなく,同時に脳活動の計測も行っていると思われます。また,(これはネタバレですが)オーグマーはARだけでなくVR機能も備えているので,VRモード時はユーザの運動信号をフックしてゲーム側に流さないといけません。そのためにも脳活動の計測は必須です。

ところが,オーグマーの形状からすると単極誘導の脳波計っぽいので,神経細胞一つ一つの活動までは計測できていないんじゃないかと推測します。もしかしたら,劇中でいう「ディープラーニング」技術を使って,脳波から詳細な脳活動を計測できるようになっているのかもしれませんが…この辺はよく分かりません。

1.3. バッテリー

上で述べた磁気を用いる刺激手法では,MRIと同じ1T程度の磁力を必要とするため,かなりの電力消費が想定されます。オーグマーサイズでこれだけの電力をまかなうのはちょっと無理がありそう。ただし,「経頭蓋磁気刺激法」+「磁気で活性化するような神経細胞改変」を組み合わせれば,生体エネルギーが使えるので少しはバッテリー消費が抑えられるでしょうか(試算はしていません)。

また,作中ではゲームフィールドにドローンが飛んでいましたが,ドローンからオーグマーへの給電というのも技術的にはアリかもしれませんね。

2. 実装(ソフトウェアレイヤ)

繰り返しになりますが,オーグマーの機能は「覚醒状態の人間に視覚・聴覚・触覚情報を送り込む」ですから,ユーザーの中枢神経系を刺激してやる必要があります。

ここで中枢神経系を刺激するというのは,特定部位のニューロンへ強制的に電位を発生させるということです。電位を発生させるには,電気的刺激を与えるか,あるいは神経伝達物質を調整するかどちらかの方式がありえますが,今回は前者の方式を取ります。視覚・聴覚・触覚を刺激する必要があるので,視覚野・聴覚野・運動野をそれぞれ刺激することになるでしょうか。あまり高次の受容野を刺激するのではなく,低次の受容野を刺激してやった方が良さそうです。

2.1. 刺激部位のマッピング

刺激部位の特定にはあらかじめ脳機能マッピングが必要です。

視覚なら視覚野を適当に刺激すれば良いわけではなく,各個人の脳の構造にあわせて刺激部位を調整(キャリブレーション)してあげなければいけません。これには,神経細胞と概念(知覚される映像・音声など)のマッピングが含まれます。つまり「どの部位を刺激すれば特定のモンスターの容姿を想起できるのか?その神経細胞はどこにあるのか?」ということです。

一説では,脳において概念の記憶はシナプスのネットワークに記録されており,また,ニューロンと概念は一対一対応ではなく,複数ニューロンシナプスの結合によって概念が形成されると言われています(スパースコーディング)。これを外部刺激することによって特定の知覚を与えることは非常に困難ではありますが,既にいくつか簡単な事例が出てきています。

個人的にはこの刺激部位のマッピングが一番興味深いポイントでした。たぶん,オーグマーを買ったらまずキャリブレーションしないといけないんだと思います。映画を観ている最中も「あんなに激しく動いたらせっかくキャリブレーションした刺激部位がズレてまう!!」と変なところで手に汗握っていました。

2.2. 知覚のフレームレート

外部刺激による知覚は継続的に与えていかなければ,ARのリアル感に大きく影響します。せっかくARゲームを楽しんでいるのに,途中で外部刺激が途切れてチラチラとリアルワールドが見えたりしてほしくないですよね。とはいえ,ユーザーが動いてオーグマーが簡単にズレてしまうような環境では,正確な刺激の継続は困難です。できれば正確かつ継続的な刺激はなるべくサボれるようにして,それでいてstableに知覚を与えたい。

そこで,直接対象イメージ(モンスターなど)の知覚を与えるのに加えて,「現実の物体があたかもゲームオブジェクトに見える」ような錯覚を誘導してあげる実装もアリだと思います。これにはプライミング刺激などが応用できるかもしれません。もし知覚と知覚のフレームの間を錯覚によってシームレスに繋ぐことができれば,スムースで「ヌルヌル」したARゲームが楽しめます。例えるなら,アニメーションのフレームとフレームをモーションブラーで補うようなイメージ。

錯覚を利用したフレーム埋めは,現実の空間情報を使うARならではの方式です。ちなみに,本映画の空間情報についての考察はこちらの記事が面白かったのでご紹介しておきます。

niryuu.hatenablog.com

まとめ

あとはゲームサーバからオーグマーへの通信プロトコルなんかも滅茶苦茶気になりますね。作中ではゲームサーバが1台しか無いっぽくて「マジか…大丈夫か…」と思いましたが,その辺のインフラ事情も気になります。多分2022年には「オーディナル・スケールを支える技術」みたいな記事がQiitaに投稿されているはず。

まとまりのない文章になってしまいましたが,あーだこーだ言わずとも面白い映画です。みんなも観に行きましょう!

参考文献

カンデル神経科学

カンデル神経科学

  • 作者: 金澤一郎,宮下保司,Eric R. Kandel,James H. Schwartz,Steven A. Siegelbaum,Thomas M.Jessell,A. J. Hudspeth
  • 出版社/メーカー: メディカルサイエンスインターナショナル
  • 発売日: 2014/04/25
  • メディア: 大型本
  • この商品を含むブログ (1件) を見る

生体物理刺激と生体反応

生体物理刺激と生体反応