border2021 MR System Configuration (Visual Part Only)
HMDにVarjo XR-1を採用。Varjo XR-1を利用したMRシステムの構築にあたっては、Native SDK, Unity XR SDK, Unreal SDKといった選択肢があったが、border2021においては、Varjo Native SDKを使用してopenFrameworksのアドオンを作成し開発を行った。2015年のborderで開発したビジュアルアセットの効率的な移植と、HMDカメラ関連の特殊なタスクの処理が目的である。
特殊タスクとは、
・HMDのカメラのテクスチャを変形させる。
・本番前半のHMDカメラの映像と姿勢情報をメモリ上に記録し、終盤で逆再生する。
といったVarjo Unity XR SDK / Unreal SDKでは実現できない内容のことである。
また、HMDの姿勢をVICONシステムの座標系で処理するために、Varjo Tracking Plugin SDKを使用して、独自のプラグインを開発。VICON Trackerとのインテグレーションを行った。また独自の座標系のキャリブレーションソフトウェアも開発し、リアルのオブジェクトとCGのオブジェクトの合成がぴったり重なるするようにした。
WiFi APは2つ設置し冗長性を確保。また、データと配信映像送信でAPを分けることで姿勢情報伝送のレイテンシを最小限に抑えている。各マシンの監視用映像、配信用映像はOBSを使用して送出している。
各アプリケーションの動作ステータスやPCのハードウェアステータスを効率的にモニタリングできるシステムを開発し、問題が発生した際の迅速な復旧が可能となった。
border2021 HMD Monitoring App Screen