Projects
SteamPunk Digital
メニュー
メニュー
2020/6/17~2021/3/31
Client: paralreal
Technologies: AR, XR, Xmeet, XR Communication
近年の社会的背景として、テレビ会議システム技術の発展と普及により、遠方に住んでいる人とのコミュニケーションがより身近になりました。また昨今の新型コロナウイルスの影響によるリモートワークの推進や少子高齢化による働き手の減少と地域格差への対策など、遠隔コミュニケーションシステムの需要がますます高まっています。
しかし、従来の遠隔コミュニケーションシステムではいくつか課題があります。
テレビ会議システムでは、相手の存在感を感じられない、誰に向かって話しているのかの把握が困難などの課題が挙げられます。
また、近年ではVR会議システムも登場し、2Dと3D両方のデータを扱えるようになりましたが、アバターが簡素で相手の表情がわからない、現実の作業空間を主とした会議ができないなど、テレビ会議とは別の課題が考えられるようになりました。
しかし、”Xmeet”はARグラスやスマートフォン、タブレットを使用して離れた人と3Dでコミュニケーションをとることができる新しいシステムです。そのため、テレビ会議とVR会議システムの両方で考えられた問題を解決できます。
さらに今後は、当社が開発した”Monocle Scanner”や”Monocle Cloud”とも連携し、その場でスキャンした物体の3Dデータをアップロードして即座に共有できるリアルタイムコラボレーションを実現する予定です。
“Xmeet”は、人物の姿などのホログラフィックイメージを送信するSenderと受信して表示するReceiverの2種類のアプリケーションで構成されています。
SenderアプリではAzure Kinectを用いて人物の姿をリアルタイムにキャプチャし、ネットワーク上の全てのReceiverアプリに送信します。
Receiverアプリでは人物のリアルタイムな姿や振る舞いを受け取り、AR技術を用いて立体的に表示します。
つまりテレビ会議で用いるWebカメラの代わりにKinect、PCのモニタの代わりにARグラスなどのAR機器を使うだけで手軽に3Dコミュニケーションを実現できます。
ユーザーは送信用アプリケーションの”Xmeet Sender”を起動します。
画面下の4つのボタンで、Kinectの画角と解像度の組み合わせを選択します。
次に、Azure Kinectで計測する範囲を設定すれば、送信の準備は完了です。
Nreal Lightとスマートフォンを接続したら、Nreal Light用の受信アプリケーションを起動します。
送信アプリケーションとの接続が完了すると相手のホログラフィックイメージが表示されます。
スマートフォンを動かすとレーザーポインターが連動します。
ポインターをホログラムの移動ボタンに合わせると、ホログラフィックイメージの操作が可能になります。
スマートフォンの画面内の対応する領域を押してホログラフィックイメージの移動や回転を行うことができます。
スマートフォン・タブレット用の受信アプリケーションを起動します。
送信アプリケーションとの接続が完了すると相手のホログラフィックイメージとコントロール用のオブジェクトが表示されます。
コントロール用オブジェクトの面指でおさえて画面をなぞったり、端末を持って動くことで移動できます。また、立方体の辺の太いバーを指で操作すると回転します。
“Xmeet”を使用すれば、離れたところにいても現実世界をベースとした3Dホログラフィックイメージで、相手の姿や表情を確認しながら円滑にコミュニケーションをとることができます。
さらに、2つのAzure Kinect “Sender “システムを双方の環境に設置し、同時にホログラフィックイメージの中に存在してコラボレーションを行うことで、同じ場所にいるかのようにお互いの存在感を感じることができます。
また、”Xmeet”は九州大学の協力のもと評価実験を行った結果、既存のビデオ会議システムよりも相手の存在感やコミュニケーションの質が高いことが示されました。
観光業界や教育分野に導入することで、”Xmeet”の特長を最大限に生かせると考えています。
お気軽にお問い合わせください。