PROJECT Case 08

2020/6/17~2021/3/31

Client: paralreal

Technologies: AR, XR, Xmeet, XR Communication

paralreal
【Xmeet ARとホログラフィックコミュニケーションプロジェクト】

現実世界と仮想世界を融合させるシステム"Xmeet"

スチームパンクデジタルは、VR・XR技術で新常識のライフラインを創造することを目的とした、paralreal(株)企画のパラレアルプロジェクトに参画しました。
 
先日オープンしたパラレアルラボでは、現実世界と仮想世界を融合した技術が体験できます。
 
スチームパンクデジタルは、そのパラレアルラボで体験できる新技術として、ARデバイスやホログラフィックグラスに物理世界を伝送する遠隔ホログラフィックコミュニケーションシステム”Xmeet”を開発しました。

"Xmeet"とは?

近年の社会的背景として、テレビ会議システム技術の発展と普及により、遠方に住んでいる人とのコミュニケーションがより身近になりました。また昨今の新型コロナウイルスの影響によるリモートワークの推進や少子高齢化による働き手の減少と地域格差への対策など、遠隔コミュニケーションシステムの需要がますます高まっています。

しかし、従来の遠隔コミュニケーションシステムではいくつか課題があります。

テレビ会議システムでは、相手の存在感を感じられない、誰に向かって話しているのかの把握が困難などの課題が挙げられます。

また、近年ではVR会議システムも登場し、2Dと3D両方のデータを扱えるようになりましたが、アバターが簡素で相手の表情がわからない、現実の作業空間を主とした会議ができないなど、テレビ会議とは別の課題が考えられるようになりました。

しかし、”Xmeet”はARグラスやスマートフォン、タブレットを使用して離れた人と3Dでコミュニケーションをとることができる新しいシステムです。そのため、テレビ会議とVR会議システムの両方で考えられた問題を解決できます。

さらに今後は、当社が開発した”Monocle Scanner”や”Monocle Cloud”とも連携し、その場でスキャンした物体の3Dデータをアップロードして即座に共有できるリアルタイムコラボレーションを実現する予定です。

使い方

人物の姿の送信準備

“Xmeet”は、人物の姿などのホログラフィックイメージを送信するSenderと受信して表示するReceiverの2種類のアプリケーションで構成されています。

SenderアプリではAzure Kinectを用いて人物の姿をリアルタイムにキャプチャし、ネットワーク上の全てのReceiverアプリに送信します。

Receiverアプリでは人物のリアルタイムな姿や振る舞いを受け取り、AR技術を用いて立体的に表示します。

つまりテレビ会議で用いるWebカメラの代わりにKinect、PCのモニタの代わりにARグラスなどのAR機器を使うだけで手軽に3Dコミュニケーションを実現できます。

送信用アプリケーションの設定

ユーザーは送信用アプリケーションの”Xmeet Sender”を起動します。

画面下の4つのボタンで、Kinectの画角と解像度の組み合わせを選択します。

次に、Azure Kinectで計測する範囲を設定すれば、送信の準備は完了です。

Nreal Light(ARグラス)用の受信アプリケーション の使い方

Nreal Lightとスマートフォンを接続したら、Nreal Light用の受信アプリケーションを起動します。

送信アプリケーションとの接続が完了すると相手のホログラフィックイメージが表示されます。

スマートフォンを動かすとレーザーポインターが連動します。

ポインターをホログラムの移動ボタンに合わせると、ホログラフィックイメージの操作が可能になります。

スマートフォンの画面内の対応する領域を押してホログラフィックイメージの移動や回転を行うことができます。

スマートフォン・タブレット用の受信アプリケーション の使い方

スマートフォン・タブレット用の受信アプリケーションを起動します。

送信アプリケーションとの接続が完了すると相手のホログラフィックイメージとコントロール用のオブジェクトが表示されます。

コントロール用オブジェクトの面指でおさえて画面をなぞったり、端末を持って動くことで移動できます。また、立方体の辺の太いバーを指で操作すると回転します。

"Xmeet"の運用結果

“Xmeet”を使用すれば、離れたところにいても現実世界をベースとした3Dホログラフィックイメージで、相手の姿や表情を確認しながら円滑にコミュニケーションをとることができます。

さらに、2つのAzure Kinect “Sender “システムを双方の環境に設置し、同時にホログラフィックイメージの中に存在してコラボレーションを行うことで、同じ場所にいるかのようにお互いの存在感を感じることができます。

また、”Xmeet”は九州大学の協力のもと評価実験を行った結果、既存のビデオ会議システムよりも相手の存在感やコミュニケーションの質が高いことが示されました。

観光業界や教育分野に導入することで、”Xmeet”の特長を最大限に生かせると考えています。

その他プロジェクト

xmeet01
Projects
#AR#Xmeet#XR

paralreal【Xmeet ARとホログラフィックコミュニケーションプロジェクト】

hasami01
Projects
#AR#Photogrammetry

わんこうぼう【波佐見焼3D化プロジェクト】

hankyu
Projects
#3D Scanning#AR

博多阪急 【2021 ドールハウスフェア (スチームパンク)】

museum
Projects
#AR#Monocle SS

福岡市博物館【おうちDE楽しめる3D福岡市博物館】

sarayama
Projects
#3D Scanning#AR

ファブラボ太宰府【白石皿山人形復刻プロジェクト】

adal01
Projects
#AR#WebXR

ADAL 【“Look into Nature” Web XR プロジェクト】

CONTACT

お気軽にお問い合わせください。

SteamPunk Digital, Co. Ltd.

814-0001 福岡県福岡市早良区百地浜3-8-33 7F-705

092-984-6874​