スマホ上でリアルタイムに3Dホログラムを――MIT、深層学習を活用した新技術を発表

Image: MIT News, with images from iStockphoto

マサチューセッツ工科大学（MIT）の研究チームは、リアルタイムに3Dホログラムを生成する「テンソルホログラフィ」を開発した。深層学習をベースにした省メモリ技術のため、ノートPCやスマートフォンでも即時に実行できる。VR／AR、3Dプリンター、医療分野での活用が期待される。研究結果は、2021年3月10日付けの『Nature』に掲載されている。

1900年代中旬に発明された初期のホログラムは、独特の奥行き感を持つが、動きを捕らえられない。その後、計算機合成ホログラフィ（CGH）が登場したが、物理シミュレーションに莫大なコストと時間がかかるうえ、オクルージョン（前方の物体が後方の物体を隠すこと）の再現が難しく、自然な奥行き感を表現できていない。

そのため、「ホログラフィックディスプレイの商品化は10年以内」と言われ続けてきたにも関わらず、既存のディスプレイに置き換わる主力デバイスには至っていない。民生グレードのハードウェアでは、リアルタイム3Dホログラフィの再生は不可能だとも考えられてきた。

研究チームは、人間が視覚情報を処理する方法を模倣するため、トレーニング可能なテンソルを使った畳み込みニューラルネットワークを設計した。また、これまで3Dホログラム用の大規模で高品質のデータセットは無かったため、チームは写実的なトレーニングデータとなる4000組のデータセットを作製した。それぞれ、色と奥行きのピクセル情報を持つ画像とそれに対応するホログラムが対になっている。

テンソルネットワークは、各画像ペアから学習することで自らの計算パラメータを微調整し、ホログラム生成能力を強化していった。十分に最適化されたネットワークは、物理ベースの計算と比べて桁違いの速さで動作した。

「その性能の素晴らしさに驚いた」と、研究を指導したWojciech Matusik教授は語る。この技術では民生グレードのGPUを使い、わずか数ミリ秒の間に1MB以下のメモリ使用量で、色と奥行き情報を持った画像から3Dホログラムを生成できる。また、内蔵AIアクセラレーションチップを活用することで、スマートフォン（iPhohe 11）やエッジデバイス（Google Edge TPU）でもインタラクティブに動作できるとしている。

リアルタイムで自然な奥行き感を表現できることから、適用範囲は広いと考えられる。VRヘッドセットに搭載すれば、眼精疲労や不快感を抑えつつ、より没入感の高い体験を提供できるだろう。研究チームはその他、位相変調ディスプレイ、体積型（ボリュメトリック）3Dプリンター、ホログラフィック顕微鏡への応用も提案している。

スマホ上でリアルタイムに3Dホログラムを――MIT、深層学習を活用した新技術を発表