臨場感あふれるCG画像を高速で生成――新たなノイズ除去技術「Kernel-Splatting Network」

臨場感溢れるCG画像を高速に実現する、モンテカルロ法とディープラーニングを活用した、新たなノイズ除去技術Credit: Siggraph

MITとアドビシステムズ、ヘルシンキのアールト大学のコンピューター科学者からなる国際チームが、臨場感溢れる高品質の画像を短時間で生成する革新的なCG手法「Kernel-Splatting Network」を開発した。モンテカルロ・シミュレーション手法と新しいディープラーニング手法を使い、非常に短時間でノイズを除去できる。

ゲームや映画における多くのリアルな画像が、モンテカルロ・シミュレーション手法を用いたプログラムソフトにより作成されている。それは、モデルとなる画像イメージや現実場面における光線の径路や反射を、乱数サンプリングを基にしたモンテカルロ法によりシミュレートするもので、物体表面の質感や陰影など臨場感溢れるリアルな画像を生成し、高品質のレンダリングを生成することができる。

ところが乱数＝確率変数を使うモンテカルロ法によるレンダリングではその結果に分散が伴うため、これが画像を不鮮明にするノイズとなる。ノイズのない高品質な画像を得るためには、少なくとも1ピクセルあたり数100のサンプリングが必要であり、1画面の作成に数時間から数日も要するため、この時間短縮が大きな課題となっている。

ノイズを除去する後処理技術のひとつに、画像の隣接したピクセルの平均を取り、ノイズを滑らかにする方法がある。この手法は幾つかの映画の製作において活用されているが、サンプリングされた生の詳細な情報の多くが失われるとともに、ノイズが顕著な場合、精彩で鮮鋭な画像を回復するには至らないという欠点がある。

そこで研究チームは、この問題の解決のために、新しい種類の畳み込みディープラーニングに注目し、短時間化することにチャレンジした。キー技術として、カーネル予測計算フレームワークを採用し、個々のサンプリングデータを近接のピクセルへ反映させ、モーションブラー（motion blur：被写体のぶれ）や被写界深度を解決し、画像を鮮鋭化するスプラッティングを行っている。研究チームは、多様なモデル場面についてディープラーニング・システムに繰り返し学習させ、リアルな画像を得るKernel-Splatting Networkシステムを構築することに成功した。

「このアルゴリズムは、ノイズの多い入力画像から、少ないサンプリングデータで、精彩な画像のプレビューを迅速に作成するのに有効だ」と、研究チームは語る。将来的にはこの手法をスケールアップし、ノイズ除去された画像のフレーム間の滑らかさを実現できる技術を探索するとしている。

臨場感あふれるCG画像を高速で生成――新たなノイズ除去技術「Kernel-Splatting Network」