奈良先端科学技術大学院大学は2021年8月6日、同大学と東海大学、米アリゾナ州立大学の研究グループが、プロジェクターで壁など平面に投影した映像を指先で操作できるタッチセンシング技術を開発したと発表した。この技術を使えば、どんな平面でも、スマートフォンの画面のようにタッチディスプレイ化できる。
研究グループは、操作する指を撮影するカメラとプロジェクターを組み合わせて一体化し、画像をコンピューター処理することで、指で触れたかどうかを判定するシステムを構築した。
使用するカメラは撮影対象を1ラインずつ上から順に撮影することができるローリングシャッターという方式で、投影される平面に対し少し上部にある部分だけを、平面と平行の方向に数センチの厚みで撮影する。それによって、指をタッチした場合は指の一部が撮影され、タッチしなかった場合は指が撮影されないことになる。また、カメラは手だけを撮影し、プロジェクターの映像は撮影しないため、映像の手と本物の手を混同することもない。
（a）プロジェクタ映像にリアルな手が含まれていたときのタッチ操作の様子。（b）aに画像認識を使って手を検出した結果。間違えて映像上の手を認識している。（c）本研究の手法で撮影した結果。（d）本研究の手法で検出した指の位置の結果。
このように指が撮影されたかどうかでタッチしたかどうかを判定するので光源が不要で、使用するカメラは1台で済み、安価で小型なシステムとなる。
さらに、センシングする領域を適切に設定すれば、平面から1～2cm離れた位置でもタッチと判定させることができるようになり、将来的には画面に直接触れずに空中で指先を動かすだけで操作するタッチレス操作への応用も期待できる。
この研究成果は、国際学術誌IEEE ACCESSのEarly Access版でオンライン公開された。
