- 2019-9-10
- ニュース, 制御・IT系, 技術ニュース
- NEDO, PCAS, アテンションモジュール, エッジデバイス, チャネルプルーニング, ディープラーニング, 新エネルギー・産業技術総合開発機構, 沖電気工業, 深層学習, 演算軽量化, 研究
今回開発したモデル軽量化技術
新エネルギー・産業技術総合開発機構（NEDO）は2019年9月9日、沖電気工業（OKI）と共同で、ディープラーニングモデルにおいて、認識性能の劣化を最小限に抑えながら演算量を大幅に削減する技術を開発したと発表した。
ディープラーニングは画像や音声認識において優れた性能を有するが、多層化による演算量やパラメーターの増加によって、大量の演算リソースや電力を必要とする。車載用途やスマートフォン、組み込みIoTデバイスなどのエッジデバイスが普及する中、限られた演算リソース上でも高性能なモデルを高速、省電力に実行するため、モデルの軽量化技術が求められている。
軽量化技術には、従来チャネルプルーニングという手法があるが、リソース抑制のためのチャネルの削減率の設定を層ごとに行う必要があり、手間がかかる上に全体として最適な削減にならないという課題があった。
今回開発した軽量化技術は、OKI独自のチャネルプルーニング技術「PCAS（Pruning Channels with Attention Statics）」を発展させたものだ。PCAS技術は、フィルターとの畳み込み演算の結果を保持するチャネルの重要度の推定に、認識時の重要情報に着目するための手法であるアテンションモジュールを導入することで、認識性能を維持しつつ、課題であった層単位での削減率設定を不要にするものだ。
層間に挿入したアテンションモジュールに、後段の層への情報伝播を抑制する構造を持たせ、モデル全体の推論誤差を最小化する学習を経過することで、全体最適による重要度推定を可能にした。これにより、高精度モデルによるベンチマークテストにおいて、認識精度劣化を1％に抑えつつ、積和演算回数と処理時間をいずれも約80％削減させた。
今回開発した技術によって、高度なAIの小規模、省電力運用が可能になり、演算能力に限界があるエッジデバイスなどでも高度なAIを搭載できるようになる。また、サーバークライント環境における高度なAIの、小規模、省電力運用が可能になるという。
