東芝は2021年9月15日、画像に対する質問に高精度で回答可能な質問応答AI（人工知能）を開発したと発表した。
同AIは、画像に映る人物や物だけでなく、背景を含めた色、形状、状態などの情報に関する画像や質問、回答を学習できる。これにより、人物や物の場所や状況を反映した質問に対応可能となった。約3000種類の回答の選択肢から、質問に応じた適切な回答を提示する。
例えば、生産現場において潜在的な危険要因（ヒヤリハット）の検知に活用できる。「黒い足場の上にいるか」「足場に物が落ちていないか」など、それぞれの現場に応じたモニタリングが可能となる。
「画像＋質問」という汎用的なフォーマットを用いており、項目に合わせて質問文を用意するだけで、点検項目の変更や追加にも対応できる。従来手法では、何をもとに点検箇所の判定をするのか（判定機能）を点検項目に合わせて構築する必要があるため、点検項目の変更や追加への即座の対応が困難だった。
公開データセットを用いた実験を行ったところ、事前学習を行っていない場合のAI回答正解率が66.25%（従来手法では65.88%）、行った場合は74.57%（従来手法では74.00%）となった。同社発表によると、それぞれ世界最高精度に達しているという。
画像に対する質問応答結果の例
画像と質問から回答を推定する形式であれば汎用的に利用できるため、生産現場の安全モニタリングに加えて、放送コンテンツからの特定シーンの検索、ドライブレコーダーや監視カメラ映像からの特定の状況や人物の検索、状況が類似した過去のヒヤリハット事例検索などにも応用できる。
同社は、2023年度中の安全モニタリングシステムへの導入を目標に、システム開発および回答精度のさらなる向上を図る。
