ソニーは2020年5月14日、AI（人工知能）処理機能を搭載した世界初のインテリジェントビジョンセンサー「IMX500」と「IMX501」の2タイプを商品化すると発表した。サンプル価格はIMX500が1万円、IMX501が2万円。各税抜き。
左:IMX500、右:IMX501
両製品は、画素チップとロジックチップを重ね合わせた積層構造を採用し、ロジックチップにAIによる画像解析処理の機能を搭載。画素チップには有効約1230万個の裏面照射型画素を配置しているため、情報を広い視野角で捉えられる。
一方でロジックチップには、通常のイメージセンサーの信号処理回路だけでなく、AIに特化した信号処理を担う同社独自のDSP（Digital Signal Processor）と、AIモデルを書き込めるメモリを搭載。そのため、画素チップで取得した信号をセンサー内でAI処理でき、高性能なプロセッサや外部メモリーなしでエッジAIシステムを実現できる。
具体的には、画素チップから取得した信号は、ロジックチップで処理する過程でISP（Image Signal Processor）処理やAI処理し、対象物をメタデータ（撮像データに属する意味情報）で出力する。そのため、扱うデータ量の削減が可能。また、画像情報を出力しないため、セキュリティリスクを低減し、プライバシーに配慮した対応ができる。
出力データの形式は、ニーズや用途に応じて、通常のイメージセンサーの撮影画像、ISP出力形式の画像（YUV／RGB）、特定領域のみ切り出したROI（Region of Interest）画像などを選択できる。
また、ロジックチップがISP処理、高速なAI処理（MobileNet V1の場合、3.1ミリ秒の処理時間）をするため、全ての処理が動画の1フレーム内で完結する。そのため、動画を撮影しながら、対象物を高精度にリアルタイムトラッキングすることが可能だ。
ユーザーは、メモリに任意のAIモデルを書き込み、使用環境や条件に合わせて書き換え、アップデートできる。例えば、消費者行動を把握するために使用するAIモデルなどに、これまでヒートマップの検出に使用していたAIモデルを書き換えることもできる。
