AI Technology

学習していないノイズ量にも対応できるディープラーニング型画像ノイズ除去技術を開発

2018年06月15日

概要

当社は、あらかじめ学習していないノイズ量にも対応できる深層学習(ディープラーニング)型画像ノイズ除去技術を開発しました。これにより、学習範囲を超えたノイズ量の画像であってもノイズを除去し高画質な画像を得ることができるようになります。本技術の詳細について、6月13日から横浜で開催されている第24回画像センシングシンポジウムにて発表しました。

開発の背景

写真や動画を撮影すると、本来の情景を覆うように画像全体にざらざらとした粒状のノイズが生じます。このようなノイズは、画質を悪くするだけでなく、例えば監視カメラでは被写体の視認性を低下させ、ロボットの目などの物体認識カメラでは認識精度を低下させるため、多くの場合、撮影後にデジタル処理を用いて除去します。この画像ノイズ除去においては、ノイズだけを取り除き、本来の情景をぼかさずに正確に復元することがポイントとなります。
ノイズ除去の方式としてはこれまで、開発者がアルゴリズムを細かく設計するハンドクラフト方式が多く開発されてきましたが、近年、AIの開発が盛んとなり、ノイズ除去にも深層学習を用いることで高い復元精度が得られることが分かりました。
従来の深層学習方式では、学習データに含まれるノイズ量に最適化された固定のニューラルネットワークが構築されるため、あらかじめ学習したノイズ量の画像に対しては高画質な画像が得られますが、ノイズ量は周囲の明るさやカメラの露光時間によって変化することから、学習時と異なるノイズ量の画像に対しては調整ができず、十分なノイズ除去効果が得られませんでした。

本技術の特徴

そこで当社は、あらかじめ学習していないノイズ量であっても対応できる深層学習型ノイズ除去技術を開発しました。ニューラルネットワークでは、脳の神経細胞を模した活性化関数でデータを変換します。これまでは、活性化関数として、負のデータを全てゼロにして、正のデータはそのままとするReLU(rectified linear unit)関数が多く用いられてきましたが、今回新たに、絶対値がしきい値以下のデータをノイズとみなしてゼロにするSoft-shrinkage関数を採用しました。更に、しきい値をノイズ量に比例して切替え、入力される画像のノイズ量に応じてノイズ除去の対応範囲を変更できるようにすることで、学習範囲を超えたノイズ量にも対応できるようにしました。本技術により、深層学習方式においてノイズ除去の強さが調整可能となり、想定外のノイズ量の画像に対して復元誤差が従来の深層学習型ノイズ除去技術に比べ1/3以下に改善し(注1)、十分な画質が得られるようになりました。

きれいな原画像に学習した量より多いノイズを実験的に付加したノイズ画像。

従来の深層学習画像ノイズ除去方式で処理した画像。ノイズが多く残る。

開発した深層学習画像ノイズ除去方式で処理した画像。ノイズを除去できる。

今後の展望

本技術と、各システムに応じたノイズ量推定技術を組み合わせることで、高精度な映像システムの早期実現を目指していきます。

(注1)まず、深層学習型ノイズ除去の画質評価によく用いられる、Berkeley Segmentation Data Set and Benchmarks(カリフォルニア大学バークレイ校から配布)の400枚の256階調の原画像に標準偏差22.5から27.5のノイズを付加したノイズ画像で学習しました。次に、別の68枚の原画像に標準偏差40のノイズを付加したノイズ画像に対してノイズ除去を行い、得られた処理画像の復元精度を評価しました。処理画像の原画像に対する誤差(平均二乗誤差の68枚の平均)が、従来方式では468であったのに対し、開発方式では137と1/3以下に改善しました。