東京工業大学とNEC、AIで悪条件下の視認性を格段に向上する「マルチモーダル画像融合技術」を共同開発

東京工業大学とNEC、AIで悪条件下の

視認性を格段に向上する

「マルチモーダル画像融合技術」を

共同開発

―可視光と非可視光の画像を自動で合成―

2017.06.05

東京工業大学ニュース

詳細は、リンクを参照して下さい。

---------------------------------------

　国立大学法人東京工業大学 工学院

奥富正敏教授、田中正行特定准教授らの

研究グループ（以下、東京工業大学）と

NECは、一般カメラで撮影した可視光画像

と、熱をとらえるサーモカメラなどで

撮影した非可視光画像を、

AIを用いて自動的かつ効果的に合成し、

それぞれの画像単独では捉えにくかった

対象物・状況の視認性を格段に高める

「マルチモーダル※1画像融合技術」を

共同開発しました。

　本技術により、瞬時の視認が必要となる

様々な分野で、悪条件下でも正しい

状況判断が可能になります。

　例えば、夜間や濃霧などの悪天候下

でも活用可能な施設監視、対向車の眩しい

ヘッドライトや暗闇による死角があっても

運用できる自動運転支援、

建物のひび割れなど表面だけでなく

内部の異常まで検査可能にする

インフラ点検などです。

　従来、異なる種類のカメラの画像を

合成するには、専門家による手動での

複雑な変換作業が必要でした。

　本技術は、それぞれのカメラから

得られた画像をAIによって、

効果的かつ自動的に合成することで

この手作業を不要にします。

　さらに、可視光画像と非可視光画像の

それぞれの長所を積極的に活用すること

で、従来は視覚化が困難だったシーンでも

高い視認性が得られます。

　東京工業大学とNECは、今後も産学連携

の仕組みを通じて、さまざまな

社会インフラを安全・安心に運用する

セーフティ事業の鍵となる画像処理

ならびにAI関連技術の研究開発を

進めていきます。

-----

新技術の特長

・複数の画像から視認性が高い部分を

　AIが自動的に選択し、かつ非可視光画像

　に含まれるわずかな特徴を強調しながら

　合成することで、従来の限界を打ち破る

　高い視認性を実現

・サーモカメラやテラヘルツカメラ

　といったカメラの種類や、

　環境の特性

　（明るさ、光線の方向、障害物の有無

　　など）に応じて、AIが画像内の

　各部分の視認性の度合いを評価、

　各画像から最適な領域のみを

　自動的に抽出

・さらに、非可視カメラの画像中の、

　異常や危険物などに関するわずかな特徴

　をAIが解析し、白とびや黒潰れなどの

　画像破たんが生じない、

　適切な強調の度合いを判断しながら、

　従来にない高い視認性を持つ

　マルチモーダル（可視―非可視）な

　融合画像を自動的に生成

---------------------------------------

　AI(多分深層学習ですね)の応用例

です。

　画像認識に関わるもので、いろいろ

出て来ますね。

＞複数の画像から視認性が高い部分を

＞AIが自動的に選択し、かつ非可視光

＞画像に含まれるわずかな特徴を強調

＞しなが合成することで、従来の限界

＞を打ち破る高い視認性を実現。

　面白い応用ですね。

　今後に期待しています。