人工知能による深度画像の推定
2017/02/16
今回は，石畑研究室4年のS君(カラー画像の推定を行ったSくんとは別人です)が行った深度画像の推定です．
深度画像とは，画像の三次元的な奥行き情報を示した画像です．
深度画像を普通の画像として表示すると，遠いところは白く，近いところは黒く表示されます．
普通のカラー画像から，それぞれの画素の奥行き方向の位置を推定します．
部屋の写真で，ベッドと壁が写っていたとします，
人間だったら，壁の方が奥にあるのはすぐ分かります．
これを人工知能にやらせようというものです．
この研究も，多くの研究があり，ニューラルネトワークを使用したものもすでに発表されています．
やはり，先行研究の方法はかなり複雑なので，それを真似してもう少し簡単にしてみることに挑戦します．
ところで，カラー画像から深度画像が推定できると何の役に立つのでしょうか．
一時PokemonGoというゲームが流行りました．
ポケモンを捕まえる時に，カメラをonにしておくと，周りの画像上にポケモンが現れるように表示されます．
(ほとんどの人はこの機能を使って無いようですが)
ポケモンが遠くいた場合，画像中の前の方に物体があった場合，
その物体によってポケモンが隠れて表示されないと変なことになります．
これを実現するためには，画像の奥行き情報が必要になります．
下の絵であれば，ゴルバットは椅子に隠れて欲しいのです．
今回は，カラー画像と深度画像のセットが必要ですが，
Kinnectという装置を使って，データ収集をしました．
研究室近辺のいろいろなところをいろいろな方向から撮ってデータを蓄積しました．
前回同様，とりあえず簡単なニューラルネットワークで実験しました．
左側がカラー画像，真ん中がKinnectで撮った深度画像，右側が適当なニューラルネットで
復元したものです．
学生には，先行研究を参考にネットワークの構成を変えてみるよう言いました．
