東京工科大学 コンピュータサイエンス学部 BLOG

人工知能による深度画像の推定

今回は，石畑研究室4年のS君(カラー画像の推定を行ったSくんとは別人です)が行った深度画像の推定です．
深度画像とは，画像の三次元的な奥行き情報を示した画像です．
深度画像を普通の画像として表示すると，遠いところは白く，近いところは黒く表示されます．

普通のカラー画像から，それぞれの画素の奥行き方向の位置を推定します．
部屋の写真で，ベッドと壁が写っていたとします，
人間だったら，壁の方が奥にあるのはすぐ分かります．
これを人工知能にやらせようというものです．
この研究も，多くの研究があり，ニューラルネトワークを使用したものもすでに発表されています．
やはり，先行研究の方法はかなり複雑なので，それを真似してもう少し簡単にしてみることに挑戦します．

ところで，カラー画像から深度画像が推定できると何の役に立つのでしょうか．
一時PokemonGoというゲームが流行りました．
ポケモンを捕まえる時に，カメラをonにしておくと，周りの画像上にポケモンが現れるように表示されます．
(ほとんどの人はこの機能を使って無いようですが)
ポケモンが遠くいた場合，画像中の前の方に物体があった場合，
その物体によってポケモンが隠れて表示されないと変なことになります．
これを実現するためには，画像の奥行き情報が必要になります．
下の絵であれば，ゴルバットは椅子に隠れて欲しいのです．

今回は，カラー画像と深度画像のセットが必要ですが，
Kinnectという装置を使って，データ収集をしました．
研究室近辺のいろいろなところをいろいろな方向から撮ってデータを蓄積しました．

前回同様，とりあえず簡単なニューラルネットワークで実験しました．
左側がカラー画像，真ん中がKinnectで撮った深度画像，右側が適当なニューラルネットで
復元したものです．
学生には，先行研究を参考にネットワークの構成を変えてみるよう言いました．

続きを読む "人工知能による深度画像の推定"

人工知能で手ブレ画像の修復

今回は，石畑研究室4年のA君が行ったブレ画像の修復です．
手ぶれなどでぼやけてしまった画像を修復してみようというもので，昔から多くの研究がされています．
ニューラルネトワークを使用したものも，すでに何件か発表されています．
先行研究の方法はかなり複雑なので，やはりそれを真似してもう少し簡単にしてみることに挑戦します．

前回同様，研究室に私が撮った写真がいっぱいあるのでそれをデータとして利用しました．
入力データは，カラー画像を白黒画像に変換して使用します．
手ぶれ画像は，1枚の画像を手ぶれ方向に少しずつずらした画像を合成して作成します．
例えば，横にぶれた画像なら，横方向に1画素ずらした画像，2画素ずらした画像，．．．
を作り全部を合成する感じです．

人工知能(ニューラルネットワーク)には，作ったブレ画像を入力として与えて，ブレていない画像を出力
させます．

出力してきたデータを元の正解画像と比較して，訓練を進めます．
この辺は，前回の白黒画像への色付けと同じです．
白黒写真の色付け同様，とりあえず簡単なニューラルネットワークで実験しました．

上手くいかないと報告してきたので見てみると，
おお！！ダメダメだ．
左側が，ブラす前の元画像，真ん中がブラした画像，右がニューラルネットで復元してみた画像です．
ブラす方向と量を3通り変えたものを表示しています．

続きを読む "人工知能で手ブレ画像の修復"