田胡・柴田研究室の柴田です．
ICGI2016 という国際会議があり、Sequence PredIction ChallengE
と呼ばれる機械学習(人工知能)に関するコンテストが行われました。
このような学術的なコンテストは、国際会議で、しばしば併催されます。
参加者は、登録者数約 65 チーム, 参加者数 17チーム, 最終提出者数 12 チーム
で、日本、中国、ヨーロッパ等、世界中の研究機関(主に大学)から集っていました。

そのコンテストでなんとまた優勝しました！
コンテストコンテスト
オランダのデリフトというところで会議があったのですが、
優勝者トークを行ってきました。
また、細かいことですが、
優勝賞品としてオランダの伝統工芸？のお皿や、優勝賞金として500ユーロなど、
いろいろいただきました。
日本語なのでこのブログは読んでないだろうけど、
会議のオーガナイザーの方、ありがとうございます。m(__)m

左から、コンテストのオーガナイザーの方、私、Jeffrey Heinz 先生 (Delaware 大学;
用いた手法の共同研究者)です。

どのようなコンテストかというと、
記号列の集合からなる学習用データセットを与えられて、
参加者はそれをもとに、各自自由に「モデル」（ここで、モデルとは、記号列の集合をうまく表現できるような
なんらかの構造のことです。）をマシンに学習させます。
その後、記号列の一部(prefix)のみからなる集合が公開され、それをもとに、
学習データから、次に来るべき記号を予測します。

用いられたデータの構成は、様々な国の自然言語や、ネットワークのアクセスログや通信データなど、
様々なところから取られたものとなっています。

母体の国際会議 ICGI は、文法推論の理論と応用に関する
国際会議です。
なんとも難しげで、専門的になってしまうのですが、
記号列をうまく表現するためのモデルを学習(機械学習)する
ことが会議の関心となっています。
確率オートマトンや 隠れマルコフモデル、確率文脈自由文法
などご存知の方は、そういう確率モデルを提案し、また学習すること、
と考えてもらえばとおもいます。
応用としては、記号列の予測や圧縮などがあります。

例えば、
* 映画のプロットやツイッターなどからとった文を学習させ、それらしい文を機械に生成させる。
* ネットワークトラフィックのパターンを学習させ、将来のトラフィックを予測し、負荷分散などを行う。
* 株価の変動を学習させ、直近の株価の動きから、次の日の株価の値を予測する。
などなど
が応用として考えられます。

私は、最近注目を浴びている深層学習の技術を用いて学習させました。
LSTM と呼ばれる深層ニューラルネットワークのモデルに、
長距離依存関係を明示的に保存できる特殊な
ベクトル表現を加えることにより、改良を行った手法を用いました。

最近、人工知能がマスメディアでも注目を浴びていますが、
深層学習はその中核をなす機械学習の技術です。
ニューラルネットワークという人間の脳の神経回路を模した
確率モデルを学習するものです。

今回のコンテストも、上位1位-3位は全員、
深層学習の手法を使っていて、
それに続いて統計的な学習手法が来ていましたので、
まさにその事実を反映している気がしました。

会場の写真ですが、休憩時間に撮ったので、だれもいません。。

会議のエクスカージョンで行った、デリフトの陶器工場です。
そこでタイルを私も他の参加者と一緒に体験でタイルを作りました。
真ん中下あたりの猫のやつです。
郵送してもらっているのですが、まだ届いていません。。
いつになるかわかりませんが、届いたらアップします。
今回は、教員一人で参加したのですが、
次回は、学生さんと一緒に参加できたらいいなと思っています。