予選突破後の2nd stageについてです！

Open Challenge

Technical ChallengeではMiniで文字OCR音声読み上げのデモを行いました！僕が担当しました。本番では急遽現地スタッフが書いた英文を読み上げるというデモを行いましたが、手書き文字認識の精度は低かったです。プリントされた文字で10.5 pxの文章の読み上げや、ポスターの読み上げは大変精度が高かったです。手書き文字を学習させる必要がありました。

OCRソフトウエアのパイプライン
chat bot
Miniで歩きまわる

OCRソフトウエアのパイプライン

1. カメラから画像を取り込む 2. binarization（黒と白のものを画像から分ける画像処理で黒色の文字を抽出する作業） 3. line segmentation（行ごとに分割する作業） 4. Long Short Term Memoryで１行ずつ行画像をテキスト文章に変換 5. テキスト文章を音声topicにpublishしてロボットが文章を読み上げる ※Long Short Term Memory : 時系列データのためのDeep Neural NetworkであるRecurrent Neural Networkのアルゴリズムの１つ。Recurrent Neural Networkは言語の数学モデルである有限オートマトン（行動・状態の変化の結びつきを数学的に表したもので状態・行動の種類が有限であるもの）を学習できる。現在Long Short Term Memoryは音声認識や手書きOCRで最高認識精度を持つアルゴリズム。 76点得点しました。

Wake me up

ロボットがベットにいる人を起こしてロボットが朝食を作る競技です。ロボットが人間が今寝ているか、起きているかを音声で話して検知することで得点することができます。僕が担当しました。僕は人間の状態検知での得点を狙いました。 Deep Neural Networkを使用した人間の姿勢検出に取り組みました。写真１枚から状態を検知します。この姿勢認識は人間の体の部位がすべてカメラ内に収まっていないと正確な認識ができません。そのため人間の体の部位がすべてカメラに収まるようカメラ位置補正が必要ですが、位置補正を行う余裕がありませんでした。競技では人間の体の部位がすべてカメラに収まることは一度もありませんでした。得点はできませんでした。

Robo Nurse

ロボットが診断をしたり薬を渡したり人間が倒れた際に救急車を呼ぶのがタスクの自律ロボット看護師競技です。僕が担当しました。今回も状態検知で得点を狙いました。前回の姿勢認識ソフトウエアを使用して人間の状態検知に取り組みました。今回は姿勢認識ソフトウエアに２つの別の問題が発生します。 1.倒れるしぐさは写真一枚では判定するのが難しいです。はじめは立って元気そうにしていても、急にしゃがむもしくは倒れるという動作のアニメーションがあるからです。そのため動画から変化を観察し状態を検知する必要がありました。 2. 倒れたときMiniのカメラの視界(45°FOVのカメラが高さ90cmのところについている）から人が消えてしまいました。これでは姿勢の判断は不可能です。カメラの視界を大きくするか（魚眼レンズ、全方位カメラ、複数のカメラ）カメラ部分が人を追跡をする必要があります。得点はできませんでした。

Restaurant

ロボットがお客さんのテーブルに移動しオーダーを取り食べ物を運んでくる競技です。僕は自然言語処理・音声認識,他のメンバーが自律ナビゲーション（車の自律走行と同じ技術）を担当しました。ソフトウエア開発は２人で行いました。前回のロボカップ世界大会②の記事の僕が開発したソフトウエアを使用すれば音声命令から意味が抽出できます。そのソフトウエアを元にオーダーした食べ物・飲みものをロボットに記憶させたり、お客さんのテーブル番号を音声命令から記憶するソフトウエアを開発しました。また自律ナビゲーションと同期させるため２台のPCをLAN接続してROSのトピックの送受信を行いました。ソフトウエア状態遷移の番号のROS Topicを元にロボットが自律ナビゲーションを行います。自然言語処理・音声認識のソフトウエアは場所を記憶してオーダーを取るところまで完成したのですが、自律ナビゲーション側がテーブル番号記録の状態遷移までしか実装されていませんでした。また、自律ナビゲーションの人追跡システムの誤認識が度々見られました。競技では1地点の場所を音声命令によって記憶することに成功したため５点得点し、Restaurantでは9チーム中4番目の得点になりました。9チーム中５チームが無得点だった難易度の大変高い競技でした。

全体結果

2nd stageはOpen Challengeを除くと9チーム中2チームが合計無得点という大変難易度が高い競技でした。僕達はOpen Challenge(76点）を除いて合計5点得点したのですが2nd stageと1st stageの得点が合計されるため、1st stageでマシントラブルが連発した僕達は残念ながら9位になりました。

Mini　子どもたち・女性に大人気！

chat bot

競技終了後早速Miniと会話ができるchat botの開発を行いました。パイプライン 1. 音声入力を受け取る 2. kaldi + pocketsphinxが音声処理して文字に変換しROSの文章topicにする 3. 文章topicから受け取った文章をN-gram baseのchat botが処理。返答を文字で出力してROS topicにする 4. 返答topicを受け取って音声合成、出力するこれによって、Miniと会話すればするほどよりMiniの会話能力が上がる会話学習機能が加わりました。