Deep Learningを用いて、マイクに入力された音楽からどのアーティストが歌っているのかを認識します。 ”アリーナ”の名にふさわしい、日本を代表する数々のアーティストによる楽曲を学習データとして与えました。 主に頑張ったのはGPUとCPUでした。認識結果に応じて、ロボットは少しだけ行動を変えます。
スマホ用VRゴーグルを使ってロボット前方を立体視し、ロボットを操縦するデモです。 立体視は、山彦ロボット前方に取り付けた2台のwebカメラからステレオ画像を生成し、VRゴーグル内のスマートフォンに転送することで実現しています。 また、スマートフォン内のセンサ値をロボット側のPCに送ることで、頭の動きに従ってロボットが動くようになっています。 スマホやwebカメラなど手持ちの機器を利用することで、安価にVR体験ができるようなデモを目指しました。 また、音声ガイドや前方との衝突回避機能などをつけることによって、操作しやすいインターフェースになるよう心がけました。
道路標識を認識して，それに応じて行動を変えるロボットを作りました． 道路標識はドライバーの注意を引くために黄色や赤色など特定の色が使用されているため，色抽出により標識の検出を行い，文字認識により標識の内容を識別しています． 今回使用した標識は「制限速度」「徐行」「一時停止」の3種類で，制限速度に関しては40・70・100km/hの3パターンを用意しました． ロボットが標識を発見するとその内容に応じて最高速度が変化します．一時停止の場合には数秒間停止の後，元の速度で発進します．
ジェスチャー認識で動くロボットを作りました．ロボットはレーザースキャナ（URG-04LX）を使って水平方向の手の位置を取得しています． 取得した手の位置が右回りの円を描くと右回転して，左回りの円を描くと左回転します．また，押し出す軌跡を描くと前進して，引き寄せる軌跡を描くと後退します． ジェスチャー認識にはリカレントニューラルネットワークを利用しています．
手を上げている人を見つけて、アメちゃんを配るロボットです。アメちゃんを配った後、手を振られると元の場所に帰ります。 山彦に標準搭載されているセンサ(PC内蔵単眼カメラ、レーザレンジセンサ)のみを用いて実装しました。 OpenPoseを用いて、手を上げる・手を振るジェスチャーの認識を行っています。 また、レーザレンジセンサから得られた距離情報を元に、ポテンシャル法を用いて障害物の回避を行い、手を上げた人にアプローチしています。