センサ（URG-04LX）の値に応じて音楽を演奏するロボットを作りました． まず，ロボットは自己位置推定を行いながら，往復移動を行います． その後，ポールを置くと，ポールの位置を認識して対応した音を出力します． デモとして，蛍の光の演奏を試みました．
講義中、机の前を巡回して、寝ている学生を起こしてくれる賢いロボット犬です。学生が寝ているかどうかの判定には、2つのセンサを利用しています。まず、レーザセンサによって、人がいるかどうかをチェックします。そして、カメラに写った顔を検出して、目の開閉をチェックします。顔の検出には、dlibという機械学習ライブラリを利用しています。ポイントは2つのセンサを組み合わせて判定するというところで、これによって学生たちの多彩な睡眠スタイルへの対応を実現しています。
きょうはまちにまったおゆうぎかい、でもおちゃのじかんにせんせいがよういしたおかしのかずがたりなくなっちゃった！ ぼくはねんちょうさんだから、おかしはねんしょうさんにあげよう！ このロボットはおゆうぎかいに来た児童の年齢推定を行い、最も若いと推定された児童に駄菓子を届けます。 PCに付属しているカメラから顔が写った画像を取得し、dlibを用いて顔領域を抽出し、kerasを利用してCNNで年齢を推定しています。 椅子に座った児童を順に年齢推定し、推定後は最年少の児童の下へ行き、風船を割って中に入っていた駄菓子を渡します。
ユーザが握っているリードを引っ張り，空いている椅子まで連れて行ってくれる，まるで盲導犬のようなロボットです。YOLOを用いた一般物体検出によってロボット前方の椅子と人間を検出し，人間と椅子の位置関係から空席を推定します。その後画像中の空席の位置とwebカメラの画角から実空間での空席の位置を推定し，ユーザをその地点まで誘導します。GPUなしのノートパソコン一台という限られた計算機資源で物体検出とロボットの制御を行います。
地面に落ちているゴミを拾い上げて，ゴミ箱に捨てるロボットを開発しました。拾い上げるゴミとしてARマーカーを取り付けた小さい箱を想定し、webカメラでその位置を認識するようにしました。また、ゴミを拾い上げるために、既存のロボット(山彦)に新たにマニピュレータを製作して取り付けました。マニピュレータのアクチュエータとしては，サーボモータ(Dynamixel XM430-V350-R)を用い，フレーム部分の製作には3Dプリンタを使いました。また、一連の動作を実現するためにROSを用いました。