実機ロボットに映像を加えるダイレクトメソッド外国語学習

2017 年度 実施状況報告書

• 研究課題/領域番号: 16K12788
• 研究機関: 三重大学
• 研究代表者: 松井 博和 三重大学, 工学研究科, 助教 (10303752)
• 研究期間 (年度): 2016-04-01 – 2019-03-31
• キーワード: 外国語会話学習 / コミュニケーションロボット / 3次元と2次元の融合

研究実績の概要

科研題目：「実機ロボットに映像を加えるダイレクトメソッド外国語学習」の研究実績について，昨年度は，学会での研究発表はできなかったが，研究の成果に基づくデモ展示を2件実施した．また，特許が1件認定された．デモ展示の一つは，三重県四日市ドームで10/27(金)，28(土)に開催された社会人向けの「リーディング産業展」において，もう一つは，三重大学内で11/11(土),12(日)に開催された小中学生対象の「科学の祭典」において実施した．両方とも同じ展示内容で，40インチの液晶ディスプレイの面を上向きにして，そのディスプレイを机の代わりにして上に，教師役と生徒役のロボット2台をのせ，被験者にスペイン語の単語を学習させるものである．具体的な語学学習するシナリオの一つは，ディスプレイにロボットより一回り大きい色違いの図形をいくつか無地の背景の前に表示し，その上を教師ロボットが移動して，スペイン語でその図形の色が何かを生徒ロボットに聞き，生徒はスペイン語でその色を答える．これを何度か繰り替えして，教師ロボットが被験者にスペイン語で同じ質問をし，被験者がスペイン語で正しく答えるまで繰り返す．それぞれの会場において，社会人の来場者，小中学生の来場者に対して，被験者として本手法を体験してもらいその有効性を確認してもらい，将来性を感じてもらった．
2018年3月23日には，本研究に根幹となる部分の特許である特許第6308608号「ダイレクトメソッドにもとづく外国語会話学習システム」が認定された．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

現在遅れているのは，一昨年度の遅れの問題であるため，昨年度は概ね順調に進展しているといえる．昨年度での最も重要な進捗は，学術的な進捗とは言えないが，音声認識システムを作成したことである．
本提案の外国語会話学習システムには，システムの一部として音声認識システムが必要である．これまで本システム内にある音声認識部分は，「The Wizard of Oz（オズの魔法使い）」，すなわち，人が音声認識システムの一部を機械的に代用していた．今回，これを既存の音声認識システムを用いて自動化した．
音声認識システムは，既に多くのものが実用化されていて，その中でもクラウド型のものが認識精度が高い．ただし，クラウド型のものは，システムそのものを手に入れることができないので，仕様が変更されるとそれに合わせる手間がかかる．
そこで，クラウド型の仕様が変更されても，最も変更が容易であると考えられる方法を用いた．具体的には，スマートフォンにおいて，入力音声をそのままその言語で画面表示する機能を用いる．これを用いて，画面をサーボモータでタップし，画面表示される文字列を画像認識して認識結果を得る方法を実現した．これにより，クラウド型の音声認識をそのまま利用できるようにできた．
この進捗は，学術的進捗としてはあまりないが，本手法を実現するための進捗としては大きいものであると考える．

今後の研究の推進方策

ディスプレイと音声認識部分のハードはできたので，当初の研究計画とは別に，ロボットの改良を考えて行きたい．
具体的には，現在，背景としてのディスプレイ画像の大きさに対して，ロボットの動きの不安定さにより，学習者の学習率が下がる問題があり，その大きさの範囲におさまる安定性を考慮するロボットの作成をしていきたい．

次年度使用額が生じた理由

当初の計画であった80インチモニターを購入するのは取りやめ，複数の40インチモニターで実現するようにしたため，その分現在の物品費は，抑えられている．
出張費が少ないのは，出張によりデータ収集をする計画が遅れてしまい．そのために，差額が大きく出ている．
物品費は，本研究のロボットの作成などに回すことを考えている．また出張費も今年度使用する予定がある．