2017 Fiscal Year Research-status Report
Expression and Recognition of Emotion through Blinking between Humans and Robots
| Project/Area Number |
17K18850
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
久野 義徳 埼玉大学, 工学部, 教授 (10252595)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小林 貴訓 埼玉大学, 理工学研究科, 准教授 (20466692)
Lam Antony 埼玉大学, 理工学研究科, 助教 (50744124)
福田 悠人 埼玉大学, 理工学研究科, 助教 (70782291)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Keywords | 知能ロボット / コンピュータビジョン / ヒューマンロボットインタラクション / 感情認識 / 認知症 |
|---|
| Outline of Annual Research Achievements |
人間同士のインタラクションでは表情、視線、身振りなどの非言語行動が重要な役割を果たしている。そこで、人間とロボットのインタラクションにおいても非言語行動を有効に利用しようという研究が行われている。しかし、これまでは、人間が目で見て、意識的に解釈できる非言語行動しか対象にしていなかった。しかし、人間には無意識のうちに行動し、また他者のその行動に対して無意識のうちに反応したり、感覚的な情報を得たりするものがある。このような無意識の行動は、その人の本当の気持ちを表すものであり、それを利用すれば人間と適切に対応できるロボットが実現できると期待される。本研究では、そのような行動として「まばたき」を検討する。人間のまばたきから感情状況を推定し、適切にまばたきを行い対話を活性化するロボットを開発する。また、その応用として会話時のまばたきから認知症者の感情表出の指標が得られないか検討する。
平成29年度は、初期の実験用として、指示したタイミングだけではなく、ビデオカメラの画像から対話の相手のまばたきを検出し、それに応じてまばたきをすることもできる液晶ディスプレイ上のエージェントを開発した。これを用いて、エージェントに従来研究で分かっている人間のまばたきするタイミングでまばたきをさせたとき、それを見た人間が、人間の話者の場合と同様に、エージェントのまばたきに同期してまばたきを行う引き込みが起こることを確認した。逆に、人間にエージェントに話をしてもらい、そのときにエージェントが一定間隔でまばたきする場合と、話し手のまばたきを検出してそれに同期してまばたきを行う場合の２つについて人間の受ける印象を比較する実験を行った。後者の方が人間に好印象を与えることを期待したが、本年度の少数の実験では差は見られなかった。また、今後の実験用のデータとして高齢者介護施設で対話をしている場合の顔画像データを収集した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画では、平成29年度にレーザプロジェクタでCGの目を投影する機構を製作し、高速にまばたきを行うことのできる目を持つロボット頭部を開発する予定であったが、まばたきについての各種の予備的実験を早く始めた方がよいと考えたので、ロボットではなく液晶ディスプレイ上にCGでエージェントを表示する実験システムをまず開発することにした。これを用いて、いろいろな場合について実験を行った。しかし、これは予想していたことだが、まばたきのような無意識的な行動に対する反応は微妙であり、実験の設定などいろいろと試したが、明確な結果が得られていない部分も多い。このように、得られた学術的成果という点では、十分ではない点もあるが、研究への取り組みや実験システムの開発は順調に進められたので、おおむね順調に進展していると評価する。
|
| Strategy for Future Research Activity |
前年度にできなかったレーザプロジェクタでCGの目を投影することにより、高速にまばたきを行うことのできる目を持つロボット頭部を開発する。これについては問題ない。
そして、エージェント、およびこのロボット頭部を用いて、ロボットのまばたきに対する人間の反応を調べる。ロボットのまばたきとしては、ロボットが話し手になる場合と、聞き手になる場合がある。また、対話では、その両者が頻繁に切り替わる。前年度の予備的実験では、ロボット（エージェント）が話し手になる場合は、従来研究で人間同士の場合と同様な引き込み現象が見られることが確認できた。しかし、ロボットが聞き手になる場合では、ロボットのまばたきの違いによって、人間が受ける印象に差は見られなかった。その実験では実験参加者に道案内や料理のレシピをエージェントに話してもらったが、ロボットにこのような説明をしてもらうという実験の設定は不自然である。このようにロボットが話し手になる場合はよいが、聞き手になる場合は、実験の設定が難しい。聞き手になる場合についての実験法をどのようにすればよいか、検討が必要である。前年度は聞き手と話し手の場合に分けて検討したが、最終的には人間とロボットのインタラクションで対話の際のまばたきを検討することが必要である。聞き手の場合を分離しての検討が難しければ、それはやめて、対話状況でのまばたきを直接検討する方がよいかもしれない。以上のように、実験法をいろいろと試しながら、ロボットの適切なまばたき法について検討を進める。
認知症者のまばたきについては、前年度に少しデータを収集したが、今年度も会話の際のデータをさらに集める。そして、まばたきと会話の活性状況との間に関係があるか見通しを得る。
|
| Causes of Carryover |
平成29年度は、レーザプロジェクタでCGの目を投影することにより、高速にまばたきを行うことのできる目を持つロボット頭部を開発する予定であったが、研究の見通しを得るためには早期に各種の予備的実験を行った方がよいと考えたので、ハードウェア開発の不要なCGのエージェントシステムで実験を行った。ロボット頭部のハードウェア開発を行わなかったために、次年度使用額が生じた。
今年度は前年度に製作しなかったロボット頭部を製作するので、そのための部品や３Dプリンタの材料等に助成金を使用する。大量の画像データの分析処理とロボットのリアルタイム処理のために高速のPCを購入する。また、研究成果の発表と情報収集のために国際会議(ICMI2018, HRI2019等を検討中)に参加する予定であり、その旅費や学会参加費に使用する。
|
