Development of social robots to become "We" with humans

Research Project

Project/Area Number	23K11284
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61060:Kansei informatics-related
Research Institution	Toyohashi University of Technology
Principal Investigator	林宏太郎豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (80728345)
Co-Investigator(Kenkyū-buntansha)	佐藤健東京農工大学, 工学(系)研究科(研究院), 教授 (40402242) 増沢広朗豊橋技術科学大学, 次世代半導体・センサ科学研究所, 助手 (50875961) 浅井優一東京農工大学, 工学(系)研究科(研究院), 講師 (80726860)
Project Period (FY)	2023-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000) Fiscal Year 2025: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000) Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000) Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords	Human robot interaction / Social robotics / Pedagogical use / Social cues / Three-term contingency / Pedagogical robot / 言語教育 / 知能ロボティクス / 感性情報学
Outline of Research at the Start	本研究の目的は、人と随伴的で相互報酬的なやり取りを行うことのできる、人と「We（我々）」になるホームロボットを開発することにある。(1)人の状態を推定し、自分の状態を提示する物理的な機能を有し、随伴性モデルを使用して適切な振る舞いをするロボットの開発、さらに(2)実際にロボットを少人数のコミュニティに投入し、互いの社会的関係を創出および変容させる儀礼的な相互行為が現れたかの確認と検証を行う。
Outline of Annual Research Achievements	1年目に社会的随伴性を調査するホームロボット設計に向けて、まずはホームロボットとして導入するにあたり役割が必要であると判断した。特に、近年日本人の英会話能力向上において強い影響があるとされている「対人不安」に注目。不安を解消する英会話練習相手のロボットの可能性を見出した。そこで、研究分担者である佐藤の知見を活かすこともできる「英会話自習」を本研究のロボットの役割としてふさわしいと結論付けた。近年盛んになっている生成系AI（ChatGPT3.5）とクラウド・アプリケーション・プラットフォーム（Heroku）を用いて各個人の端末で利用できるアプリを開発。英会話アプリの効果を検証する長期間の実験を実施した。インターネットで募集した31名の被験者をアプリ使用グループとyoutube学習グループにわけ、一日10分の学習を20日間実施してもらった。結果は、20日間程度の学習では英語能力の向上は見られなかったが、アプリ使用者の方がより能動的に学習していることが明らかになった。この成果はWorldCALL2023で発表を行った(DOI:10.22492/issn.2759-1182.2023.23)。上記結果を受け、大規模言語モデルもしくは生成系AIを利用した対話系をベースにした英会話練習に可能性を感じ、英会話中に人の不安を検出、それに伴いロボットの表情を変更することで人の不安を制御する社会的随伴性モデルの構築を実施中である。現在、人同士が英会話を行い、その際難しい話題を振られた被験者が不安がる様子を撮影し、Mediapipeを使用してスケルトンと顔ランドマークから検出器の作成を試みている。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 社会的随伴性モデルの構築は1年目を予定していたが、2年目に入ってもまだ構築が完了していない。この原因としては、まずは英会話自習における生成系AIを用いた対話系の効果を検証するための大規模実験を行ったことでモデル構築が遅れた事が挙げられる。次に、9月に研究代表者が交通事故に会い、入院を必要とする状態であったため進捗が大幅に遅れた。
Strategy for Future Research Activity	人同士の英会話を撮影し、その際の不安推定器を開発する。その不安推定器を用いて、人ロボット英会話における不安を推定してそれに応じてロボットの表情を変更する随伴性モデルの実装を行う予定である。この実装が完了すれば「不安を煽る表情」「不安を鎮静する表情」「表情なし」の条件で被験者比較実験を行う。この結果が良好であればシングルボードコンピュータへの実装を試み、ホームロボットの開発を2年目で完成する予定である。