|
研究実施計画に記載したように，ユーザの保持する写真を認知モデルによって検索し，ユーザの記憶の回想を引き出す対話的モデルベース回想法の開発に取り組んでいる．2022年度は，音声インタフェースの開発および身体インタフェースの構築に関する項目にて進捗を得た．
音声インタフェースに関しては，発話から推定される感情の状態をモデルの写真検索パラメータと対応付ける仕組みを開発した．OpenSMILEと呼ばれるオープンソースを利用することで，発話の韻律特徴を抽出し，写真観察時の感情の動きを予測した．この成果は国際会議Affective Computing and Intelligent Interactionにて発表された．さらに，この国際会議での発表をベースに，開発した仕組みをモデルベース回想法の全体のシステムに組み込んだ．これにより，現時点でユーザとインタラクション可能なインタフェースが完成している．
身体インタフェースに関しては，対話的モデルベース回想法中に，ユーザによって発話される単語の意味に応じてロボットが動作する仕組みを開発した．単語からロボットの動作（身体イメージ）を抽出する手法として，単語分散表現を用いた．単語分散表現における埋め込み空間内で，ターゲットとなる単語と形容詞との距離を計算し，ロボットの動作に反映させた．この手法によって構築された動作を動画撮影し，クラウドソーシングでの評価を得た．その結果，提案する仕組の一定の妥当性が示された．なお，本成果について情報学ワークショップ WiNFにて発表し，最優秀賞を受賞した．
|
