2012 Fiscal Year Research-status Report
心情・体調変化を考慮した口唇の動き特徴によるコマンド識別法とインタフェースの開発
| Project/Area Number |
24500140
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Akita University |
|---|
Principal Investigator |
西田 眞 秋田大学, 学内共同利用施設等, その他 (70091816)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
景山 陽一 秋田大学, 工学(系)研究科(研究院), 准教授 (40292362)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | ヒューマンインターフェース / 口唇 / 心理変化 / 動き特徴 / 色彩情報 / 画像処理 |
|---|
| Research Abstract |
本研究は，発話に伴う時系列的な口唇の動きの特徴と形状特徴に着目し，口唇の動き特徴と発話内容（コマンド）の関連について解析を行い，発話内容識別法およびそのインタフェースを開発するための検討を行った。得られた成果を以下にまとめる。
(1)異なるフレームレート（30～100fps）の条件下で発話データを取得し，フレームレートに起因する口唇の動き特徴変化について検討を加えた。その結果，30fpsでは口唇の動き特徴に欠損の生じる場合があること，フレームレートを高くした場合には，蛍光灯のフリッカに起因してノイズの発生する場合があること，本研究で使用するデータとして，60fpsで取得したデータが最適であること等を明らかにした。
(2)心情・体調変化等が生じた条件下における口唇の動き特徴の変化について検討を加えるため，情動喚起映像を被験者に提示し，喜びの感情が生じた状況下で発話データを取得した。その結果，喜びの感情が喚起された場合，被験者の口唇の動き特徴におけるばらつきには，変化の生じることを明らかにした。
(3)発話内容に撥音「ん」が含まれる場合の口唇の動き特徴について検討を加えた。その結果，撥音を含む発話内容の場合，被験者の体調や心理状態，発話に対する慣れ等に伴い，口唇の動きは変化することを明らかにした。
(4)発声の有無の相違による口唇の動き特徴（発話に伴う口唇の縦幅，横幅，面積，アスペクト比，発話フレーム数の変動）について検討を加えた。その結果，本研究で着目した特徴量が大きく変動するグループとしないグループが存在すること，並びに変動するグループでは無声発話時の特徴量が大きくなる傾向が認められることを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成24年度は，異なるフレームレートで発話データを取得するとともに，心理変化等が生じた場合におけるデータの取得，頭部の動きにロバストな口唇の動き特徴に関するパラメータの選定，並びに口唇の形状特徴と発話内容の関連について検討する計画の下，研究を遂行した。すなわち，①異なるフレームレートの条件下で発話データを取得し，口唇の動きを対象とした本研究の状況下における最適なフレームレートを明らかにした。②情動喚起映像を視聴して喜びの感情が生じた場合における発話データを取得するとともに，そのデータの解析を行った。③口唇および肌色に着目して顔領域を抽出する手法を開発した。④頭部の動きやカメラとの距離にロバストな特徴量の選定を行った。⑤発話内容に撥音が含まれる場合の口唇の動きについて検討を行った。⑥発声の有無に起因する口唇の動き解析を行った。従って，交付申請時の「研究目的」に対する進捗として，「概ね順調に推移している」と判断している。
また，研究内容は2編の学術論文（掲載決定を含む），国際シンポジウムにおける発表2件，学会発表6件として積極的に公表しており，その過程で得られた成果は速やかに以後の検討にフィードバックさせている。この点からも「概ね順調に推移している」と判断している。
|
| Strategy for Future Research Activity |
口唇の動きに変化を与える要因についての検討結果を踏まえ，平成25年度は口唇の動き特徴の変動にロバストな特徴量を選定する。次に，心情および体調変化を考慮した口唇の動き特徴による発話内容（コマンド）識別処理を開発する。すなわち，①心情および体調変化の判定に用いる特徴量を選定する。これまでの検討において，縦方向や横方向の口唇の動き特徴が心情および体調変化の検出に有用であることを明らかにしている。さらに，発話スピード（フレーム数）に正規化処理を施し，得られた特徴量を併用するアルゴリズムについて検討を加える。また，前フレームからの連続性も考慮した特徴量や処理についても検討を行う。②個人認証をはじめに行い，引き続いて目的とするコマンドを入力するインタフェースの構築を目標としている。具体的には，「氏名」と「パスワード」を入力して発話者の特定を行ってから，入力されるコマンドの識別を行う。さらに，その内容の確認を「はい」，「いいえ」で行うことを想定している。そこで，対象となるコマンドを種別毎にグループ化し，処理内容の階層化・最適化を図る。③心情および体調変化を考慮した口唇の動き特徴による発話内容（コマンド）識別処理を開発する。なお，口唇の動きには種々の「あいまいさ」が包含されているため，主にファジィ推論を用いた処理法の開発を行う。④平成24年度同様，撥音を含むコマンドを発話したときの口唇の動き特徴変化，並びに有声と無声の相違による口唇の動き変化についても検討を行う。さらに，同一内容を発話したときの口唇の動き特徴の経時変化についても検討を行い，平成26年度の「口唇の動き特徴を活用した非接触型コマンド入力インタフェース」構築を目指す。
|
| Expenditure Plans for the Next FY Research Funding |
該当なし
|
