2015 Fiscal Year Research-status Report
英語映像アーカイブのマルチモーダルコーパス化と分析：言語学と工学の融合
| Project/Area Number |
15K12416
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
冬野 美晴 九州大学, 芸術工学研究科(研究院), 助教 (30642681)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山下 友子 九州大学, 芸術工学研究科(研究院), 助教 (10726334)
中島 祥好 九州大学, 芸術工学研究科(研究院), 教授 (90127267)
齊藤 剛史 九州工業大学, その他の研究科, 准教授 (10379654)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | コーパス言語学 / マルチモーダルコーパス / スピーチ / パブリックスピーキング / 英語学習 / プレゼンテーション / 動作分析 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、日本人英語学習者が英語によるパブリックスピーキングを行う際に、効果的なパフォーマンスを行うための音声およびジェスチャー上の条件を明らかにし指導に役立てるため、英語母語話者・英語学習者による英語スピーチアーカイブをデータベース（マルチモーダルコーパス化）し、音声分析と２Ｄ＆３Ｄ動作解析によって分析することである。
本年度は非英語母語話者（英語学習者）および英語母語話者それぞれのスピーチ・パフォーマンスの収集を計画の第一目的と設定し、それぞれの動画・音声データ・スクリプトデータを集めマルチモーダルデータベースを作成した。更に計画よりも順調に進捗し、それらのデータを音声・動作・発話内容の観点から分析し、新たな分析方法を確立した。分析の成果は国際学会等で発表した。
まず、非英語母語話者データについては既存のデータに加えて日本人英語学習者を中心とした英語学習者のデータを新たに録画・録音することに成功し、英語暗唱スピーチデータ、英語自由スピーチデータの双方でデータの拡充を行った。また、それらのデータを応用言語学と画像工学の観点から分析し、特に話者の顔向きの角度推定に成功した。これにより半自動的に動作の詳細なアノテーションを行えるようになった。また、発話内容と音声データのクロス分析を行い、スピーチ中の適切なポーズ位置について新たな知見を得た。
英語母語話者データについてはアメリカ大学卒業祝辞スピーチ等新たなデータを収集した。特に、スポンテニアスなスピーチで話者がスクリプトを参照しているシーンのデータを得られたことから、スクリプトを参照する頻度や参照している時間長などを分析することで、日本人向けの教育に応用しやすい分析成果に繋がった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度の計画は英語母語話者および非英語母語話者（英語学習者）のスピーチパフォーマンスデータを収集（既存データの整理による構築を中心とする計画であった）しデータベース化することであったが、当初の計画以上に進展し、双方について新たなデータを録画・録音することに成功した。更に分析方法についても、発話内容と音声情報のクロス分析、および動作解析の観点から新たな分析方法を発見し、今後の研究に大いに役立つ成果を得た。よって当初の計画以上の進展が見られたと判断した。
|
| Strategy for Future Research Activity |
28年度は音声・動作・発話内容の３つのモードを統合的に分析する方法について検討し、複数の分析方法を検証する。とくに非英語母語話者については新たなデータも収集し、効率的な分析を念頭においた収集方法について技術的な模索を行う。並行して、これまでの研究成果から指導に応用可能なデータを抽出し、参考情報（モデル情報）として大学英語カリキュラムに組み込める形に編成する。
29年度は大学英語教育において参考情報を活用し教育効果の検証を行う。
|
| Causes of Carryover |
消耗品文房具が予測よりも節約でき計475円の次年度使用額が発生した。
|
| Expenditure Plan for Carryover Budget |
データベースの更なる拡充を計画していることから、ストレージデバイス等がより必要になる見込みである。次年度使用額は次年度予算に加えストレージデバイス等の消耗品費の一部として使用する。
|
Research Products
(10 results)
