2017 Fiscal Year Annual Research Report
音声処理・言語処理技術を用いた作業記録・手順書作成方式に基づく技術伝承システム
| Project/Area Number |
17H01977
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
西崎 博光 山梨大学, 大学院総合研究部, 准教授 (40362082)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北岡 教英 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (10333501)
山本 一公 中部大学, 工学部, 准教授 (40324230)
宇津呂 武仁 筑波大学, システム情報系, 教授 (90263433)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 教育工学 / 音声等認識 / ユーザインタフェース / 情報システム / 高齢者音声認識 / 雑音 / 話題集約 |
|---|
| Outline of Annual Research Achievements |
製造業等において，映像と音声で収録した作業手順を記録し，そこから作業の手順書作成までを支援する技術伝承システムの開発を目的とする。平成29年度には以下の研究内容を実施した。
【内容１】システムのプロトタイプを開発した。技術者の持つ暗黙知を引き出し記録する必要があるため，技術者に目線カメラとマイクを装着し，作業の様子を動画と音声で収録する方法を採用した。作業しながらであれば，技術者の持つ暗黙知を言語化しやすいと考えたためである。動画を登録すると音声認識が実行され，動画と音声認識情報がデータベースに登録される。資料の作成は，動画を見ながら必要なシーンを画面キャプチャし，デジタルペン等でメモ文を追加することで行なう。本システムをユーザ評価したところ，特に使いやすさの項目で高い評価（5点満点中4.0）を得た。
【内容２】 熟練技術者は高齢者が多いため高齢者向け音声認識技術を研究した。そのため，ほとんど収集例のない80歳を超える世代の音声を収集し音声データベースを構築した。これを利用した音声認識システムを構築したが，十分な音声認識性能は得られず，高齢者音声認識の困難さが明確になり，これに対処する研究開発が急務であることが示唆された。また，音声認識精度を向上させる別の手法として，深層学習を用いて音響特徴量を自動抽出する音声認識手法に対して話者適応化を適用することで，音声認識精度を改善する研究を行なった。その結果，提案手法は比較的適応データが少量の場合でも認識精度を改善できるという結果が得られた。
【内容３】作業内容（音声認識結果）を分類するための基礎研究を行った。Web検索のサジェスト機能を用いて検索したウェブページ集合に対してトピックモデルを適用することにより，話題の集約を行う方法を開発した。収集したウェブページ集合全体の話題集約を行った結果に対し，より粒度の細かい話題集約方式を実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度の最大の実施予定項目であった，プロトタイプシステムの開発に関しては，想定していた以上に開発が進み，被験者実験でも，プロトタイプにもかかわらず高い評価を得ることができ，対外発表を実施することができた。音声認識技術の開発については，話者適応化技術を応用する方法を開発することで，認識精度が改善できることを示した。これについても国内学会での発表，国際会議での発表（2018年4月発表済），英語論文誌への投稿を済ませている。加えて，高齢者データベースの構築・整備も実施した。これについても，国際会議（2018年5月発表済）で発表を済ませている。また，話題分類についても，トピックモデルを用いた話題集約手法を開発し，成果を学会発表している。
しかし，一方で，順調通りに進んでいない項目も存在する。例えば，雑音環境下での音声認識が想定より困難であることが分かった。本研究では，製造業の工場内での収録を想定しており，実際の環境では機械音がとても大きく，想定していた以上に音声認識がかなり難しいタスクであった。そのため新しい雑音対策方法を考案しなければならない。また，高齢者音声認識も想定以上に困難であった。この理由を考察した結果，例えば発話スタイルの不一致，音響モデルの学習データ量不足などの理由が考えられるため，平成30年度はこれらの課題を解決する方法を研究する。
このように，項目によっては計画以上に進捗しているものと，遅れているものがある。全体的に見れば，成果を確実に対外発表・論文投稿できていることから，おおむね順調に進展しているものと考えている。
|
| Strategy for Future Research Activity |
平成30年度は項目１および項目２，項目３，項目４を実施する。
【項目１】平成29年度に作業記録および手順書作成システムのプロトタイプシステムを構築した。被験者実験により一部の項目で高い評価を得たものの，改良の余地があることが明らかとなったため，被験者実験で得た知見を中心に，さらにシステムの改良を進める計画である。技術者が使いやすい工夫や暗黙知を引き出す工夫を考案し，ユーザインタフェース上に施すことでシステムを改良していく。
【項目２】平成29年度に，雑音除去の方法としてデノイジングオートエンコーダの開発を行ったが，音声認識の大きな改善が得られなかったため，得られる雑音が既知という情報を用いると雑音除去をより高精度にできると考え，これをを開発する。また，平成29年度の研究成果では高齢者の音声認識がかなり困難であることが明らかとなった（音声認識率で約60％）。したがって，高齢者の音声認識のための要素技術の研究を，分担者（北岡・山本）を中心に取り組む。加えて，開発した特定の語句を発話している箇所を特定する技術をシステムに実装することで，資料作成の半自動化を目指す。
【項目３】最終的には作業内容（音声認識結果）全体を分類することで類似作業をクラスタリングし，作業の体系化を行うことで手順書作成の支援を目指している。これを実現するための基盤技術として，平成29年度に開発した技術さらに改良する方法を考案することで，引き続きトピック分類基礎技術の研究開発を行う。また，収録されたコンテンツにたいして効率の良いデータアクセス技術も必要であることから，情報アクセスの基盤技術の開発も行う。
【項目４】開発した各要素技術は，国内外の音声・言語処理関連の学会で逐次発表する。
|
