2018 Fiscal Year Annual Research Report
Research of development of PC captioning support system and support for the hearing impaired people
| Project/Area Number |
16K01574
|
|---|
| Research Institution | Daido University |
|---|
Principal Investigator |
竹内 義則 大同大学, 情報学部, 教授 (60324464)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 情報保障 / 聴覚障害 / パソコン要約筆記 / 音声認識 |
|---|
| Outline of Annual Research Achievements |
聴覚に障害がある学生が大学などの高等教育機関に通って講義を受ける際，講師が話している内容が分からないという問題がある．そこで，情報保障を行う必要がある．本研究では，パソコン要約筆記による情報保障の研究を行う．大学の講義では専門的な内容を扱うことが多く，専門用語などが頻出する．要約筆記者は聞き取りが慣れていない用語が発話されてしまうと，正確に聞き取ることが出来ず，字幕入力の誤りや，入力の遅れの原因となる．本研究では，講義中に発話された内容を要約筆記者においてキーボード入力や聞き取ることが困難であると考えられる用語のことを「難入力語」と定義する．これらを自動音声認識によって講師の発話から検出して，要約筆記者に提示を行うシステムの研究を行う．
まず，大同大学で実際に行われている講義のうち，ディジタル信号処理を8回分と音声画像処理を5回分撮影した．それらの講義のうち4講義分について講義資料から難入力語を自動抽出し，それをもとにウェブ検索を行うことによって，講義内容に適した言語モデルを作成した．講義内容に適した言語モデルと日本語話し言葉コーパスから得られた言語モデルを重み係数を変えながら統合言語モデルを作成した．統合言語モデルを用いて難入力語を抽出する実験を行い，再現率と適合率の調和平均であるF値は，約0.86となった．4講義中2講義は，講義内容に適した言語モデルの重みを0.7としたときに最大となり，1講義は0.1のとき，別の1講義は0.9のとき最大となった．昨年度得られた知見とは異なる結果が得られた．難入力語の誤認識について調べた結果，講義内容に適した言語モデルの重みが低い場合，難入力語を別の語と誤認識することが多く，逆に重みが高い場合，難入力語でない語を難入力語と誤認識する傾向があることが分かった．
|
