2018 Fiscal Year Research-status Report
聴覚障害学生支援のためのウェブベース遠隔情報保障システムに関する研究
| Project/Area Number |
15K01056
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
若月 大輔 筑波技術大学, 産業技術学部, 准教授 (50361887)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
内藤 一郎 筑波技術大学, 産業技術学部, 教授 (00237182)
|
|---|
| Project Period (FY) |
2015-04-01 – 2020-03-31
|
| Keywords | 遠隔情報保障 / 聴覚障害 / 手話通訳 / 文字通訳（要約筆記） / ウェブアプリケーション / 音声認識 / クラウドソーシング / タイムライン |
|---|
| Outline of Annual Research Achievements |
平成３０年度は，聴覚障害者が授業内容をより理解しやすくするための字幕と，情報保障の専門家以外の人や聴覚障害者自らがタイムラインで相補的に情報保障を行う方法について検討を重ねた．
従来の文字だけの字幕（通常字幕）に対して，文字に加えて数式や図表などを画像で挿入した字幕（ハイブリッド字幕）の有効性について分析を行った．数学の模擬授業を対象にして，通常字幕とハイブリッド字幕を提示する実験を行い，実験参加者の理解度テストと主観評価および視線方向について比較した．その結果，ハイブリッド字幕は通常字幕に比べて，授業の理解度を向上させる効果があることが明らかになった．字幕の見易さや疲労感についての主観評価，授業や字幕および配布資料に視線を移動した回数には両字幕間で差がなく，ハイブリッド字幕が従来の通常字幕と同様に利用者に受け入れられていることがわかった．
タイムライン形式で情報保障を行う方法については，平成29年度に実装したシステムを用いて，渋谷区やつくば市で行われた実際のスポーツ大会やスポーツイベント８件に対して，聴覚障害者や視覚障害者に対する情報保障実験を行った．その結果，情報保障の専門家がいなくてもリアルスポーツ観戦時の支援につながることがわかった．また，タイムラインに対して選手やチームの情報，スポーツのプレイやルールなどの解説も投稿されたことで，障害者だけでなく障害のない人にとっても有用であることがわかった．従来の情報保障は見える聞こえるといったその場にある情報を障害者にわかるかたちで伝えることが一般的だが，スポーツイベントなどのその場にいる人が有していると，より理解や楽しみを深めることができる情報も保障するという「情報保障２．０」の着想を得ることができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２７年度からウェブベース遠隔文字通訳システムcaptiOnline（キャプションライン）をベースにして新たな機能の研究開発を進めてきた．平成２８年度以降は音声認識による文字通訳機能，数式や図表などの画像を文字通訳に挿入する機能，タイムライン形式による情報保障機能の実装を行った．平成２９年度以降は，これらの機能の評価実験から，新たな情報保障のかたちが見えてきたため，平成３０年度は遠隔手話通訳に関する検討を中断して，実際の使用場面における実証実験とその評価に注力した．
クラウドソーシングの考え方をもとに開発したタイムライン形式による情報保障機能について，リアルスポーツ観戦の場面や，防災訓練における情報伝達の場面での評価実験を実施した．実験を通して得られた成果をまとめて学会などで公表した．
文字通訳に数式や図表を挿入する機能で生成したハイブリッド字幕について，平成２９年度に実施した数学の模擬授業に対する実験の結果を分析した結果，授業内容の理解度が向上することが明らかになった．今後本分析で得られた成果を学会などで公表していく予定である．
本研究成果を実装した遠隔文字通訳システムcaptiOnlineは，研究代表者の所属機関で公開を続けており，着実に実績を重ねている（https://capti.info.a.tsukuba-tech.ac.jp/）．システムについて照会を受ける機会も増え，利用団体や企業も増加しており好評を得ている．
|
| Strategy for Future Research Activity |
従来の文字だけの通常字幕に対して，数式や図表を画像として挿入したハイブリッド字幕は，より内容の理解度を高めることがわかったので，今後は，数学以外の図示を多用する授業や，より長時間の授業に対する効果を検証する必要がある．また，字幕に数式や図表の画像を挿入するにあたり，より効率的な回り込みなどの挿入位置について検討する．さらに，ハイブリッド字幕を実際の教育現場で利用するためには，文字通訳者がリアルタイムで画像を取得し挿入することができる効率の良いインタフェースを考案する必要がある．
タイムライン形式の情報保障については，リアルスポーツ観戦において聴覚障害者の支援につながることがわかった．また，同時に生成されたタイムラインでは，選手情報やスポーツのルールなどの情報が共有され，一般の人々にとっても役立つことがわかってきた．現在のシステムでは文と画像による投稿のみであったが，様々な障害者が利用できるように動画や音声も追加し，それらの相互メディア変換ならびに多言語への変換を自動的に行う方法について検討したい．また，時間や場所を共有している人々がもっていることが望ましい情報を保障する情報保障２．０の考え方をベースとして，リアルスポーツ観戦以外の様々な場面での検討を重ねたい．
|
| Causes of Carryover |
平成３０年度は，聴覚障害学生を支援するための情報保障システムの実装を行い，有効性を確かめるための実験ならびにデータの分析に時間を費やした．平成３１年度は，これらの成果を学会における発表や，学術論文として公表する予定である．そのための旅費や論文投稿のために助成金を使用する計画である．
|
-
-
-
-
[Journal Article] A Study on Information Support for Deaf and Hard-of-Hearing People Using Sports Game Timeline2018
Author(s)
Daisuke Wakatsuki, Rumi Hiraga, Makoto Kobayashi, Yuhki Shiraishi, Takeaki Shionome, Jianwei Zhang, Yoshiki Fukunaga, Manabi Miyagi, Atsuyuki Morishima
-
Journal Title
The 2018 IEEE International Conference on Systems, Man, and Cybernetics(IEEE SMC2018)
Volume: N/A
Pages: 2244-2249
Peer Reviewed / Int'l Joint Research
-
-
-
-
