2020 Fiscal Year Annual Research Report

Parliamentary Studies and Spatial Communications

Research Project

Project/Area Number	20H00062
Research Institution	National Graduate Institute for Policy Studies
Principal Investigator	増山幹高政策研究大学院大学, 政策研究科, 教授 (50317616)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	議会研究 / コミュニケーション / 政策情報
Outline of Annual Research Achievements	本研究では，音声と会議録を同期し，審議映像を部分再生する「国会審議映像検索システム」を基礎として，現代の議会を文字，音声，映像が複合的，組織的に集積される「空間」と捉え直すことによって，書き言葉として加工される会議録から捨象された立法の非言語的な情報空間を解明し，コミュニケーションの言語・非言語的な情報空間の解読を目指している．令和2年度においては以下を実施した．国会審議映像検索システムにおける音声認識による会議録と審議映像の同期プログラムを機能拡張していくとともに，発言に100%忠実な話し言葉としての音声認識版会議録と，書き言葉として理解できるよう整文された確定版会議録の二つを体系的に比較し，会議録では捨象される審議の「熱量」として分析を試みた．また，パネル抽出・文字認識・データベース化の一連の処理を自動化し，顔識別による発言者の特定や発言者にカメラが向けられているかどうかといった審議シーンの特定に機械学習を導入した．クラスタリングやワードクラウドなどによって発言の頻度や共起関係を可視化する機能を会議録に応用し，要約やキーワード抽出の機能拡張も行い，文字情報の集約と音声・映像情報との統合を図った．また，声紋分析や表情分析の機能拡張を行い，発言者の感情や発言の特徴を考慮した場合のテキスト分析の相違を解明することに着手した． [研究協力者] 政策研究大学院大学・政策研究科・教授飯尾潤，京都大学大学院・法学研究科・教授待鳥聡史，京都大学大学院・情報学研究科・教授河原達也，帝京大学・法学部・教授川人貞史
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 国会審議映像検索システムは，音声と会議録を同期・登録するといった一連の処理の自動化プログラムを着実に稼働させ，新たな会議は随時同期・登録されている．これにより，音声認識と会議録の相違について時系列的，分野横断的な分析が体系的に可能となっている．また，文字・音声・映像を包括的に把握する試みについても，審議映像からのパネル抽出・パネル文字認識を審議映像の再生画面にタグ付けするとともに，抽出パネルと審議映像の連動も実現させ，文字検索から映像検索への移行を進めている．同様に，会議録をテキストとする分析機能も追加し，一般公開サイトにおいて実装もしている．音声や表情の分析機能を拡張し，音圧や感情の変化を把握できるようにし，そうした会議録に残らない非言語的な情報空間を考慮した場合のテキスト分析も試みている．さらに，顔識別や審議シーンに機械学習を導入し，文字・音声・映像を統合した審議のハイライト化に取り組み，審議映像にリアルタイムで字幕を付与する機能を改善し，事後字幕から同時字幕への移行を進めている． 2020年の世界政治学会（リスボン）で研究成果を報告する予定であったが，新型コロナ感染拡大を受け，大会が延期されたため，2021年の大会に向けて準備している．
Strategy for Future Research Activity	音声認識による会議録と審議映像の同期プログラムを機能拡張していくとともに，音声認識版と整文後の確定版の二つの会議録の相違に関する体系的分析を継続し，会議の「熱量」といった文字情報で捨象されてきた立法の異次元を解明していく．具体的には，初年度までに開発してきたパネル抽出や表情分析，顔識別や審議シーンの機械学習を機能拡張し，要約やワードクラウドなどの会議録のテキスト分析と統合することによって，文字・音声・映像の包括的把握，審議のハイライト化を進める．また，顔認識の機械学習機能を拡張し，発言者を特定することにより，音声認識の精度を高め，審議映像のライブストリーミングに字幕付与する機能を拡張していく．議会事務局関係者によるネットワークを通じて，各国議会における音声認識や映像検索の利活用状況を把握し，2021年には新型コロナ感染拡大を受けて一年延期され，オンラインで開催される世界政治学会（オンライン）と，シアトルで開催予定のアメリカ政治学会において研究成果を報告する．
Remarks	* Artificial Intelligence: Innovations in Parliaments, Inter-Parliamentary Union, Innovation Tracker, Issue 4, 2020/2/12.