| 研究課題/領域番号 |
24K04079
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分02100:外国語教育関連
|
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
今尾 康裕 大阪大学, 大学院人文学研究科(言語文化学専攻), 教授 (50609378)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2029-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2028年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2027年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2026年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2025年度: 260千円 (直接経費: 200千円、間接経費: 60千円)
2024年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | マルチメディアコーパス作成 / Mac アプリケーション / コーパス分析アプリケーション / コーパス言語学 / アプリケーション開発 |
|---|
| 研究開始時の研究の概要 |
CasualConc および CasualTranscriber の改善・機能強化を進めるとともに、両アプリケーションの連携を模索し、マルチモーダルなデータを扱う方法を探る。また、タブレット端末である iPad で基本的な分析や分析結果の参照ができるように、一部機能を移植しつつ、iOS 用のアプリケーションを開発していく。並行して、他の研究者に協力を呼びかけると共に、既存の研究の再現研究を行うことを通して、研究での利用で必要な機能の洗い出しを行い、アプリケーションに機能を追加する。開発したアプリケーションなどは無償で公開する。
|
| 研究実績の概要 |
今年度は、コーパス分析アプリケーションであるCasualConcと文字起こし補助アプリケーションであるCasualTranscriberを連携させて、CasualTranscriberで作成したファイルをCasualConcで読み込んで、マルチメディアコーパスを容易に作成できる機能の追加を試みた。まずは、CasualTranscriberのmacOSの機能を利用した自動書き起こしを強化するため、OpenAIが公開している音声認識アプリケーションであるWhisperをCasualTranscriberと連携させ、さらに精度の高い自動書き起こしを実現した。また、WhisperをApple Silicon Macに特化させたWhisperKitも検証したのちに連携させ、自動書き起こしの処理速度も大幅に改善した。
CasualConcには、CasualTranscriberのタイムスタンプ付きファイルを読み込んで、音声・ビデオファイルとテキストをリンクしたデータベースを作成し、簡易的なマルチメディアコーパスを作成する機能を追加した。これにより、CasualTranscriberで複数の音声・ビデオファイルをタイムスタンプ付きのテキストに変換し、CasualConcでデータベースにすることで、ある程度の大きさのマルチメディアコーパスが容易に作成できるようになった。
これと並行して、両アプリケーションのマニュアルも改訂し、それに加えて、両アプリケーションを利用してマルチメディアコーパスを作成するガイドも執筆し、近日公開予定である。さらに、これまで英語のマニュアルしかなかったCasualConcに日本語チュートリアルの作成を開始し、基本設定までを公開した、
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
今年度は、既存のコーパス研究での実験の再現を試みてCasualConcを中心としたアプリケーションの機能修正・追加を行うことを予定していたが、いくつかの論文などの研究をもとに、CasualConcに追加したトピックモデル分析ができる機能の修正などを行なった。
また、OpenAI社が公開している自動音声認識アプリケーションであるWhisperの精度がかなり高く実用に耐えうることが判明したため、CasualConcとの連携によりマルチメディアコーパスが容易に作成できる機能の追加に注力し、CasualTranscriberへのWhisper/WhisperKit連携機能の追加と、CasualConcへのCasualTranscriberファイルをもとにデータベースファイルを作成し、音声・ビデオ付きのコーパス検索を可能にする機能を追加した。
マニュアルやガイド作成の面では、マニュアルはアプリケーションの新しいバージョンに合わせて改訂して公開したものの、ウェブチュートリアルに関しては、基本的な部分の作成・公開はできたが、ビデオクリップの作成までには至らなかった。使用ガイドの作成においては、新しく追加した機能を利用して連携させ、マルチメディアコーパスを作成する手引きを執筆し、近日公開できるところまで進めた。
|
| 今後の研究の推進方策 |
CasualTranscriberとCasualConcの連携については、波形表示などの音声情報の視覚化の機能を追加するなど、マルチモーダル研究の補助ができるようなレベルまで持っていきたい。それ以外の機能についても、既存のコーパス研究での分析を再現できるような機能の追加も引き続き行なっていきたい。
チュートリアルやガイドについては、引き続きWebサイト上の日本語のチュートリアルの内容を充実させ、ビデオ操作ガイドも加えていきたい。
今年度からは、iPad版のアプリケーションの開発も開始させる予定にしており、まずは、プロトタイプの作成を試みて、どこまでの機能がiPadで可能なのかの検証を開始する予定である。
|
