2023 Fiscal Year Research-status Report
Development of Artificial Intelligence that Simulates Human Kansei for Melodies Written in Music Notation
| Project/Area Number |
22K12329
|
|---|
| Research Institution | Iwate University |
|---|
Principal Investigator |
川村 暁 岩手大学, 情報基盤センター, 准教授 (40347919)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吉田 等明 岩手大学, 教育学部, 嘱託教授 (00220666)
劉 忠達 石巻専修大学, 理工学部, 准教授 (00782533)
渡部 謙一 北海道教育大学, 教育学部, 准教授 (30360960)
牛渡 克之 同志社女子大学, 学芸学部, 教授 (50527166)
長谷川 正規 上越教育大学, 大学院学校教育研究科, 准教授 (70540996)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 被験者実験 / 吹奏楽器 / 楽譜 / テンポ / テンポ推定 / テンポ分布 / 正規性 / 深層ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
楽譜の感性情報処理の結果をデータベースとするため，被験者が楽譜を吹奏楽器で吹奏し，テンポ，印象，感情，色を調査票に記す被験者実験を進めている．被験者実験は４つの大学で行っている．本研究費の実施期間をふまえ実験を進めている．これは，一人あたりの実験時間は早い者で50時間ほど，時間を要する者は100時間ほどを要したためである．時間の差異は，楽器の吹奏能力，楽譜の読譜能力，楽器の音域と発音機構および音程を変化させる機構の違い，移調楽器のため同一楽譜でも演奏難易度が全く異なること，楽譜を吹奏するまで考える時間が，被験者により大きく異なるためである．発音機構は，エアリード，シングル・ダブルリード，マウスピースに大別される．音程を変化させる機構は，トーンホール（音孔，指穴），ピストン，スライドがある．移調楽器は，同じ音でも調（in B♭，in C，in E♭，in F）により当該楽器での音が異なり，♯♭も異なることから，同一旋律でも演奏難易度は全く変わる．同時に，楽器の音域によっても演奏難易度は大きな影響を受ける．被験者実験を進める場合でも，楽器特性と奏者の要素は非常に大きい．
得られたデータのうちテンポについては，特定の被験者のテンポのはやい・おそいを深層ニューラルネットワークで学習し予測することについて一定の成果を得，学会発表および論文投稿を行った．また，推定されたテンポそのものの統計的解析についての検討に着手した．予備的検討の段階ではあるが，被験者が推定したテンポをShapiro-Wilk検定で正規分布的ではないことから，パラメトリックな手法ではなくノンパラメトリックな手法が適切と示唆された．抑も，同一条件（同じ楽譜を複数の被験者が吹奏した結果）のデータセットが存在しないこともあり，この示唆は類例もなく，興味深い．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の要をなす楽譜を吹奏楽器演奏者が吹奏して行う被験者実験について，吹奏楽器の吹奏経験がある研究代表者および吹奏楽器を専門とする研究分担者が，それぞれの大学において被験者実験を進めている．研究実績の概要で記したように，楽器および演奏者に起因する要因は，それぞれの被験者実験の進捗に影響する．現在までに被験者実験が完了した者は14名となった．統計的に解析するためには，最も小さい分析単位である旋律毎に14名の被験者であるから，研究期間終了までには解析を行いうる下限は満たせると考えている．また，被験者が推定したテンポ分布について統計的解析を行い，Shapiro-Wilk検定で正規性の検定を行い，正規性に乏しいことを学会発表した．
機械学習によるテンポの推定については，被験者の推定したテンポのはやい・おそいについては，提案した深層ニューラルネットワークで一定の成果を得た．結果は，査読付きオープンアクセス雑誌に投稿し，年度が明けて早々に公開された．
|
| Strategy for Future Research Activity |
他に例を見ないデータセットである楽譜の感性情報処理の結果のデータベース，即ち，被験者が楽譜を吹奏楽器で吹奏し，テンポ，印象，感情，色を調査票に記す被験者実験により充実させる．旋律数が700以上と多いため，被験者実験にかかる時間が属人的であること，影響する要因が楽器特性および演奏者に起因することが示されたので，より注意深く被験者実験を進める．
テンポの推定では，ニューラルネットワークのアーキテクチャの変更を複数試し，よりよいモデルが得られるか計算機実験を進める．また．被験者により推定されたテンポそのものについても，統計検定等により特徴を明らかにする．
楽譜の好き嫌い等のより感性的な情報についても，ニューラルネットワークを用いることで模擬が可能かについて計算機実験を進める．
|
| Causes of Carryover |
研究実績の概要や現在までの進捗状況で記したとおり，被験者実験の進捗は被験者に依存すること，実験に要する時間が計算し難いことが差額の原因である．
よって，被験者実験対象者を増やす等して対応する．
|
