2018 Fiscal Year Annual Research Report
深層学習と機能的MRIの融合による聴覚刺激の嗜好の個人差の解明
Publicly Offered Research
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
18H05017
|
|---|
| Research Institution | National Institute for Physiological Sciences |
|---|
Principal Investigator |
近添 淳一 生理学研究所, 脳機能計測・支援センター, 准教授 (40456108)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | 深層学習 / 機能的MRI / 価値 / 人工神経回路 / 聴覚 |
|---|
| Outline of Annual Research Achievements |
外界の情報は感覚器を介して捉えられ、脳内で抽象的価値情報に変換された後、価値に基づく意思決定を経て適切な行動が選択される。全く同じ刺激であっても、ある個人にとっては 好ましく、他の個人にとっては不快に感じられることがあるように、感覚刺激の嗜好には個体差がある。価値評価は質的情報を量的情報に変換する過程であることから、嗜好の個人差はこの変換過程および質感知の神経基盤の個体間の違いに原因を求めることができる。機能的MRI研究により、前頭眼窩皮質や側坐核、線条体が価値情報処理に関わることが明らかにされているが、感覚情報からどのような過程を経て価値の情報が生じるかは明らかにされていない。人工神経回路による視覚情報からカテゴリ情報への階層的情報変換が腹側視覚路における情報処理のよい近似になっていることから、聴覚情報から価値情報への変換も人工神経回路による階層的情報処理で近似しうるという仮説をおき、これを検証する。平成30年度は聴覚刺激を入力にとり、価値情報を出力に取る人工神経回路を作成した。まず、公開されているオープンソースデータを利用して、深層学習により楽曲―価値変換器を作成した。オープンソースデータは複数の個人の嗜好が反映されているため、このような人工神経回路は、個人間で共通するような価値の情報を表現していると考えられる。さらに10人の被験者を対象に行動実験を行い、個人の嗜好を模倣する人工神経回路を作成した。令和元年度は、さらに機能的MRI実験を行い、このような音楽の個人的嗜好に関連する脳領域の同定を行う。論文出版の実績としては、Annual Review of Psychology誌から依頼を受けて、共著で情動と認知の相互作用の脳内表現に関する総説を執筆した（in press）。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成30年度は聴覚刺激を価値に変換する人工神経回路の作成を行った。このような人工神経回路の前例は非常に少ないため、先行研究で報告されたものを下地に、技術的な改善を加えながら進めた。解析の初期段階では、オープンソースを利用し、後半では新たに取得した実験データを用いた。オープンソースとしては、マルチメディア情報の解析を競い合うMediaeval というワークショップにおいて、emotion in musicというcompetition が 2013 年に開かれ、そのデータセットが公開されている。このcompetition においては、45 秒の音楽クリップに対して 3人の評定者がarousalおよびvalenceのスコアを 0.5 秒毎に答えたデータが計744曲分収集されている。そこでこのデータを用いて、畳み込みニューラルネットワーク（Choi et al., 2017）および再帰型ニューラルネットワーク（Malik et al., 2017）を作成し、楽曲情報から、valence の時系列の予測を試みた。損失関数として mse（平均二乗誤差）を用いた場合には、個々の曲の時系列的変化が捉えられなかったが、損失関数として mse のみでなく、 個々の曲の時系列データにおける予測値と実測値の相関を加えた場合には、成績の向上がみられた。さらに、個人の嗜好をモデル化するために、スマートスピーカーを用いた行動実験を施行した。この実験により、10人の被験者を対象に、音楽刺激に対する個人のvalenceのレーティングのデータを計１時間分取得した。このデータを用いて、Mediaevalのデータを使って訓練した人工神経回路をベースに、個人毎に再学習を行うことで、個人の嗜好を学習したニューラルネットワークを作成した。
|
| Strategy for Future Research Activity |
令和元年度は、被験者に音楽刺激に対する選好度をレーティングしてもらい、その時の脳活動を機能的MRI実験により測定し、音楽刺激の価値の脳内表現を明らかにする。この課題においては、楽曲の商業的価値を予測することを目的とはせず、被験者個人の感じる主観的価値を知ることを目的としている。レーティング課題は、MRIスキャナの内外で行い、スキャナ外で取得した聴覚刺激に対する各被験者の主観的価値のデータは、各被験者にフィッティングした人工知能の予測性能の評価に用いる。次に、平成30年度に作成した聴覚－価値変換を行う人工知能と各々の被験者のデータの間で、機能的MRIデータを用いたフィッティングを行う。ここで、通常の人工神経回路の訓練では、誤差逆伝播法を用いて最上位の階層から順に下っていく形でモデルのパラメータを調整するが、本研究計画におけるフィッティングでは、必ずしも誤差逆伝播法を用いる必要はない。人工神経回路の各階層と対応する脳領域が同定できていれば、誤差は全階層で同時に計算可能であるからである。そこで、このプロセスにおいては、通常の誤差逆伝播法のみでなく、全層のパラメータのフィッティングを同時に行う方法もテストする。最終段階では、個人にフィッティングした人工知能とその各階層に対応する脳内情報mapの被験者間での統合を行う。脳内情報mapの被験者間統合には、機能的MRI研究で通常行われる集団解析の手法を用いる。具体的には、各被験者の脳内情報mapを標準脳に投射後、脳内の各画素（voxel）において、各階層毎に計算した脳内情報量の値を集団解析にかけ、被験者間で共通する聴覚－価値変換の神経基盤を同定し、これらの脳領域内で嗜好の個人差を最もよく説明する脳領域を同定する。
|
