移動車両からの走行音・振動データを用いた冬季寒冷地の路面凍結状況の認識

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K04760
• Research Institution: Sendai National College of Technology
• Principal Investigator: 本郷 哲 仙台高等専門学校, 総合工学科, 教授 (80271881)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 道路状況認識 / 音響信号を用いたディープラーニング / 凍結路面認識 / 運転アシスト

Outline of Annual Research Achievements

本研究では、車両の走行音・振動情報を用いて外部環境(路面凍結状況)を認識する方法、そのための走行音・振動収録のための必要条件を究明することを目的としている。初年度は、具体的に次項目の研究を行った。
(1)走行音・振動データ収録手法の確立
車外の走行音採取のためのマイクロホンを検討し、外部悪環境にの暴露下、特に冬季においては感度の低下の原因となり得る氷着なども考慮して、走行音及び振動音の収集を試した。取り付け位置や風防設備を検討し、効果的に走行音を収録できるようなものを考案した。取り付け位置としては、エンジン・トランスミッションに起因する音、走行時の歩道からの雑音を考慮するとともに、速度とともに増大する風切り音なども考慮し、風切り音を防ぐ治具を制作するなどした。一方で、単一センサで実施したため、多チャンネル信号処理技術を用いることについては未検討である。
(2)走行音を用いた路面状況の判定手法の開発
上記(1)により、精度よく抽出した走行音・振動データを用いて、路面状況の判定手法、アルゴリズムを複数検討した。走行速度（30km/h未満、30km/h以上40km/h未満、40km/h以上50km/h未満、50km/h以上に車両の速度計により判断）、路面状況（乾燥、濡れ、シャーベット、圧雪を実際の路面を観察して判断）、を変えながら、1秒から数秒程度のセグメントに分けて分析を行った。分析方法は、(1)単純に周波数スペクトルの形状の違いにより判別する方法、(2) 周波数スペクトラム分布をディープラーニング手法による分類、（３）メルケプストラムに軸を変化させたときの分類などを検討した。(1)の周波数分析による方法により乾燥路面の走行音に比較し、シャーベットの場合は広い高周波領域のレベルの上昇、圧雪走行音は一部の帯域の減衰と広域での上昇が見られ、分類可能性が高いことが示された。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初計画していた実験の実績がやや足りない状況にある。
本研究は車両に取り付けたマイクロホンや振動ピックアップにより走行路面の凍結状況を把握するシステムを構築することを目指している。当初の計画では、初年度は特に車両を走行させ、音響信号や振動信号を収集する実験を大量に実施することを目指していた。
このため、申請時には積雪や凍結が安定である地域（具体的にはモンゴル）の研究者（モンゴル高専教員）に協力していただき、様々な凍結状況の路面の実験を行う予定であったが、Covid-19の影響により実験のための渡航が不可能な状況になり、本研究者が居住する宮城県内（宮城蔵王エコーライン中腹）での実施のみになった。　宮城県内において、融雪路面や圧雪路面の実験は行ったものの、近年の温暖化の影響で、凍結路面の実験は不十分であった。　また、融雪路面、圧雪路面においても、走行実験できる距離は短い範囲での実施となった。
その一方で、コロナ禍でも順調に進められる実験処理系の構築に注力し、こちらの方は予定以上の成果を得た。測定音響信号、および測定振動信号の処理には、当初は(1)周波数スペクトルによる分類を中心に行う予定であったが、(2) 周波数スペクトラム分布をディープラーニング手法による分類、（３）メルケプストラムに軸を変化させたときの分類なども追加的に検討し、それらの処理系を構築した。

Strategy for Future Research Activity

(1)実験データの大量収集　ーーーー上記の通り、現在屋外で移動が必須となる実験がCovid-19の影響で遅れている。この状況が継続する場合には、実験実施場所を再検討する必要がある。当初はモンゴルにおける共同研究者と実施する予定であったが、モンゴル等の国外のみならず、国内の寒冷地（北海道北部など）において実施する場所を検討する。
（２）大量の実験データを用いた効果的なディープラーニングの実施ーーーー上記（１）で得られた実験データを用いて、セグメントに分離した音・振動データを用いて、ディープラーニングによる判別を検討する。具体的には、まず、音・振動データとそれに同期されたビデオ画像および温度情報を用いて、データセグメントごとにラベリングを行う。ラベリングは、乾燥、濡れ、シャーベット、圧雪、凍結　の５種類に分類する。次に、分類した大量のデータを用いてディープラーニングを実施する。このとき、特徴量として分析する周波数範囲、分析手法、学習方法およびそれらのパラメータを変化させて路面分類に適するものを調べる。
（３）車両や温度による特性の変化に関する調査ーーーー上記（１）、および（２）の結果が車両やその他の気象条件によって変化するか、様々な気象条件、車両の種類などにさらに分類してラベリングを行った
データを用いて分類実験を行う。　これにより(2)の結果が向上するのであれば、さらなる小分類を行うことが良いと結論される。　一方、(2)の結果の変化が生じない場合には、対象とする条件に対してロバストであるということがいえる。　以上のように様々な条件下で分類状況を調べる。

Causes of Carryover

本年度については、covid-19の影響により、計画していた実験のための国外渡航や研究発表が不可能となったため、外国旅費および国内旅費分と実験にかかる消耗品費がほぼ残った形となっている。

次年度以降は、本年度不十分である実験を実施するために寒冷地に積極的に実験・研究旅行を行う予定を計画している。