2023 Fiscal Year Final Research Report

Construction of multimodal ecological scene analysis for bird behavior analysis

Research Project

PDF

Project/Area Number	20H00475
Research Category	Grant-in-Aid for Scientific Research (A)
Allocation Type	Single-year Grants
Section	一般
Review Section	Medium-sized Section 45:Biology at organismal to population levels and anthropology, and related fields
Research Institution	Tokyo Institute of Technology
Principal Investigator	Nakadai Kazuhiro 東京工業大学, 工学院, 教授 (70436715)
Co-Investigator(Kenkyū-buntansha)	井手一郎名古屋大学, 情報学研究科, 教授 (10332157) 鈴木麗璽名古屋大学, 情報学研究科, 准教授 (20362296) 森本元公益財団法人山階鳥類研究所, その他部局等, 研究員 (60468717) 松林志保大阪大学, 大学院基礎工学研究科, 特任准教授(常勤) (60804804) 小島諒介京都大学, 医学研究科, 講師 (70807651)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	ロボット聴覚 / 音環境理解 / 視聴覚統合観測技術 / 野鳥行動解析 / マルチモーダル生態環境理解・解析技術 / 音景解析
Outline of Final Research Achievements	This research aims to develop robot audition technology, which has been researched in the field of robotics, and to integrate microphone array processing, image processing, and machine learning to construct multimodal scene understanding as a new observation and analysis technology to be applied to ecology and environmental studies. Also, it aims to academically demonstrate its effectiveness through its deployment to ecology and environmental studies. Through the development of Chirpy, a camera-equipped microphone array, we have applied the technology to real field tasks such as bird song-based behavior analysis and background and soundscape analysis, and obtained know-how and operational guidelines. In addition, we were able to release audio-visual datasets of birds and open source software along with many academic achievements.
Free Research Field	ロボット聴覚，音環境理解
Academic Significance and Societal Importance of the Research Achievements	野鳥観測での主要な課題である野鳥行動解析，背景・音景解析に対して，野鳥行動解析では，複数個体の長時間追跡，非侵襲・非接触観測を可能にする技術を，また背景・音景解析では，対象を特定の種から生態系全体に広げることが求められる技術を提供し，人力による観測の限界，問題を解決する糸口を提供することができたことは大きな学術的意義がある。また，多くの論文を工学，生態学それぞれの分野で著すことができたことは，学術的に，この主張を支持する成果である。また，一般向けにオープンソフトウェアの講習会やデータセット公開ができたことは，今後の展開を考えれば，社会的な意義が大きい。