| Project/Area Number |
23K28164
|
|---|
| Project/Area Number (Other) |
23H03474 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
出口 大輔 名古屋大学, 情報学研究科, 准教授 (20437081)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤井 直紀 名古屋大学, 未来社会創造機構, 特任准教授 (40786092)
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000)
Fiscal Year 2026: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2025: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Fiscal Year 2023: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
|
|---|
| Keywords | 人物行動センシング / 知識獲得型認識基盤 / 車載映像クラウド探 / 車載映像クラウド探索 |
|---|
| Outline of Research at the Start |
本研究では、我々人間が明示的・暗黙的なルールに従いながら状況に合わせて同じような行動をするという知見を活用し、そのようなルールに従う行動のセンシング結果を手掛かりとして、物体認識モデルの性能を向上させる学習データを車載映像クラウドから自動的に見つけ出す基盤技術の開発を行う。そして、人の行動とルールの情報を手がかりとして、それらの学習データに対してアノテーション情報を自動付与しながらモデル更新を行う知識獲得型認識基盤の実現を目指す。
|
| Outline of Annual Research Achievements |
本研究では、自動運転車両の環境センシングや安全運転支援への需要に加え、明示的・暗黙的なルールが顕著に観察される交通環境に焦点を当て、大量に蓄積された過去の車載映像（車載映像クラウド）から運転者の行動を手がかりとして自動的にアノテーション付き学習データを収集する技術の実現を目的とし、（A）人物行動をセンシングする仕組み、（B）人物行動の位置を正確に特定する仕組み、（C）人物行動と位置情報を手掛かりとして映像データから検出・認識対象を絞り込む仕組み、（D）収集データを曖昧性が含まれる弱教師付きデータとして検出器・識別器を学習する仕組み、の4つの枠組みで研究を進めている。2023年度は、（A）の人物行動をセンシングする仕組みとして歩行者のアイコンタクトを検出する技術の研究開発に取り組み、GPU搭載ラップトップで動作可能なデモの構築までを実施した。(B)の位置推定に関しては、位置推定の不確実性を考慮できる技術を開発した。(C)については、シーン中に存在する歩行者が見ている対象が何かを認識する技術を開発し、歩行者がインタラクションをしているシーンを特定可能な技術の検討を行った。(D)については、時刻情報なしの行動ラベル（弱教師）から各時刻での行動ラベルを擬似的（自己教師）に生成して学習する技術の開発を進めるとともに、識別器がより対象を認識できるようにするための基礎技術の開発を進めた。また、データベース構築については、既存の公開データセットのアノテーションを拡張する形で整備を進め、（A）ならびに（C）の研究開発に用いるデータセットを準備した。これらの成果については、国内外の会議で発表をするとともに、論文誌への投稿を進めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
（A）の人物行動をセンシングする仕組みについては、人物が何かとインタラクションする際に見られるアイコンタクトに着目し、アイコンタクトを検出する技術の開発に取り組んだ。人物の骨格情報とシーン情報をTransformerの枠組みで統合する技術を実現し、その成果を論文誌に投稿して採録という結果を得た。(B)の人物行動の位置を正確に特定する仕組みにおいては、位置推定が不確かな状況を認識しながらロバストに自己位置推定ができる技術の開発に取り組んだ。具体的には、物体認識と自己位置推定それぞれの認識結果が不確かになる状況に似た傾向があるという点に着目し、これらの不確実性を同時に考慮する確率的フレームワークを提案した。この結果はロボティクス分野のトップカンファレンスの一つであるICRA2023で発表を行った。(C)の人物行動と位置情報を手掛かりとして映像データから検出・認識対象を絞り込む仕組みについては、人物が何かとインタラクションをしているシーンの検出の実現を目指し、人物が何を見ているかを認識する技術の開発を行った。その成果は国際会議で発表するとともに、国内会議で研究奨励賞を受賞した。(D)の収集データを曖昧性が含まれる弱教師付きデータとして検出器・識別器を学習する仕組みについては、時刻情報なしの行動ラベル（弱教師）から各時刻での行動ラベルを擬似的（自己教師）に生成して学習する技術を開発し、これらの成果を国際会議に投稿中である。また、認識器が認識対象である物体をより捉えられるようにする技術についても検討を行い、国内外の会議で初期検討結果を発表した。(A)から(D)それぞれのテーマについて順調に技術開発が進むとともに、それらを国内外の会議で発表できていることから、順調に研究が進んでいると考えられる。
|
| Strategy for Future Research Activity |
（A）の人物行動をセンシングする仕組みについては、2023年度に開発した人物のアイコンタクトを検出する技術を発展させ、より軽量なデバイスでも動作可能な技術の実現を目指す。また、(C)の技術との統合を進め、人物行動を手がかりとして対象を絞り込む技術の実現に着手する。 (B)の人物行動の位置を正確に特定する仕組みにおいては、2023年度に開発した自己位置推定の不確実性をモデル化する技術を発展させ、自己位置推定の信頼度を定量化できる方法を検討する。さらに、（C）の技術への統合を進め、人物行動と位置推定の両方を組み合わせた絞り込み技術の実現につなげる。(C)の人物行動と位置情報を手掛かりとして映像データから検出・認識対象を絞り込む仕組みについては、2023年度に開発した人物が何かとインタラクションをしているシーンの検出を発展させるとともに、（A）と（B）の結果と組み合わせることで、より詳細に対象となるシーンを絞り込む技術の実現を目指す。(D)の収集データを曖昧性が含まれる弱教師付きデータとして検出器・識別器を学習する仕組みについては、2023年度に開発した時刻情報なしの行動ラベル（弱教師）から各時刻での行動ラベルを擬似的（自己教師）に生成して学習する技術を発展させるとともに、昨今注目を集めているゼロショット学習技術の活用も視野にいれて研究を進める。これらの研究を進めて得られた成果については、順次、国内外の会議で発表をするとともに、論文誌への投稿も積極的に進める。
|
