| 研究課題/領域番号 |
21H03520
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
高野 渉 大阪大学, 数理・データ科学教育研究センター, 特任教授(常勤) (30512090)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| キーワード | 人工知能 / ロボティクス / 運動 / 機械学習 |
|---|
| 研究実績の概要 |
デジタルペルソナとは、人間の趣味趣向や意思決定を通じて発現される身体運動や発話の情報表現としてのコンピュータモデルである。ロボティクス・コンピュータビジョン・AIの最新技術を駆使して、コンピュータが人間の行動を観察するだけで、その傾向や特性といった個性の抽出と類別化、人間の行動を言語化・アーカイブおよび再生する技術が基盤となる。令和４年度は、以下の研究項目に取り組み、人間の行動観察からそれを言語として表現するため環境を整備した。
（A）ビデオモーションキャプチャ技術の開発
スマートフォンにて撮影した画像中から、人間の身体運動を表現するに重要な身体部位（キーポイント：鼻、目、耳、首、肩、肘、手先、腰、膝、足先）をリアルタイムで検出する運動計測環境を整備した。身体運動は画像座標系におけるキーポイントの位置（X・Y座標）の数値として計測される。キーポイント位置座標から、カメラに対する人間の位置や身長などの被写体の大きさに不変な特徴量を設計した。
（B）行動データと言語データの統合数理モデルの開発
スマートフォンで計測した身体運動データに対して、動作名のラベルを人間が付与することによって、運動データと対応するラベルの組合せのデータセットを収集した。運動データから付与したラベルが生成される深層ニューラルネットワークをワークステーションにて設計することにより、スマートフォンにて撮影した映像から人間の行動を認識する計算を実現した。さらに、ワークステーションにて設計した運動の認識器モデルをスマートフォンに移植することによって、スマートフォンを撮影した人間の映像から骨格キーポイントの位置を検出し、その数値データから動作を識別することを可能にした。人間の身体運動を計測する技術、運動を認識する技術を誰でもが簡易に利用できる技術の基盤となる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
人間の身体運動や発話といった行動の情報表現であるデジタルペルソナを構築するために、令和４年度では、運動計測および運動認識を簡易なデバイスで利用できるようにするための技術開発を実施した。
（Ａ）ビデオモーションキャプチャ技術の開発
前年まではＧＰＵが搭載されている高性能計算機において画像から人間の重要な身体部位（キーポイント）を検出することや、複数のカメラにて計測したキーポイントの位置から人間の3次元全身運動を推定する技術を構築した。本年度は、高性能計算機ではなく、誰でもが持っているスマートフォンにて行動を撮影し、リアルタイムで人間のキーポイントを検出する技術を整備した。人間の行動データを誰でも分析・利用できるプラットフォームを構築することも目的とする本研究課題において、行動計測の基盤技術を整備した。
（Ｂ）行動データと言語データの統合数理モデルの開発
前述ではスマートフォンにて撮影した人間の行動を身体のキーポイント位置の数値データとして計測することが可能となった。運動の数値データに対して、その運動の名称ラベルを人間が付与することによって、運動データと名称ラベルの訓練データを収集した。運動データからラベルが生成される深層学習モデルを構築し、それをスマートフォンに移植した。スマートフォンのカメラにて撮影した映像からリアルタイムで行動を認識するアプリケーションを開発した。誰もが利用できる動作認識アプリによって、人間行動プラットフォームの構築が大きく前進した。今後は物体認識などの他のモーダル情報を加味して詳細な行動認識計算へ発展させていく。
|
| 今後の研究の推進方策 |
人間の趣味趣向や意思決定を通じて発せられる身体運動や発話の情報表現であるデジタルペルソナを構築するために、令和５年度では、身体運動、その周囲状況からなる行動データを言語化する技術、および行動の言語化を活用したサービスを開発する。
（B）行動データと言語データの統合数理モデルの開発
身体運動を言語表現へ翻訳する高精度・高詳細な深層学習モデルを構築する。これを実現するために、身体運動と言語の大規模なデータセットを収集することによって動作や語彙の多様性に向上させる。さらに、最近の自然言語処理分野で注目を集めている生成系AIの最先端の機械学習モデルの知見を取り入れて、運動データから生成される言語の表現を詳細にすることを狙う。身体の周辺の環境状況を加味して、人間の行動を言語として理解する人工知能へ拡張させる。環境情報から場所を特定することによって、その場所状況に適した語彙を利用することによって、運動データから生成される文章の正確度を高める。さらに、環境中の物体を認識することによって、身体が働き掛ける物体情報も取り込んで行動を理解するAIに繋がる。
（D）行動解析の課題解決・サービス提供への応用
1台のスマートフォンにて身体運動を計測すること、および限定的な状況では動作を認識する技術の基盤を構築した。現状できる認識として、転倒検知が可能になりつつある。この転倒検知をアプリとして完成させて、多くのユーザーに利用してもらうようにリリースする。さらに転倒検知以外でも、スポーツの技能を定量的に評価する技術、製造現場での熟練者の技能を抽出する技術、親子などの人間関係を評価する技術を実装したアプリケーションを作成していく。個別具体的に応用先を選定し、運動計測・認識・言語化技術を社会実装する。
|
