Theory of Reinforcement Learning and Algorithms of Route Choice in Transportation Networks

• Project/Area Number: 22360201
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Civil engineering project/Traffic engineering
• Research Institution: Tohoku University
• Principal Investigator: MIYAGI Toshihiko 東北大学, 大学院・情報科学研究科, 教授 (20092968)
• Co-Investigator(Kenkyū-buntansha): FUKUMOTO Jyunya 東北大学, 大学院・情報科学研究科, 准教授 (30323447)
• Project Period (FY): 2010 – 2012
• Project Status: Completed (Fiscal Year 2012)
• Budget Amount: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000); Fiscal Year 2012: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2011: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000); Fiscal Year 2010: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
• Keywords: 繰り返しゲーム / 強化学習 / 交通行動理論 / 適応学習アルゴリズム / Nash 均 衡 / 利用者均衡確率近似理論 / 動的離散的選択モデル / Nash均衡 / 利用者均衡 / 確率近似理論 / ゲーム理論 / 強化学習理論 / 実験経済学 / 経路選択行動 / リグレット基準 / ネットワーク均衡 / 離散的交通行動理論 / ロジット均衡

Research Abstract

This research shows that an individual traveler in transportation networks is rigorously modeled as an adaptive learning agent who receives travel information through day-to-day experience and makes his decision so as to reinforce his action depending the realized payoffs. An adaptive learning algorithm consistent with the theory is proposed and proved that it leads the system to a Nash equilibrium with probability one. The proposed algorithms have tested numerically by using example networks with various ill-defined link cost functions and examined a rapid convergence of the algorithms. In addition, we have proposed an estimation method for the structure parameters included in the route choice model. The application to the data of theday-to-day route choice obtained by the indoor experiments was satisfactory.

Research Products

• [Journal Article] Adaptive Learning Algorithms for Traffic Games with Naive Users (2013)
  • Author(s): Miyagi, T., G.C. Peque, Jr and J. Fukumoto
  • Journal Title: the 20th International Symposium on Traffic Theory and Transportation
• [Journal Article] 経路選択行動に関する室内実験 (2013)
  • Author(s): 池田愛,宮城俊彦
  • Journal Title: 交通工学 Volume: Vo1.48,No.2 Pages: 53-62
  • URL: http://www.jste.or.jp/Books/kikan-cont-4802.html
• [Journal Article] 経路選択行動に関する室内実験 (2013)
  • Author(s): 池田 愛
  • Journal Title: 交通工学 Volume: 48巻 Pages: 53-62
  • Peer Reviewed
• [Journal Article] Adaptive Learning Algorithms for Traffic Games with Naive Users (2013)
  • Author(s): Miyagi, Toshihiko
  • Journal Title: Proc. of the 20th ISTTT Volume: 20
  • Peer Reviewed
• [Journal Article] Estimation of Structural Parameters of the Economic Growth Model with Subspace System Identification (2012)
  • Author(s): Kato, H. and T. Miyagi
  • Journal Title: Journal of China-US Business Review Volume: Vol.11, N0.7
• [Journal Article] Informed-user algorithms that converges to Nash equilibrium in traffic games (2012)
  • Author(s): Miyagi, T., and G.C. Peque,Jr.
  • Journal Title: Procedia-Social and Behavioral Sciences Volume: 54 Pages: 438-449
• [Journal Article] DSGEモデルによる公共投資の効果分析とモデルの時変パラメータ推定 (2012)
  • Author(s): 加藤裕人,宮城俊彦
  • Journal Title: 土木学会論文集D3 Volume: Vol.68,N0.5
  • NAID: 130004559667
• [Journal Article] Informed-user algorithms that converges to Nash equilibrium (2012)
  • Author(s): Miyagi, Toshihiko
  • Journal Title: Procedia-Social and Behavioral Sciences Volume: Vol.54 Pages: 438-449
  • Peer Reviewed
• [Journal Article] 適応的経路選択モデルにおける経路集合の限定手法と経路分散パラメータの推定法 (2011)
  • Author(s): 宮城俊彦・遠藤雅人
  • Journal Title: 土木学会論文集D3 Volume: Vol.67,No.5
• [Journal Article] An adaptive learning algorithm for a route choice problem in uncertain traffic environments (2011)
  • Author(s): Miyagi,T.
  • Journal Title: Urban Transport Volume: Vol.17 Pages: 43-52
• [Journal Article] An adaptive learning algorithm for a route choice problem in uncertain traffic environments (2011)
  • Author(s): Miyagi, T.
  • Journal Title: Urban Transport XVII Volume: 17巻 Pages: 43-52
  • Peer Reviewed
• [Journal Article] 適応的経路選択モデルにおける経路集合の限定手法と経路分散パラメータの推定法 (2011)
  • Author(s): 宮城俊彦, 遠藤雅人
  • Journal Title: 土木学会論文集D3 Volume: Vol.67, No.5 Pages: 1541-1552
  • Peer Reviewed
• [Journal Article] テレワーク通勤への転換行動分析のためのリグレット・マッチング・モデル (2010)
  • Author(s): 宮城俊彦・石黒雅彦
  • Journal Title: 地域学研究 Volume: 39 Pages: 911-926
  • NAID: 130000263139
  • Peer Reviewed
• [Journal Article] Regret Matchingを用いた経路選択行動分析:不完全交通情報を仮定した粒子モデル (2010)
  • Author(s): 宮城俊彦・石黒雅彦
  • Journal Title: 土木計画学研究・論文集 Volume: 27 Pages: 531-538
  • NAID: 130006275141
  • Peer Reviewed
• [Journal Article] 社会資本整備を内包した経済成長モデルのパラメータ推定 (2010)
  • Author(s): 加藤裕人・宮城俊彦・仲原由布子
  • Journal Title: 土木計画学研究・論文集 Volume: 27 Pages: 41-48
  • Peer Reviewed
• [Presentation] Adaptive Learning Algorithms for Traffic Games with Naive Users (2013)
  • Author(s): Miyagi, T., G.C. Peque, Jr and J. Fukumoto
  • Organizer: the 20th International Symposium on Traffic Theory and Transportation
  • Place of Presentation: Noordwijk, the Netherlands
  • Year and Date: 2013-07-17
• [Presentation] 経路選択行動モデルの構造パラメータ推定について (2012)
  • Author(s): 池田愛・宮城俊彦
  • Organizer: 土木計画学研究・講演集
  • Place of Presentation: 埼玉大学
  • Year and Date: 2012-11-03
• [Presentation] 混雑ゲームにおけるNon-atomicモデルの数値計算特性について (2012)
  • Author(s): 張洋・G.C.Peque,Jr.・宮城俊彦
  • Organizer: 土木計画学研究・講演集土木学会
  • Place of Presentation: 埼玉大学
  • Year and Date: 2012-11-03
• [Presentation] 多数エージェントの動学的離散的選択行動モデルに対する定常均衡アプローチについて (2012)
  • Author(s): 宮城俊彦
  • Organizer: 日本地域学会学術発表論文集49,日本地域学会
  • Place of Presentation: 立正大学.
  • Year and Date: 2012-10-07
• [Presentation] Informed-user algorithms that converges to Nash equilibrium in traffic games (2012)
  • Author(s): Miyagi, T., and G.C. Peque, Jr.
  • Organizer: the 15th meeting of the Euro Working Group onTransportation
  • Place of Presentation: CiteDescartes, France.
  • Year and Date: 2012-09-11
• [Presentation] Traffic Games with Incomplete Travel Information (2012)
  • Author(s): Miyagi, T., and G.C. Peque,Jr.
  • Organizer: 土木計画学研究講演集、土木学会
  • Place of Presentation: 京都大学
  • Year and Date: 2012-06-02
• [Presentation] 動的経路選択行動の室内実験による検証と分析 (2011)
  • Author(s): 池田愛・宮城俊彦
  • Organizer: 土木計画学研究・講演集土木学会
  • Place of Presentation: 岐阜大学
  • Year and Date: 2011-11-27
• [Presentation] 動学的確率的一般均衡モデルの時変パラメータ推定による財政政策の計効果分析 (2011)
  • Author(s): 加藤裕人・宮城俊彦
  • Organizer: 土木計画学研究・講演集,土木学会
  • Place of Presentation: 岐阜大学
  • Year and Date: 2011-11-27
• [Presentation] Estimation of Structural Parameters of the Economic Growth Model with Subspace System Identification (2011)
  • Author(s): Kato, H. and Miyagi,T.
  • Organizer: the 22nd Pacific Regional Science Conference, RSAI
  • Place of Presentation: Seoul KyoYuk MunHwa HoeKwan, Seoul, Korea
  • Year and Date: 2011-07-05
• [Presentation] 動的経路選択行動の室内実験による検証と分析 (2011)
  • Author(s): 池田愛, 宮城俊彦
  • Organizer: 土木計画学研究委員会
  • Place of Presentation: 岐阜大学工学部
• [Presentation] オンライン凸計画問題と交通ネットワークゲーム (2010)
  • Author(s): 宮城俊彦
  • Organizer: 土木計画学研究発表会春大会
  • Place of Presentation: 名古屋工業大学
• [Presentation] カルマンフィルターを応用した所要時間推定法の提案実用性 (2010)
  • Author(s): 宮田輝星・宮城俊彦
  • Organizer: 土木計画学研究発表会春大会
  • Place of Presentation: 名古屋工業大学
• [Presentation] DSGEモデルによる社会資本整備効果の計測法 (2010)
  • Author(s): 仲原由布子・宮城俊彦
  • Organizer: 土木計画学研究発表会秋大会
  • Place of Presentation: 山梨大学
• [Presentation] 確率的仮想プレイに基づく強化学習モデルと行動パラメータ推定 (2010)
  • Author(s): 遠藤雅人・宮城俊彦
  • Organizer: 土木計画学研究発表会秋大会
  • Place of Presentation: 山梨大学
• [Presentation] 部分空間同定法を用いた経済成長モデルの構造パラメータ推定 (2010)
  • Author(s): 加藤裕人・宮城俊彦
  • Organizer: 日本地域学会第47回年次大会
  • Place of Presentation: 政策研究大学院大学
• [Presentation] 離散的経路選択モデルとNash均衡 (2010)
  • Author(s): 宮城俊彦
  • Organizer: 第24回応用地域学会研究発表大会
  • Place of Presentation: 名古屋大学
• [Presentation] Traffic Games with Incomplete Travel Information
  • Author(s): G.C. Peque,Jr.
  • Organizer: 土木学会土木計画学研究会
  • Place of Presentation: 京都大学
• [Presentation] 経路選択行動モデルの構造パラメータ推定について
  • Author(s): 池田 愛
  • Organizer: 土木学会土木計画学研究会
  • Place of Presentation: 埼玉大学
• [Presentation] 混雑ゲームにおけるNon-atomic モデルの数値計算特性について
  • Author(s): 張 洋
  • Organizer: 土木学会土木計画学研究会
  • Place of Presentation: 埼玉大学
• [Presentation] nformed-user algorithms that converges to Nash equilibrium in traffic games
  • Author(s): G.C. Peque,Jr.
  • Organizer: the 15th meeting of the Euro Working Group on Transportation
  • Place of Presentation: Cite Descartes, France.
• [Presentation] 多数エージェントの動学的離散選択行動モデルに対する定常均衡アプローチについて
  • Author(s): 宮城俊彦
  • Organizer: 日本地域学会
  • Place of Presentation: 埼玉大学
• [Presentation] Adaptive Learning Algorithms for Traffic Games with Naive Users
  • Author(s): G.C. Peque,Jr.
  • Organizer: the 20th International Symposium on Transportation and Traffic Theory
  • Place of Presentation: Delft University