模倣学習

- 逆強化学習とは逆強化学習は、機械学習の中でも近年特に注目されている分野の一つです。従来の強化学習では、人工知能が行動の指針とする「報酬」を人間があらかじめ設定する必要がありました。例えば、将棋のAIであれば「勝利」を報酬として設定することで、AIは勝利を目指すように学習していきます。しかし、現実世界の複雑な状況において、最適な報酬を人間が設計することは非常に困難です。例えば、自動運転のAIであれば、「安全に目的地に到着すること」以外にも、「乗り心地の良さ」や「渋滞の少なさ」など、考慮すべき要素は多岐に渡ります。これらの要素を全て人間が考慮して報酬として設定することは、現実的に不可能と言えるでしょう。そこで登場するのが逆強化学習です。これは、熟練者の行動を観察することで、その背後に隠された目標や意図を推定する技術です。つまり、熟練者の行動から「どのような報酬を最大化しようとしていたのか」を逆算することで、報酬を人間が設計することなく、AIに学習させることができるのです。例えば、逆強化学習を用いることで、熟練ドライバーの運転データから「安全かつスムーズな運転」を実現するための報酬を推定し、自動運転AIに学習させることができます。このように、逆強化学習は、従来の強化学習では難しかった複雑なタスクへの応用が期待されています。