今回はおまけということで、DDPGに教師を追加してみました。記事の最初の方で作成したPD制御を教師として、DDPGの経験処理中に行動をアシストすると、学習に何か効果があるかを試しました。 結果、最初は教師の影響を受けて大股で歩こうとしていたものの、最…

前回はDDPGをざくっと解説してみました。 今回はDDPGでBipedalWalkerを学習させてみます。 1.BipedalWalker-v2の報酬について Open AI Gymのgithubサイトにあるソースリスト https://github.com/openai/gym gym－envs－box2d－bipedal_walker.pyの関数stepを…

前回はDDPG（Deep Deterministic Policy Gradient）でMountainCarContinuousに挑戦し、無事学習して山登りに成功しました。（BipedalWalkerは手強いので後回しです・・・） 今回は中身について、ざっくりですが解説してみます。 1.DDPG（Deep Deterministic …

改正2019.12.26 ソースリスト中でsteps_done +=1の位置をwhileループ（各ステップ計算ループ）からepsodeのforループに移動しました（バグ）。このバグのためSIGMA_DECAYがほとんど効かず、すぐにノイズが小さくなっていました。あわせてSIGMA_DECAYの設定値…

前回の続きです。歩行のスケジュールをチューニングした結果、2,3歩歩けるようになりました。これ以上は胴体の傾きをつかって制御するなどもう一工夫必要そうです。 スケジュール制御での歩行は一旦このくらいにしておきます。とりあえず現状の歩行を以下に…

前回の続きです。まずは、ニューラルネットワークを使わずにとにかく動かして、BipedicalWalkerがどのようなものなのか試してみます。歩くとこまで行くかどうか（現在も試行錯誤中）。とりあえず、脚の角速度が指令値じゃ何なので角度制御を導入します。

Open AI Gymをご存知の方も多いと思いますが、強化学習の開発用にOpen AIがフリーで提供しているテスト環境です。pythonで書かれています。 https://gym.openai.com/ この中にはブロック崩し、インベーダゲームを始めとするAtariの様々なゲームや、2次元の月…