《深度强化学习——边做边学》第二章 在走迷宫任务中随机探索 （修改后的代码）

如下图所示：

 

 初始点在 S0， 终点在S8， 其中红线的部分是墙，不能通过，绿色的圆圈是此刻所在位置。

在任一的状态时可以选的动作其概率都是均等的，如果三个动作可以选就各为0.333333，如果是两个动作可以选就各是0.5。

 

 

 

 

 

原书中已经提供代码，但是感觉看起来不是很明晰，于是修改了一下：

 https://gitee.com/devilmaycry812839668/maze_random

 

 

 

 

在修改代码的时候发现下面的一个有意思的事情，就是如果做100000次实验，那么所走的步数从小到大排序其所占实验的次数并不是一个高斯形状的分布，实验之前原本以为下面的分布会是小步数和大步数的实验占比较小而处于中间步数的实验占比大，但是实际情况如下：

 

 

 

 

 

 

 

 

 

感觉这个现象还是蛮有意思的，不知道该如何解释。

想了想这个结果应该是不同位置在随机探索条件下探索到的概率不同，这个实验可以看做是  蒙特卡洛模拟搜索，最终的结果就是在随机探索（随机策略下）不同路径的概率（近似概率，蒙特卡洛法）。

看来计算机这东西光是想还是不行，还是得要代码跑起来，弄弄实验才对。