(1)

Deepmind 的  DQN 在 Atari 的七个不同的游戏 (Beam Rider, Breakout, Enduro, Pong, Q*bert, Seaquest, Space Invaders) 中，有六个游戏的最高得分都超过了人类的最好玩家.

最出乎人们意料的是程序在 Breakout (突围）游戏中的表现.

刚开始, 不了解游戏规则的程序，表现得像个无头苍蝇，老是漏球.

经过10分钟的训练后，慢慢懂得要用板子击球，才可以得分.

经过120分钟的训练后，程序可以迅速准确击球，表现得有...

(1)

游戏公司 Atari 在1977年推出的 Breakout （突围）电脑游戏，主要开发者是苹果公司的创始人之一， Steve Wozniak. 乔布斯的角色是 Atari 和 Wozniak 中间的掮客.

Atari 起先告诉乔布斯，游戏如果四天内开发出来，将支付 700 美元的报酬。乔布斯许诺和 Wozniak 平分这笔钱。但Wozniak 不知道的是， Atari 还承诺如果此游戏在逻辑芯片的需求上低于某个指标，将给予更多的奖励.

最终Wozniak 连续四天挑灯夜战只拿到了 3...

(1)

在增强学习领域，经历 (experience) 是指四个参数的集合， （x, a, y, r) 表示在状态 x, 做了 a, 进入了新的状态 y, 获得了回报 r. 教训 (lesson) 则是指一个时间序列的经历的集合.

经历回放 (experience replay) 的概念由 Long Ji Lin 在 1993年的博士论文里第一次提出.

"经历回放" 的第一个好处是更有效率。经验教训，尤其是有重大损失的经验教训，是昂贵的，如果把它存储到记忆里，可以日后反复调用学习，那么学习效...

(1)

在用神经网络计算拟合最优价值函数 (最大利益）的实践中，最大的挑战，就是神经网络的参数无法收敛到最优值，无法求解. 换句话说，神经网络的参数变得发散 (Divergent).

传统的‘发散思维’一词，指某人思维活跃有想象力. 但是神经网络的参数发散，在这里就对应于大脑无所适从，精神错乱了。

这个问题的第一个原因是, 增强学习在和环境互动的过程中, 获得的数据都是高度相关的连续数列。当神经网络依靠这些数据来优化...

 (1)

所有没有成熟的新理论，新技术出现之初，学术界都会有两派:

好派 （人工智能，增强学习就是好, 就是好！）
    和
P 派 （人工智能，增强学习好个 P,  好个 P ! )

P 派对增强学习理论最为诟病之处：不实用，然并卵.

迄今为止关于各种算法的讨论，都离不开一个核心概念： 价值函数.

简单说，在贝尔曼方程里面，价值函数就是目前状态的理论最大值。（参见这篇老文章 王川: 深度学习有多深? (十九) -- 维度的诅咒和蒙...

 (1)

多巴胺,英文名 Dopamine, 是一种有机化合物, 学名 4-(2-Aminoethyl)benzene-1,2-diol, 4-(2-氨基乙基)-1,2-苯二酚, 在大脑中它的作用是在神经元之间传递信号的介质.

多巴胺作为神经介质 (neurotransmitter)的功能, 最早在1957年由瑞典化学家 Arvid Carlsson 发现, Carlsson 四十三年之后才因此发现获得诺贝尔奖.

多巴胺对于人脑的运作至关重要. 在普通人的印象中,多巴胺的释放是和食物,烟酒,性快感或者毒品联系在一...

(1)

动态规划理论的核心, 用以 Richard Bellman 老师名字命名的 贝尔曼方程 (Bellman Equation)表示.

贝尔曼方程的核心, 就是:

用大白话说, 就是

目前状态的最大价值 = 最大化［ 眼前的回报 + ｛未来的最大价值，贴现到现在｝ ］

而动态规划要解决的问题，无非就是求解方程里的最优价值函数 V(x) 而已．

使用贪婪算法的人们，只专注＂眼前的回报＂，而忽略了"对未来最大价值贴现到现在＂的认真计算.

社会上对部...

(1)

迄今为止我们讨论的人工智能的问题,都还是局限在"认知"方面的应用, 比如图像识别,语音识别,自然语言处理,等等.

这类问题的特点是,机器获得大量原始数据的培训. 每一个输入,都有标准的"输出"的答案. 这种学习方式,也称为"有监督学习".

但是生活中大多数问题,是没有标准正确答案的.你的所作所为,偶尔会得到一些时而清晰, 时而模糊的反馈信号. 这就是"增强学习" (Reinforcement Learning) 要解决的问题.

"增强学习"的...