(1)

Deepmind 的  DQN 在 Atari 的七个不同的游戏 (Beam Rider, Breakout, Enduro, Pong, Q*bert, Seaquest, Space Invaders) 中，有六个游戏的最高得分都超过了人类的最好玩家.

最出乎人们意料的是程序在 Breakout (突围）游戏中的表现.

刚开始, 不了解游戏规则的程序，表现得像个无头苍蝇，老是漏球.

经过10分钟的训练后，慢慢懂得要用板子击球，才可以得分.

经过120分钟的训练后，程序可以迅速准确击球，表现得有点专家的味道了.

经过240分钟的训练后，程序发现了一个获得高分的捷径:

不断用板子击球到最左边，连续数次后左边的几层砖头全部击倒打通，随后击球就可以经过这......

(1)

游戏公司 Atari 在1977年推出的 Breakout （突围）电脑游戏，主要开发者是苹果公司的创始人之一， Steve Wozniak. 乔布斯的角色是 Atari 和 Wozniak 中间的掮客.

Atari 起先告诉乔布斯，游戏如果四天内开发出来，将支付 700 美元的报酬。乔布斯许诺和 Wozniak 平分这笔钱。但Wozniak 不知道的是， Atari 还承诺如果此游戏在逻辑芯片的需求上低于某个指标，将给予更多的奖励.

最终Wozniak 连续四天挑灯夜战只拿到了 350 美元 的报酬， 而乔布斯则独吞了从  Atari 那里获得的五千美元的额外奖励。等Wozniak 知道真相时，已经是1984年，苹果上市四年了.

"突围" 游戏的规则很简单......

(1)

在增强学习领域，经历 (experience) 是指四个参数的集合， （x, a, y, r) 表示在状态 x, 做了 a, 进入了新的状态 y, 获得了回报 r. 教训 (lesson) 则是指一个时间序列的经历的集合.

经历回放 (experience replay) 的概念由 Long Ji Lin 在 1993年的博士论文里第一次提出.

"经历回放" 的第一个好处是更有效率。经验教训，尤其是有重大损失的经验教训，是昂贵的，如果把它存储到记忆里，可以日后反复调用学习，那么学习效率就会大大提高, 不用吃二遍苦，受二茬罪.

这就是俗话说的， “吃一堑，长一智”.

这实际上和我以前文章里，介绍过的神经网络的“长短期记忆” (Lon......

(1)

在用神经网络计算拟合最优价值函数 (最大利益）的实践中，最大的挑战，就是神经网络的参数无法收敛到最优值，无法求解. 换句话说，神经网络的参数变得发散 (Divergent).

传统的‘发散思维’一词，指某人思维活跃有想象力. 但是神经网络的参数发散，在这里就对应于大脑无所适从，精神错乱了。

这个问题的第一个原因是, 增强学习在和环境互动的过程中, 获得的数据都是高度相关的连续数列。当神经网络依靠这些数据来优化时，存在严重的样本偏差。

打个比方，当一个交易员短暂的成长过程中，恰好遇到牛市，那么他的世界观就是“涨，涨，涨”， 逢跌就买入， 英文又称 "Buy the......

(1)

所有没有成熟的新理论，新技术出现之初，学术界都会有两派:

好派 （人工智能，增强学习就是好, 就是好！）
    和
P 派 （人工智能，增强学习好个 P,  好个 P ! )

P 派对增强学习理论最为诟病之处：不实用，然并卵.

迄今为止关于各种算法的讨论，都离不开一个核心概念： 价值函数.

简单说，在贝尔曼方程里面，价值函数就是目前状态的理论最大值。（参见这篇老文章 王川: 深度学习有多深? (十九) -- 维度的诅咒和蒙特-卡洛模拟）

在漂亮的公式背后，如何求解价值函数，是个大问题。早期教科书里的简单例子中，价值函数就是一个表格. 每个状态，表格里对......

(1)

多巴胺,英文名 Dopamine, 是一种有机化合物, 学名 4-(2-Aminoethyl)benzene-1,2-diol, 4-(2-氨基乙基)-1,2-苯二酚, 在大脑中它的作用是在神经元之间传递信号的介质.

多巴胺作为神经介质 (neurotransmitter)的功能, 最早在1957年由瑞典化学家 Arvid Carlsson 发现, Carlsson 四十三年之后才因此发现获得诺贝尔奖.

多巴胺对于人脑的运作至关重要. 在普通人的印象中,多巴胺的释放是和食物,烟酒,性快感或者毒品联系在一起的.当人们获得各种快乐的奖励时,大脑释放大量多巴胺,让人们沉迷而无法自拔.

所以也有人称其多巴胺为"快感化学物" (pleasure chemical):快感/奖励, 导致多巴胺的释放......

(1)

动态规划理论的核心, 用以 Richard Bellman 老师名字命名的 贝尔曼方程 (Bellman Equation)表示.

贝尔曼方程的核心, 就是:

用大白话说, 就是

目前状态的最大价值 = 最大化［ 眼前的回报 + ｛未来的最大价值，贴现到现在｝ ］

而动态规划要解决的问题，无非就是求解方程里的最优价值函数 V(x) 而已．

使用贪婪算法的人们，只专注＂眼前的回报＂，而忽略了"对未来最大价值贴现到现在＂的认真计算.

社会上对部分大学生贴上的标签，"精致的利己主义者"，实际上应当看成是"努力求解贝尔曼方程的人们".

没有损害他人利益的"利己和精致&q......

(1)

迄今为止我们讨论的人工智能的问题,都还是局限在"认知"方面的应用, 比如图像识别,语音识别,自然语言处理,等等.

这类问题的特点是,机器获得大量原始数据的培训. 每一个输入,都有标准的"输出"的答案. 这种学习方式,也称为"有监督学习".

但是生活中大多数问题,是没有标准正确答案的.你的所作所为,偶尔会得到一些时而清晰, 时而模糊的反馈信号. 这就是"增强学习" (Reinforcement Learning) 要解决的问题.

"增强学习"的计算模型,最核心的有三个部分:

1. 状态 (State): 一组当前状态的变量 (是否吃饱穿暖, 心满意足? 是郁郁寡欢, 还是志得意满?......

(1)

2012年七月,半导体制造业发生了一件大事: 三家芯片生产的巨头,英特尔/台积电/三星, 集体为半导体光刻业的巨头, 荷兰公司艾司摩尔 (ASML), 承诺支付累计十三亿欧元的研发费用,帮其承担部分新技术开发的风险.

三家公司同时还以每股接近 40 欧元的价格注资购买了 ASML 大约23%的股票. ( 四年后的2016年七月, ASML 股价在 96 欧元左右.)

ASML 获得的资金, 主要用于加快 450 毫米晶圆片相关的器材和下一代极紫外线光刻技术 (EUV)的研发.

光刻工艺,占芯片生产成本的接近一半. 为了保证半导体产业链的技术发展,继续按照摩尔定律的路线图前进,芯片巨头们赤膊上阵,直接注巨资给器材商加速研发,这是第一次.

(1)

对半导体芯片生产过程不熟悉的人, 常会问这样一个问题:

为什么芯片的密度要两年才翻一番? 为什么不可以更快一点, 两年翻两番, 三番? 为什么我们不能够一下子从 100 纳米跨越到 10 纳米? 而要漫长的十几年才能完成这个过程?

对这个问题的简单回答是: 如果一个人要吃七个馒头才能饱,为什么不可以先直接去吃第七个馒头?

(2)

摩尔定律从另外一个角度看,实际上是个生产成本的经济问题.

这都是为了钱.

芯片密度的增加,本质上是降低单个晶体管的生产成本和功耗,使终端产品在市场上更有竞争力.

只有终极市场的利益驱动,才会推动厂家投入大量资金, 到新的生产技术里......

(1)

解决CPU 时钟瓶颈问题的另外一个维度,是增加系统的并行度,同时多做一些事情.

传统上，一个CPU 的芯片只有一个处理器（core, 也称内核 或 核心),当单个 CPU 的时钟速度很难再提高时,芯片设计者的另外一个思路是: 在同一个芯片上增加新的内核,让多个内核同时并行处理一些计算工作.

多核 CPU 的第一个好处是节能. 前面提到,处理器的能耗大约和时钟的频率的三次方成正比. 理论上说,如果把一个内核的时钟频率降低一半 (运算速度也降低一半),能耗就只有原来的八分之一.

如果要解决的计算任务可以很容易分成两部分,并行处理,那么一个双核的CPU可以在保持同样计算能力的情况下,通过降低内核时钟频率的......

（1）

曾撰文《集装箱震撼世界》，你一定还记得, 由于集装箱运费的极度低廉,国际贸易上出现了一些不可思议的协作:在英国打渔, 用集装箱送到中国加工处理, 再运回英国, 比在本地处理还要便宜.中国南方从美国进口大豆,比从东北购买还要便宜.

关于自动驾驶车,对人类生活方式的改变,一定要从成本这个角度来分析. 这里讨论的主要是美国的情况.

能源和交通专家 Julian Cox 最近发表了这样一段分析:

第一, 特斯拉电车的驱动装置 (drive unit) 寿命将可以达到一百万英里. 这意味着,如果价格三万五千美元的 Model 3 自动驾驶车出租, 一英里成本只有 3.5 美分.

第二, 大规模太阳能板发电成本现在可以降到一度电 5 美......

(1)

在 2002年之前,随着芯片密度的增加, CPU的时钟频率也一直不断增加. 对于普通消费者而言,CPU 的频率就代表计算机的快慢.  1981年最早出厂的 IBM PC, CPU 的频率是 4.77 兆赫, 相当于一秒钟四百七十七万个时钟周期. 假设 CPU 一个时钟周期可以运行一条指令, 频率越高, 就算得越快.

1995年的奔腾芯片,时钟频率达到了 100 兆赫, 是 1980年的二十倍还多.

而到了 2002年, 英特尔新型奔腾芯片时钟频率第一次突破 3000 兆赫 (3 GHz).

限制时钟频率的第一个主要物理约束条件是: 信号在晶体管之间传输的迟滞. 这也是为什么晶体管密度越大,时钟频率可以越高.

2002年之后, CPU 时钟频率增加遇到了第二个技术......

(1)

晶体管本质, 就是用"开"和"关"的状态,表示二进制里的 1 和 0.

集成电路里的所谓场效应管 (Field-Effect Transistor), 主要是三个部分: 源极 (Source), 栅极 (Gate) ,漏极 (Drain). 栅极本质上是一个电容, 对其施加电压时,栅极下面的沟道 (Channel) 联通源极和漏极,晶体管开启,代表"1"的状态. 电压取消时,电流降为零,晶体管关闭, 代表"0"的状态.

人们通常说的 CPU 的时钟频率, 就是晶体管开关的速度. 1 Ghz 就是 1秒钟内可以开关十亿次.

为什么人类的计算革命,选择了晶体管?

因为晶体管的持续小型化,使得单位生产成本的计算能力, 不断指数型的......

(1)

理解摩尔定律未来发展的路线图, 对理解 GPU 计算能力的进步速度, 和人工智能技术的进步速度的重要性.

摩尔定律的传统定义是: 半导体芯片上的晶体管密度,平均每 18-24个月翻一番.

它最初于1965年四月被芯片公司英特尔的创始人 戈登*摩尔 (Gordon Moore) 在一篇名叫 "把更多零件塞到集成电路里" (Cramming more components into Integrated Circuit) 的论文中提出.

2013 年八月,曾就职于英特尔任总设计师的 Bob Colwell 在芝加哥的一个行业会议上宣称: 芯片行业的摩尔定律要终结了.

"从计划的时段来看,我认为 2020年可能是摩尔定律最早的终结时间. 你也许可以说服我拖到......