(1)

在用神经网络计算拟合最优价值函数 (最大利益）的实践中，最大的挑战，就是神经网络的参数无法收敛到最优值，无法求解. 换句话说，神经网络的参数变得发散 (Divergent).

传统的‘发散思维’一词，指某人思维活跃有想象力. 但是神经网络的参数发散，在这里就对应于大脑无所适从，精神错乱了。

这个问题的第一个原因是, 增强学习在和环境互动的过程中, 获得的数据都是高度相关的连续数列。当神经网络依靠这些数据来优化时，存在严重的样本偏差。

打个比方，当一个交易员短暂的成长过程中，恰好遇到牛市，那么他的世界观就是“涨，涨，涨”， 逢跌就买入， 英文又称 "Buy the......

(1)

所有没有成熟的新理论，新技术出现之初，学术界都会有两派:

好派 （人工智能，增强学习就是好, 就是好！）
    和
P 派 （人工智能，增强学习好个 P,  好个 P ! )

P 派对增强学习理论最为诟病之处：不实用，然并卵.

迄今为止关于各种算法的讨论，都离不开一个核心概念： 价值函数.

简单说，在贝尔曼方程里面，价值函数就是目前状态的理论最大值。（参见这篇老文章 王川: 深度学习有多深? (十九) -- 维度的诅咒和蒙特-卡洛模拟）

在漂亮的公式背后，如何求解价值函数，是个大问题。早期教科书里的简单例子中，价值函数就是一个表格. 每个状态，表格里对......

(1)

多巴胺,英文名 Dopamine, 是一种有机化合物, 学名 4-(2-Aminoethyl)benzene-1,2-diol, 4-(2-氨基乙基)-1,2-苯二酚, 在大脑中它的作用是在神经元之间传递信号的介质.

多巴胺作为神经介质 (neurotransmitter)的功能, 最早在1957年由瑞典化学家 Arvid Carlsson 发现, Carlsson 四十三年之后才因此发现获得诺贝尔奖.

多巴胺对于人脑的运作至关重要. 在普通人的印象中,多巴胺的释放是和食物,烟酒,性快感或者毒品联系在一起的.当人们获得各种快乐的奖励时,大脑释放大量多巴胺,让人们沉迷而无法自拔.

所以也有人称其多巴胺为"快感化学物" (pleasure chemical):快感/奖励, 导致多巴胺的释放......

(1)

动态规划理论的核心, 用以 Richard Bellman 老师名字命名的 贝尔曼方程 (Bellman Equation)表示.

贝尔曼方程的核心, 就是:

用大白话说, 就是

目前状态的最大价值 = 最大化［ 眼前的回报 + ｛未来的最大价值，贴现到现在｝ ］

而动态规划要解决的问题，无非就是求解方程里的最优价值函数 V(x) 而已．

使用贪婪算法的人们，只专注＂眼前的回报＂，而忽略了"对未来最大价值贴现到现在＂的认真计算.

社会上对部分大学生贴上的标签，"精致的利己主义者"，实际上应当看成是"努力求解贝尔曼方程的人们".

没有损害他人利益的"利己和精致&q......

(1)

迄今为止我们讨论的人工智能的问题,都还是局限在"认知"方面的应用, 比如图像识别,语音识别,自然语言处理,等等.

这类问题的特点是,机器获得大量原始数据的培训. 每一个输入,都有标准的"输出"的答案. 这种学习方式,也称为"有监督学习".

但是生活中大多数问题,是没有标准正确答案的.你的所作所为,偶尔会得到一些时而清晰, 时而模糊的反馈信号. 这就是"增强学习" (Reinforcement Learning) 要解决的问题.

"增强学习"的计算模型,最核心的有三个部分:

1. 状态 (State): 一组当前状态的变量 (是否吃饱穿暖, 心满意足? 是郁郁寡欢, 还是志得意满?......

(1)

2012年七月,半导体制造业发生了一件大事: 三家芯片生产的巨头,英特尔/台积电/三星, 集体为半导体光刻业的巨头, 荷兰公司艾司摩尔 (ASML), 承诺支付累计十三亿欧元的研发费用,帮其承担部分新技术开发的风险.

三家公司同时还以每股接近 40 欧元的价格注资购买了 ASML 大约23%的股票. ( 四年后的2016年七月, ASML 股价在 96 欧元左右.)

ASML 获得的资金, 主要用于加快 450 毫米晶圆片相关的器材和下一代极紫外线光刻技术 (EUV)的研发.

光刻工艺,占芯片生产成本的接近一半. 为了保证半导体产业链的技术发展,继续按照摩尔定律的路线图前进,芯片巨头们赤膊上阵,直接注巨资给器材商加速研发,这是第一次.

(1)

对半导体芯片生产过程不熟悉的人, 常会问这样一个问题:

为什么芯片的密度要两年才翻一番? 为什么不可以更快一点, 两年翻两番, 三番? 为什么我们不能够一下子从 100 纳米跨越到 10 纳米? 而要漫长的十几年才能完成这个过程?

对这个问题的简单回答是: 如果一个人要吃七个馒头才能饱,为什么不可以先直接去吃第七个馒头?

(2)

摩尔定律从另外一个角度看,实际上是个生产成本的经济问题.

这都是为了钱.

芯片密度的增加,本质上是降低单个晶体管的生产成本和功耗,使终端产品在市场上更有竞争力.

只有终极市场的利益驱动,才会推动厂家投入大量资金, 到新的生产技术里......

(1)

解决CPU 时钟瓶颈问题的另外一个维度,是增加系统的并行度,同时多做一些事情.

传统上，一个CPU 的芯片只有一个处理器（core, 也称内核 或 核心),当单个 CPU 的时钟速度很难再提高时,芯片设计者的另外一个思路是: 在同一个芯片上增加新的内核,让多个内核同时并行处理一些计算工作.

多核 CPU 的第一个好处是节能. 前面提到,处理器的能耗大约和时钟的频率的三次方成正比. 理论上说,如果把一个内核的时钟频率降低一半 (运算速度也降低一半),能耗就只有原来的八分之一.

如果要解决的计算任务可以很容易分成两部分,并行处理,那么一个双核的CPU可以在保持同样计算能力的情况下,通过降低内核时钟频率的......

（1）

曾撰文《集装箱震撼世界》，你一定还记得, 由于集装箱运费的极度低廉,国际贸易上出现了一些不可思议的协作:在英国打渔, 用集装箱送到中国加工处理, 再运回英国, 比在本地处理还要便宜.中国南方从美国进口大豆,比从东北购买还要便宜.

关于自动驾驶车,对人类生活方式的改变,一定要从成本这个角度来分析. 这里讨论的主要是美国的情况.

能源和交通专家 Julian Cox 最近发表了这样一段分析:

第一, 特斯拉电车的驱动装置 (drive unit) 寿命将可以达到一百万英里. 这意味着,如果价格三万五千美元的 Model 3 自动驾驶车出租, 一英里成本只有 3.5 美分.

第二, 大规模太阳能板发电成本现在可以降到一度电 5 美......

(1)

在 2002年之前,随着芯片密度的增加, CPU的时钟频率也一直不断增加. 对于普通消费者而言,CPU 的频率就代表计算机的快慢.  1981年最早出厂的 IBM PC, CPU 的频率是 4.77 兆赫, 相当于一秒钟四百七十七万个时钟周期. 假设 CPU 一个时钟周期可以运行一条指令, 频率越高, 就算得越快.

1995年的奔腾芯片,时钟频率达到了 100 兆赫, 是 1980年的二十倍还多.

而到了 2002年, 英特尔新型奔腾芯片时钟频率第一次突破 3000 兆赫 (3 GHz).

限制时钟频率的第一个主要物理约束条件是: 信号在晶体管之间传输的迟滞. 这也是为什么晶体管密度越大,时钟频率可以越高.

2002年之后, CPU 时钟频率增加遇到了第二个技术......

(1)

晶体管本质, 就是用"开"和"关"的状态,表示二进制里的 1 和 0.

集成电路里的所谓场效应管 (Field-Effect Transistor), 主要是三个部分: 源极 (Source), 栅极 (Gate) ,漏极 (Drain). 栅极本质上是一个电容, 对其施加电压时,栅极下面的沟道 (Channel) 联通源极和漏极,晶体管开启,代表"1"的状态. 电压取消时,电流降为零,晶体管关闭, 代表"0"的状态.

人们通常说的 CPU 的时钟频率, 就是晶体管开关的速度. 1 Ghz 就是 1秒钟内可以开关十亿次.

为什么人类的计算革命,选择了晶体管?

因为晶体管的持续小型化,使得单位生产成本的计算能力, 不断指数型的......

(1)

理解摩尔定律未来发展的路线图, 对理解 GPU 计算能力的进步速度, 和人工智能技术的进步速度的重要性.

摩尔定律的传统定义是: 半导体芯片上的晶体管密度,平均每 18-24个月翻一番.

它最初于1965年四月被芯片公司英特尔的创始人 戈登*摩尔 (Gordon Moore) 在一篇名叫 "把更多零件塞到集成电路里" (Cramming more components into Integrated Circuit) 的论文中提出.

2013 年八月,曾就职于英特尔任总设计师的 Bob Colwell 在芝加哥的一个行业会议上宣称: 芯片行业的摩尔定律要终结了.

"从计划的时段来看,我认为 2020年可能是摩尔定律最早的终结时间. 你也许可以说服我拖到......

(1)

FUD 之五: Model S 质量问题很大, 驱动装置 (drive unit) 损坏率几乎100%, "消费者报告"杂志2015年把特斯拉从推荐名单上拿掉.

反驳: 分析问题要以发展的眼光来看. Model S 的质量不断在提高, 2015年用于保修的成本比2014年下降了 17%, 随着产品的不断成熟优化,这个趋势将会继续.

至于部分驱动装置的问题,主要是噪音,驱动装置上的滚珠轴承从金属换成陶瓷的,噪音就没有了.维修中心实际操作时,直接更换成带有陶瓷轴承的驱动装置更为简便,但被一些无良媒体渲染为驱动装置完全失效.

"消费者报告"里面提到的另外一个关键点: 尽管有一些质量问题,97%的被调查者表示......

(1)

我在2015年的老文章“论无人驾驶车投资布局的六大要点”里曾经提到, 自动驾驶技术发展过程中,迟早会出现一些稀奇古怪的车祸,上报纸头条,造成一定恐慌,但是这无法阻挡行业进步的大趋势.

2016年五月七日,在佛罗里达发生第一起和特斯拉 autopilot 有关的车祸死亡事故.一辆大型卡车在高速路上左转,被对面疾驰而来的特斯拉撞上. 特斯拉从卡车底下穿过, 上面被削去一部分, 其司机当场身亡.

(2)

在惊呼狼来了之前,有必要回顾一下一百多年前,汽车刚刚出现时,美国行车安全的历史演变.

第一辆底特律 (美国汽车之都) 街头的汽车出现在 1896年. 到1908年,当地居民开始意识到,车祸是个日益严重的......

(1)

FUD 之三: 特斯拉就是省点油钱,让那些小清新的环保主义者自我感觉良好. 油价降下来以后,就没人买特斯拉了.

事实上, 2014年以来油价的大跌,丝毫没有影响特斯拉销售额的增长.

除了节能减排以外,特斯拉电车的最大优势是加速性能好,维护简单和强大的软件平台.

最夸张的是,今年三月份,有好事者做了一个比赛,让特斯拉 Model X 拖着一辆法拉利 Alfa Romeo, 去和另外一辆法拉利 Alfa Romeo 竞争. 结果拖着四千磅负载的 Model X 在四百米竞赛中领先半个身位取胜.

特斯拉的 Sterling Anderson 指出: "许多高性能跑车,在四百米的竞赛中,与其自己跑, 还不如被 Model X 拖着跑得更快".

(1)

2013 年十一月三十日, 电影 "速度与激情" 的主演 Paul Walker 驾驶着一辆保时捷 Carrera CT, 高速疾驰中撞上路边的大树,跑车燃起了熊熊大火. Walker 被困在车内, 和同伴都不幸身亡.

警方报告后来显示, 跑车超过八十英里每小时的速度是事故的最主要原因. Walker 在汽车撞树后已经失去知觉,大火则使他在得到救援之前没有生还的机会.

此时在舆论界被炒作的另外的几个车辆着火的事故,都和电车公司特斯拉有关.

先是 13年十月一号, 一辆特斯拉 Model S 的电池板,在高速路上受到一块金属撞击,突然着火,次日特斯拉的股票下跌了 6%.

紧接着十月十八日, 在墨西哥一辆特......

(1)

影响 GPU运算速度的技术指标有好几个.

一般人讨论计算速度时, 大多在说芯片时钟的速度. 芯片频率越高, 时钟的一个周期越短, 速度越快. 但这只是计算能力中的一个维度.

集装箱船运的效率, 除了轮船航行的速度 (类似芯片的速度) 以外, 更重要的是轮船的吨位, 装卸货的时间, 港口等待的时间, 等等.

一个典型的计算流程是这样的:
1)数据从 CPU 的内存拷贝到 GPU 的内存．
2) CPU 把计算指令传送给 GPU
3) GPU 把计算任务分配到各个 CUDA core 并行处理
4) 计算结果写到 GPU 内存里, 再拷贝到 CPU 内存里.

除了时钟的速度, 衡量GPU计算能力的其它几个重要参数是:

(1)

回顾深度学习技术在图像识别,语音识别和自然语言处理上的突破, 可以看到的是一个很清晰的主脉络:

计算速度加快, 缩短了新算法的测试周期,

成功的新算法, 迅速彻底地淘汰老算法.

谷歌的资深研究者 Jeff Dean 这样描绘算法测试速度的重要性:

如果一个实验要一个月才会出结果, 没有人会去测试.

如果要花费一到四周, 那么只有特别高价值的测试才值得去做.

如果一到四天就可以出结果,那勉强可以忍受.

如果一天之内就可以出结果, BOOM! 研究的效率大大提高,新成果不断涌现.

(2)

深度学习在图像识别上的突破, 一下子让支持向量机 (SVM) 的统计......

(1)

循环神经网络, 在文字处理上的表现, 只是小荷才露尖尖角.

自然语言处理, 英文是 Natural Language Processing (NLP).其基本定义为: 把一段文字, 转化成一个数据结构, 力求清晰无误地表达文字的意义.

自然语言处理包括对自然语言的理解和生成, 典型应用如机器翻译, 文字分类, 聊天机器人等等. 通过语言沟通, 是智人和其它动物的最重要区别, 这是人工智能技术的重要基石.

衡量 NLP 表现的一个重要变量是所谓语言模型 (Language Model, 简称 LM) 的perplexity (困惑度). 困惑度,是一个用概率计算的基准, 借用了信息论创始人, 著名科学家香农的信息熵的概念.

通俗地说, 用语言......

(1)
循环神经网络 (RNN)的本质, 是可以处理一个长度变化的序列的输出和输入 (多对多). 广义的看, 如果传统的前馈神经网络做的事, 是对一个函数的优化 (比如图像识别). 那么循环神经网络做的事, 则是对一个程序的优化,应用空间宽阔得多.

长短期记忆 (LSTM)的架构, 使有用的历史信息, 可以保留下来,很久以后仍然可以读取.

一个有趣的应用, 是把大量文字作为输入培训 RNN, 让它掌握语言的规律, 自己也可以写文章了.

斯坦福大学的计算机博士 Andrej Kapathy 在他的博客中写道:
"有时我的模型的简单程度, 和高质量的输出相比,反差如此之大,远远超越我的......