财新传媒
2016年07月19日 13:16

摩尔定律还能走多远?(三)CPU的内存瓶颈

摩尔定律还能走多远?(三)CPU的内存瓶颈

(1)

在 2002年之前,随着芯片密度的增加, CPU的时钟频率也一直不断增加. 对于普通消费者而言,CPU 的频率就代表计算机的快慢.  1981年最早出厂的 IBM PC, CPU 的频率是 4.77 兆赫, 相当于一秒钟四百七十七万个时钟周期. 假设 CPU 一个时钟周期可以运行一条指令, 频率越高, 就算得越快.

1995年的奔腾芯片,时钟频率达到了 100 兆赫, 是 1980年的二十倍还多.

而到了 2002年, 英特尔新型奔腾芯片时钟频率第一次突破 3000 兆赫 (3 ...

阅读全文>>
2016年07月13日 10:44

摩尔定律还能走多远?(二)

摩尔定律还能走多远?(二)

 (1)

晶体管本质, 就是用"开"和"关"的状态,表示二进制里的 1 和 0.

集成电路里的所谓场效应管 (Field-Effect Transistor), 主要是三个部分: 源极 (Source), 栅极 (Gate) ,漏极 (Drain). 栅极本质上是一个电容, 对其施加电压时,栅极下面的沟道 (Channel) 联通源极和漏极,晶体管开启,代表"1"的状态. 电压取消时,电流降为零,晶体管关闭, 代表"0"的状态.

人们通常说的 CPU 的时钟频率, 就是晶体管开关的速度. 1 Ghz 就是 1秒...

阅读全文>>
2016年07月08日 11:38

摩尔定律还能走多远?(一)

摩尔定律还能走多远?(一)

  (1)

理解摩尔定律未来发展的路线图, 对理解 GPU 计算能力的进步速度, 和人工智能技术的进步速度的重要性.

摩尔定律的传统定义是: 半导体芯片上的晶体管密度,平均每 18-24个月翻一番.

它最初于1965年四月被芯片公司英特尔的创始人 戈登*摩尔 (Gordon Moore) 在一篇名叫 "把更多零件塞到集成电路里" (Cramming more components into Integrated Circuit) 的论文中提出.

2013 年八月,曾就职于英特尔任总设计师的 Bob Co...

阅读全文>>
2016年07月08日 11:31

关于特斯拉的十三个FUD的反驳(下)

关于特斯拉的十三个FUD的反驳(下)

    (1)

FUD 之五: Model S 质量问题很大, 驱动装置 (drive unit) 损坏率几乎100%, "消费者报告"杂志2015年把特斯拉从推荐名单上拿掉.

反驳: 分析问题要以发展的眼光来看. Model S 的质量不断在提高, 2015年用于保修的成本比2014年下降了 17%, 随着产品的不断成熟优化,这个趋势将会继续.

至于部分驱动装置的问题,主要是噪音,驱动装置上的滚珠轴承从金属换成陶瓷的,噪音就没有了.维修中心实际操作时,直接更换成带有陶瓷轴承的...

阅读全文>>
2016年07月06日 09:38

从美国的汽车安全管理历史看自动驾驶的未来

从美国的汽车安全管理历史看自动驾驶的未来

(1)

我在2015年的老文章“论无人驾驶车投资布局的六大要点”里曾经提到, 自动驾驶技术发展过程中,迟早会出现一些稀奇古怪的车祸,上报纸头条,造成一定恐慌,但是这无法阻挡行业进步的大趋势.

2016年五月七日,在佛罗里达发生第一起和特斯拉 autopilot 有关的车祸死亡事故.一辆大型卡车在高速路上左转,被对面疾驰而来的特斯拉撞上. 特斯拉从卡车底下穿过, 上面被削去一部分, 其司机当场身亡.

(2)

在惊呼狼来了之前,有必要回...

阅读全文>>
2016年06月24日 11:48

关于特斯拉的十三个FUD的反驳(中)

关于特斯拉的十三个FUD的反驳(中)

(1)

FUD 之三: 特斯拉就是省点油钱,让那些小清新的环保主义者自我感觉良好. 油价降下来以后,就没人买特斯拉了.

事实上, 2014年以来油价的大跌,丝毫没有影响特斯拉销售额的增长.

除了节能减排以外,特斯拉电车的最大优势是加速性能好,维护简单和强大的软件平台.

最夸张的是,今年三月份,有好事者做了一个比赛,让特斯拉 Model X 拖着一辆法拉利 Alfa Romeo, 去和另外一辆法拉利 Alfa Romeo 竞争. 结果拖着四千磅负载的 Model ...

阅读全文>>
2016年06月16日 14:43

关于特斯拉十三个FUD的反驳(上)

关于特斯拉十三个FUD的反驳(上)

  (1)

2013 年十一月三十日, 电影 "速度与激情" 的主演 Paul Walker 驾驶着一辆保时捷 Carrera CT, 高速疾驰中撞上路边的大树,跑车燃起了熊熊大火. Walker 被困在车内, 和同伴都不幸身亡.

 

警方报告后来显示, 跑车超过八十英里每小时的速度是事故的最主要原因. Walker 在汽车撞树后已经失去知觉,大火则使他在得到救援之前没有生还的机会.

此时在舆论界被炒作的另外的几个车辆着火的事故,都和电车公司特斯拉有关.

先是 ...

阅读全文>>
2016年06月12日 14:23

深度学习有多深?(十七)衡量GPU的计算能力

深度学习有多深?(十七)衡量GPU的计算能力

 (1)

影响 GPU运算速度的技术指标有好几个.

一般人讨论计算速度时, 大多在说芯片时钟的速度. 芯片频率越高, 时钟的一个周期越短, 速度越快. 但这只是计算能力中的一个维度.

集装箱船运的效率, 除了轮船航行的速度 (类似芯片的速度) 以外, 更重要的是轮船的吨位, 装卸货的时间, 港口等待的时间, 等等.

一个典型的计算流程是这样的:
1)数据从 CPU 的内存拷贝到 GPU 的内存.
2) CPU 把计算指令传送给 GPU
3) GPU 把计算任...


阅读全文>>
2016年06月07日 11:27

深度学习有多深?(十六)再论计算速度的蛮力

深度学习有多深?(十六)再论计算速度的蛮力

 (1)

回顾深度学习技术在图像识别,语音识别和自然语言处理上的突破, 可以看到的是一个很清晰的主脉络:

计算速度加快, 缩短了新算法的测试周期,

成功的新算法, 迅速彻底地淘汰老算法.

谷歌的资深研究者 Jeff Dean 这样描绘算法测试速度的重要性:

如果一个实验要一个月才会出结果, 没有人会去测试.

如果要花费一到四周, 那么只有特别高价值的测试才值得去做.

如果一到四天就可以出结果,那勉强可以忍受.

如果一天之内...

阅读全文>>
2016年05月27日 13:43

深度学习有多深?(十五)自然语言的困惑

深度学习有多深?(十五)自然语言的困惑

    (1)

循环神经网络, 在文字处理上的表现, 只是小荷才露尖尖角.

自然语言处理, 英文是 Natural Language Processing (NLP).其基本定义为: 把一段文字, 转化成一个数据结构, 力求清晰无误地表达文字的意义.

自然语言处理包括对自然语言的理解和生成, 典型应用如机器翻译, 文字分类, 聊天机器人等等. 通过语言沟通, 是智人和其它动物的最重要区别, 这是人工智能技术的重要基石.

衡量 NLP 表现的一个重要变量是所谓语言...

阅读全文>>
2016年05月23日 14:36

深度学习有多深?(十四)循环神经网络和言情小说

深度学习有多深?(十四)循环神经网络和言情小说

        (1)
循环神经网络 (RNN)的本质, 是可以处理一个长度变化的序列的输出和输入 (多对多). 广义的看, 如果传统的前馈神经网络做的事, 是对一个函数的优化 (比如图像识别). 那么循环神经网络做的事, 则是对一个程序的优化,应用空间宽阔得多.

长短期记忆 (LSTM)的架构, 使有用的历史信息, 可以保留下来,很久以后仍然可以读取.

一个有趣的应用, 是把大量文字作为输入培训 RNN, 让它掌握语言的规律, 自己也可以写文章了.

...


阅读全文>>
2016年05月18日 11:14

深度学习有多深?学了究竟有几分?(十三)

深度学习有多深?学了究竟有几分?(十三)

(1)

2012年十月, Geoffrey Hinton, 邓力和其他几位代表四个不同机构 (多伦多大学, 微软, 谷歌, IBM) 的研究者, 联合发表论文, "深度神经网络在语音识别的声学模型中的应用: 四个研究小组的共同观点" (Deep Neural Networks for Acoustic Modelling in Speech Recognition: The Shared Views of Four Research Groups ).

研究者们借用了Hinton 使用的"限制玻尔兹曼机" (RBM) 的算法 (这个系列的第四篇有介绍过), 对神经网络进行...

阅读全文>>
2016年05月12日 16:43

深度学习有多深?学了究竟有几分?(十二)

深度学习有多深?学了究竟有几分?(十二)

     (1)

RNN 和 LSTM 发挥威力的重要应用之一, 是语音识别.

一直到2009年之前, 主流的语音识别技术, 依靠的是统计学上的两个算法模型, 高斯混合模型 (Gaussian Mixture Model)和隐藏马尔科夫模型 (Hidden Markov Model).

马尔科夫模型, 是一个概率的模型. 其核心思想, 就是一个系统, 下一个时间点的状态, 只取决于当前的状态, 而和更早的时间点 (昨天, 前天, 大前天)的状态无关.

这么一个简单的概念,被俄国数学家马尔科夫...

阅读全文>>
2016年05月04日 15:37

深度学习有多深? 学了究竟有几分? (十一)

深度学习有多深? 学了究竟有几分? (十一)

 (1)

迄今为止我们讨论的神经网络模型, 都属于一种叫做前馈网络 (feedforward network) 的东西. 简而言之, 前馈网络, 信息从底层不断往前单向传输,故而得名.

RNN (Recurrent Neural Network), 也称循环神经网络, 多层反馈神经网络, 则是另一类非常重要的神经网络.

本质上, RNN 和前馈网络的区别是, 它可以保留一个内存状态的记忆, 来处理一个序列的输入, 这对手写字的识别, 语音识别和自然语言处理上, 尤为重要.

在分析一...

阅读全文>>
2016年04月21日 11:35

深度学习有多深?学了究竟有几分?(十)

深度学习有多深?学了究竟有几分?(十)

    (1)

2013 年的 ImageNet 竞赛, 获胜的团队是来自纽约大学的研究生 Matt Zeiler, 其图像识别模型 top 5 的错误率, 降到了 11.5%.

Zeiler 的模型共有六千五百万个自由参数, 在 Nvidia 的GPU 上运行了整整十天才完成训练.

2014年, 竞赛第一名是来自牛津大学的 VGG 团队, top 5 错误率降到了 7.4%.

VGG的模型使用了十九层卷积神经网络, 一点四亿个自由参数, 在四个 Nvidia 的 GPU 上运行了将近三周才完成培训.

如何继续...

阅读全文>>
2016年04月19日 15:24

深度学习有多深?学了究竟有几分?(九)

深度学习有多深?学了究竟有几分?(九)

    (1)

2012年神经网络模型在ImageNet 竞赛中的突破,引起了工业界强大的兴趣.

Hinton 教授和他的两个研究生, Alex Krizhevsky 和 Ilya Sutskever, 2012 年底成立了一个名叫 DNNresearch (深度神经网络研究)的公司, 三个月后就被谷歌以五百万美元收购. Hinton 从此一半时间留在多伦多大学,另外一半时间在硅谷. 另外两位研究生则成为谷歌的全职雇员.

原来在纽约大学教书的杨立昆 (Yann LeCun), 2013 年底被脸书聘请为其人工智...

阅读全文>>
2016年04月06日 16:02

人工智能和深度学习(一)

人工智能和深度学习(一)

(1)

2016 年一月底,人工智能的研究领域,发生了两件大事。

先是一月二十四号,MIT 的教授,人工智能研究的先驱者,Marvin Minsky 去世,享年89岁。

三天之后,谷歌在自然杂志上正式公开发表论文,宣布其以深度学习技术为基础的电脑程序 AlphaGo,在2015年十月,连续五局击败欧洲冠军职业二段樊辉。

这是第一次机器击败职业围棋选手。距离97年IBM电脑击败国际象棋世界冠军,一晃近二十年了。

极具讽刺意义的是,...

阅读全文>>
2016年03月31日 13:56

深度学习有多深?学了究竟有几分?(八)

深度学习有多深?学了究竟有几分?(八)

    (1)

2009年, 一群在普林斯顿大学计算机系的华人学者, (第一作者为 Jia Deng )发表了论文 "ImageNet: A large scale hierarchical image database), 宣布建立了第一个超大型图像数据库,供计算机视觉研究者使用.

这个数据库建立之初,包含了三百二十万个图像. 它的目的, 是要把英文里的八万个名词,每个词收集五百到一千个高清图片,存放到数据库里.最终达到五千万以上的图像.

2010 年,以 ImageNet 为基础的大型图像识别竞赛...

阅读全文>>
2016年03月29日 10:52

深度学习有多深?学了究竟有几分?(七)

深度学习有多深?学了究竟有几分?(七)

   
    (1)

神经网络计算, 另一个常为人诟病的问题,是过度拟合 (overfitting).

一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合.但这并不意味着,这就是个好模型.

美国数学家冯纽曼 (John Von Neumann) 曾说, "给我四个参数,我的模型可以拟合一个大象. 给我五个参数, 我可以让它扭动它的鼻子."

神经网络模型的自由参数,现在往往超过一亿.如果说四个参数可以拟合一个大象的话,对于全世界总数不到一百万的大象...


阅读全文>>
2016年03月24日 11:16

深度学习有多深?学了究竟有几分?(六)

深度学习有多深?学了究竟有几分?(六)

    (1)

计算速度和数据规模的大幅度提高,也引导出更多算法上的改进.

在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动. 多关注主要矛盾, 少关心细枝末节.

2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态. 比例更高时, 大脑则无法提供相应的能量需求.

神经网络的模型中,通过所谓激励函数 (activati...

阅读全文>>