(1)
2012年七月,半导体制造业发生了一件大事: 三家芯片生产的巨头,英特尔/台积电/三星, 集体为半导体光刻业的巨头, 荷兰公司艾司摩尔 (ASML), 承诺支付累计十三亿欧元的研发费用,帮其承担部分新技术开发的风险.
三家公司同时还以每股接近 40 欧元的价格注资购买了 ASML 大约23%的股票. ( 四年后的2016年七月, ASML 股价在 96 欧元左右.)
ASML 获得的资金, 主要用于加快 450 毫米晶圆片相关的器材和下一代极紫外线光刻技术 (...
(1)
对半导体芯片生产过程不熟悉的人, 常会问这样一个问题:
为什么芯片的密度要两年才翻一番? 为什么不可以更快一点, 两年翻两番, 三番? 为什么我们不能够一下子从 100 纳米跨越到 10 纳米? 而要漫长的十几年才能完成这个过程?
对这个问题的简单回答是: 如果一个人要吃七个馒头才能饱,为什么不可以先直接去吃第七个馒头?
(2)
摩尔定律从另外一个角度看,实际上是个生产成本的经济问题.
这都是为了钱.
芯片密度的...
(1)
解决CPU 时钟瓶颈问题的另外一个维度,是增加系统的并行度,同时多做一些事情.
传统上，一个CPU 的芯片只有一个处理器（core, 也称内核 或 核心),当单个 CPU 的时钟速度很难再提高时,芯片设计者的另外一个思路是: 在同一个芯片上增加新的内核,让多个内核同时并行处理一些计算工作.
多核 CPU 的第一个好处是节能. 前面提到,处理器的能耗大约和时钟的频率的三次方成正比. 理论上说,如果把一个内核的时钟频率降低一半 (...
（1）
曾撰文《集装箱震撼世界》，你一定还记得, 由于集装箱运费的极度低廉,国际贸易上出现了一些不可思议的协作:在英国打渔, 用集装箱送到中国加工处理, 再运回英国, 比在本地处理还要便宜.中国南方从美国进口大豆,比从东北购买还要便宜.
关于自动驾驶车,对人类生活方式的改变,一定要从成本这个角度来分析. 这里讨论的主要是美国的情况.
能源和交通专家 Julian Cox 最近发表了这样一段分析:
第一, 特斯拉电车的驱动装置 ...
(1)
在 2002年之前,随着芯片密度的增加, CPU的时钟频率也一直不断增加. 对于普通消费者而言,CPU 的频率就代表计算机的快慢. 1981年最早出厂的 IBM PC, CPU 的频率是 4.77 兆赫, 相当于一秒钟四百七十七万个时钟周期. 假设 CPU 一个时钟周期可以运行一条指令, 频率越高, 就算得越快.
1995年的奔腾芯片,时钟频率达到了 100 兆赫, 是 1980年的二十倍还多.
而到了 2002年, 英特尔新型奔腾芯片时钟频率第一次突破 3000 兆赫 (3 ...
(1)
晶体管本质, 就是用"开"和"关"的状态,表示二进制里的 1 和 0.
集成电路里的所谓场效应管 (Field-Effect Transistor), 主要是三个部分: 源极 (Source), 栅极 (Gate) ,漏极 (Drain). 栅极本质上是一个电容, 对其施加电压时,栅极下面的沟道 (Channel) 联通源极和漏极,晶体管开启,代表"1"的状态. 电压取消时,电流降为零,晶体管关闭, 代表"0"的状态.
人们通常说的 CPU 的时钟频率, 就是晶体管开关的速度. 1 Ghz 就是 1秒...
(1)
理解摩尔定律未来发展的路线图, 对理解 GPU 计算能力的进步速度, 和人工智能技术的进步速度的重要性.
摩尔定律的传统定义是: 半导体芯片上的晶体管密度,平均每 18-24个月翻一番.
它最初于1965年四月被芯片公司英特尔的创始人 戈登*摩尔 (Gordon Moore) 在一篇名叫 "把更多零件塞到集成电路里" (Cramming more components into Integrated Circuit) 的论文中提出.
2013 年八月,曾就职于英特尔任总设计师的 Bob Co...
(1)
FUD 之五: Model S 质量问题很大, 驱动装置 (drive unit) 损坏率几乎100%, "消费者报告"杂志2015年把特斯拉从推荐名单上拿掉.
反驳: 分析问题要以发展的眼光来看. Model S 的质量不断在提高, 2015年用于保修的成本比2014年下降了 17%, 随着产品的不断成熟优化,这个趋势将会继续.
至于部分驱动装置的问题,主要是噪音,驱动装置上的滚珠轴承从金属换成陶瓷的,噪音就没有了.维修中心实际操作时,直接更换成带有陶瓷轴承的...
(1)
我在2015年的老文章“论无人驾驶车投资布局的六大要点”里曾经提到, 自动驾驶技术发展过程中,迟早会出现一些稀奇古怪的车祸,上报纸头条,造成一定恐慌,但是这无法阻挡行业进步的大趋势.
2016年五月七日,在佛罗里达发生第一起和特斯拉 autopilot 有关的车祸死亡事故.一辆大型卡车在高速路上左转,被对面疾驰而来的特斯拉撞上. 特斯拉从卡车底下穿过, 上面被削去一部分, 其司机当场身亡.
(2)
在惊呼狼来了之前,有必要回...
(1)
FUD 之三: 特斯拉就是省点油钱,让那些小清新的环保主义者自我感觉良好. 油价降下来以后,就没人买特斯拉了.
事实上, 2014年以来油价的大跌,丝毫没有影响特斯拉销售额的增长.
除了节能减排以外,特斯拉电车的最大优势是加速性能好,维护简单和强大的软件平台.
最夸张的是,今年三月份,有好事者做了一个比赛,让特斯拉 Model X 拖着一辆法拉利 Alfa Romeo, 去和另外一辆法拉利 Alfa Romeo 竞争. 结果拖着四千磅负载的 Model ...
(1)
2013 年十一月三十日, 电影 "速度与激情" 的主演 Paul Walker 驾驶着一辆保时捷 Carrera CT, 高速疾驰中撞上路边的大树,跑车燃起了熊熊大火. Walker 被困在车内, 和同伴都不幸身亡.
警方报告后来显示, 跑车超过八十英里每小时的速度是事故的最主要原因. Walker 在汽车撞树后已经失去知觉,大火则使他在得到救援之前没有生还的机会.
此时在舆论界被炒作的另外的几个车辆着火的事故,都和电车公司特斯拉有关.
先是 ...
(1)
影响 GPU运算速度的技术指标有好几个.
一般人讨论计算速度时, 大多在说芯片时钟的速度. 芯片频率越高, 时钟的一个周期越短, 速度越快. 但这只是计算能力中的一个维度.
集装箱船运的效率, 除了轮船航行的速度 (类似芯片的速度) 以外, 更重要的是轮船的吨位, 装卸货的时间, 港口等待的时间, 等等.
一个典型的计算流程是这样的:
1)数据从 CPU 的内存拷贝到 GPU 的内存．
2) CPU 把计算指令传送给 GPU
3) GPU 把计算任...
(1)
回顾深度学习技术在图像识别,语音识别和自然语言处理上的突破, 可以看到的是一个很清晰的主脉络:
计算速度加快, 缩短了新算法的测试周期,
成功的新算法, 迅速彻底地淘汰老算法.
谷歌的资深研究者 Jeff Dean 这样描绘算法测试速度的重要性:
如果一个实验要一个月才会出结果, 没有人会去测试.
如果要花费一到四周, 那么只有特别高价值的测试才值得去做.
如果一到四天就可以出结果,那勉强可以忍受.
如果一天之内...
(1)
循环神经网络, 在文字处理上的表现, 只是小荷才露尖尖角.
自然语言处理, 英文是 Natural Language Processing (NLP).其基本定义为: 把一段文字, 转化成一个数据结构, 力求清晰无误地表达文字的意义.
自然语言处理包括对自然语言的理解和生成, 典型应用如机器翻译, 文字分类, 聊天机器人等等. 通过语言沟通, 是智人和其它动物的最重要区别, 这是人工智能技术的重要基石.
衡量 NLP 表现的一个重要变量是所谓语言...
(1)
循环神经网络 (RNN)的本质, 是可以处理一个长度变化的序列的输出和输入 (多对多). 广义的看, 如果传统的前馈神经网络做的事, 是对一个函数的优化 (比如图像识别). 那么循环神经网络做的事, 则是对一个程序的优化,应用空间宽阔得多.
长短期记忆 (LSTM)的架构, 使有用的历史信息, 可以保留下来,很久以后仍然可以读取.
一个有趣的应用, 是把大量文字作为输入培训 RNN, 让它掌握语言的规律, 自己也可以写文章了.
...
(1)
2012年十月, Geoffrey Hinton, 邓力和其他几位代表四个不同机构 (多伦多大学, 微软, 谷歌, IBM) 的研究者, 联合发表论文, "深度神经网络在语音识别的声学模型中的应用: 四个研究小组的共同观点" (Deep Neural Networks for Acoustic Modelling in Speech Recognition: The Shared Views of Four Research Groups ).
研究者们借用了Hinton 使用的"限制玻尔兹曼机" (RBM) 的算法 (这个系列的第四篇有介绍过), 对神经网络进行...
(1)
RNN 和 LSTM 发挥威力的重要应用之一, 是语音识别.
一直到2009年之前, 主流的语音识别技术, 依靠的是统计学上的两个算法模型, 高斯混合模型 (Gaussian Mixture Model)和隐藏马尔科夫模型 (Hidden Markov Model).
马尔科夫模型, 是一个概率的模型. 其核心思想, 就是一个系统, 下一个时间点的状态, 只取决于当前的状态, 而和更早的时间点 (昨天, 前天, 大前天)的状态无关.
这么一个简单的概念,被俄国数学家马尔科夫...
(1)
迄今为止我们讨论的神经网络模型, 都属于一种叫做前馈网络 (feedforward network) 的东西. 简而言之, 前馈网络, 信息从底层不断往前单向传输,故而得名.
RNN (Recurrent Neural Network), 也称循环神经网络, 多层反馈神经网络, 则是另一类非常重要的神经网络.
本质上, RNN 和前馈网络的区别是, 它可以保留一个内存状态的记忆, 来处理一个序列的输入, 这对手写字的识别, 语音识别和自然语言处理上, 尤为重要.
在分析一...
(1)
2013 年的 ImageNet 竞赛, 获胜的团队是来自纽约大学的研究生 Matt Zeiler, 其图像识别模型 top 5 的错误率, 降到了 11.5%.
Zeiler 的模型共有六千五百万个自由参数, 在 Nvidia 的GPU 上运行了整整十天才完成训练.
2014年, 竞赛第一名是来自牛津大学的 VGG 团队, top 5 错误率降到了 7.4%.
VGG的模型使用了十九层卷积神经网络, 一点四亿个自由参数, 在四个 Nvidia 的 GPU 上运行了将近三周才完成培训.
如何继续...
(1)
2012年神经网络模型在ImageNet 竞赛中的突破,引起了工业界强大的兴趣.
Hinton 教授和他的两个研究生, Alex Krizhevsky 和 Ilya Sutskever, 2012 年底成立了一个名叫 DNNresearch (深度神经网络研究)的公司, 三个月后就被谷歌以五百万美元收购. Hinton 从此一半时间留在多伦多大学,另外一半时间在硅谷. 另外两位研究生则成为谷歌的全职雇员.
原来在纽约大学教书的杨立昆 (Yann LeCun), 2013 年底被脸书聘请为其人工智...
