（1）

2016 年一月底，人工智能的研究领域，发生了两件大事。

先是一月二十四号，ＭIT 的教授，人工智能研究的先驱者，Marvin Minsky 去世，享年８９岁。

三天之后，谷歌在自然杂志上正式公开发表论文,宣布其以深度学习技术为基础的电脑程序 AlphaGo，在2015年十月，连续五局击败欧洲冠军职业二段樊辉。

这是第一次机器击败职业围棋选手。距离97年IBM电脑击败国际象棋世界冠军，一晃近二十年了。

极具讽刺意义的是，...

    (1)

2009年, 一群在普林斯顿大学计算机系的华人学者, (第一作者为 Jia Deng )发表了论文 "ImageNet: A large scale hierarchical image database), 宣布建立了第一个超大型图像数据库,供计算机视觉研究者使用.

这个数据库建立之初,包含了三百二十万个图像. 它的目的, 是要把英文里的八万个名词,每个词收集五百到一千个高清图片,存放到数据库里.最终达到五千万以上的图像.

2010 年,以 ImageNet 为基础的大型图像识别竞赛...

   
    (1)

神经网络计算, 另一个常为人诟病的问题,是过度拟合 (overfitting).

一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合.但这并不意味着,这就是个好模型.

美国数学家冯纽曼 (John Von Neumann) 曾说, "给我四个参数,我的模型可以拟合一个大象. 给我五个参数, 我可以让它扭动它的鼻子."

神经网络模型的自由参数,现在往往超过一亿.如果说四个参数可以拟合一个大象的话,对于全世界总数不到一百万的大象...

    (1)

计算速度和数据规模的大幅度提高,也引导出更多算法上的改进.

在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动. 多关注主要矛盾, 少关心细枝末节.

2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态. 比例更高时, 大脑则无法提供相应的能量需求.

神经网络的模型中,通过所谓激励函数 (activati...

    (1)

主流学术界的研究者,大多注重于在算法上的渐进式提高, 而轻视计算速度和用于训练的数据规模的重要性.

孔丘老师早在两千多年前, 就高瞻远瞩的为深度学习指明了方向: "学而不思则罔, 思而不学则殆".

用深度学习的语言来说,就是, "光有大数据,算得不快,则还是迷惘 ; 光算得快, 而没有大量的数据来训练,则还是疲倦无所得".

2007年之前, 用GPU编程,缺乏一个简单的软件接口. 编程繁琐,捉虫困难.这在 07年 Nvidia 推出...

    (1)

九十年代末, 神经网络研究遇到的困境,除了慢,还是慢.

抛开计算速度的因素,传统神经网络的反向传播算法,捉虫时极为困难,一个根本的问题叫做所谓 vanishing gradient problem (梯度消失问题).

这个问题在1991年, 被德国学者 Sepp Hochreiter第一次清晰提出和阐明原因.

简单的说, 就是成本函数 (cost function)从输出层反向传播时, 每经过一层,梯度衰减速度极快,  学习速度变得极慢, 神经网络很容易停滞于局部最优解...

本文是深度学习有多深? 学了究竟有几分?  (一)和深度学习有多深, 学了究竟有几分? (二)的续篇.

    (1)

1992 年笔者在纽约州的罗切斯特大学选修计算机课的时候, 学到这样一句话, 印象极为深刻.

    When in doubt, use brute force.
    "如果遇到困惑(的问题), 就使用蛮力. "

此话出自当年 UNIX 系统的发明人之一 Ken Thompson. 他的本意是, 程序设计中,简单粗暴的计算方法, 虽然可能计算量大, 但是便于实现和维护, 长期...

这篇文章是深度学习有多深? 学了究竟有几分?  (一)的续篇.

        (1)

1970年,当神经网络研究的第一个寒冬降临时,在英国的爱丁堡大学,一位二十三岁的年轻人, Geoffrey Hinton, 刚刚获得心理学的学士学位.

Hinton 六十年代还是中学生时,就对脑科学着迷.当时一个同学给他介绍关于大脑记忆的理论是:

大脑对于事物和概念的记忆, 不是存储在某个单一的地点,而是像全息照片一样, 分布式地, 存在于一个巨大的神经元的网络里...

(1)

2016 年一月底，人工智能的研究领域，发生了两件大事.

先是一月二十四号，ＭIT 的教授，人工智能研究的先驱者，Marvin Minsky 去世，享年８９岁.

三天之后，谷歌在自然杂志上正式公开发表论文,宣布其以深度学习技术为基础的电脑程序 AlphaGo, 在2015年十月,连续五局击败欧洲冠军,职业二段樊辉.

这是第一次机器击败职业围棋选手. 距离97年IBM电脑击败国际象棋世界冠军,一晃近二十年了.

极具讽刺意义的是, Minsky ...

本文是《亚马逊的云服务将吞噬美国的IT 产业吗? (上)》和《亚马逊的云服务将吞噬美国的IT 产业吗? (中)》的续篇。

    （1）

云服务市场里， AWS 的最大的优势，在于其市场的领先地位和先发优势。

云服务把资金投入的风险从客户转移到服务商那里。建造一个全球化的数据中心，功能全面的软件系统，稳定可靠的运营纪录，贴心的客户支持，需要几十亿美元量级的资金投入，和长期的积累。

据亚马逊内部数据, AWS 现在每一天增加...

本文是《亚马逊的云服务将吞噬美国的 IT 产业吗? (上)》的续篇。

       
(1)

传统公司的 IT 业务通常是这样搭建的:

   需要存储设备的解决方案，从 EMC那里买；
   需要服务器，找 Dell, HP 或者IBM 购买；
   需要网络硬件，从思科(Cisco)那里买；
   需要数据库软件，从甲骨文 (Oracle) 那里买.

当新兴互联网公司扩展自己的 IT业务时，他们发现传统解决方案太昂贵了，而且无法迅速扩展到他们需要的规模.

以亚马逊和谷...

(1)

2015年十一月，在纽约举行的Dealbook 投资大会，著名对冲基金经理Stanley Druckenmiller, 发言谈到了IBM.   （Druckenmiller 曾为索罗斯的副手，1992年亲自操盘卖空英镑，帮助索罗斯获利十亿美元.)

Druckenmiller 说，“如果你今天开一个公司，你不需要一个技术部，你不需要后台支持，你可以用AWS （亚马逊的云服务）。顺便跟你说，AWS可以把10-15个IBM 的顾问撕成碎片。（这些顾问）你以前需要，现在不需要了，因为你用云...

（配图为推动集装箱商业化的企业家 Malcom McLean)

    (1）

1956年四月二十六日，美国新泽西州的纽沃克港，在一百多名嘉宾的注目下，起重机把五十八个集装箱（也叫货柜）依次装载到名叫Ideal-X 的货轮上。这艘货轮，隶属卡车司机出身的企业家Malcom McLean.  一个货柜的装载不到七分钟完成，几个小时后，轮船驶离港口，五天后抵达南部的休斯顿港。集装箱引领的世界革命悄然开始了.

集装箱普及之前，大部分货物都...

我和苹果公司的故事，是一个将近二十年的黑色幽默，是一个巨大的讽刺，是一个关于确认偏见的悲剧.

如果我把结果告诉你，可能你不相信，但是，每一个局部细节，又是那样的自然真实.

所谓确认偏见，就是当你对某一个事物有成见的时候，你会有意无意地忽略所有对你不利的证据。而任何对你有利的证据，都会被你放大，而加强你的偏见。确认偏见，是人在大脑深处根深蒂固的思维模式，如果不强迫自己兼听则明，其后果可能是灾难性的....

你没有看错，我预测油价在2025年或之前会有很大可能跌破20美元一桶，而且将一跌不复返。

                    (1)

2014年十一月，我曾预测，能源长期看将会变成免费的, 主要是因为太阳能和电池价格的下降和普及. (旧文《为什么你要卖掉所有的能源投资》)

2014年十二月中旬，我的另外一篇文章，继续预测油价会长期低迷 (《无节操无下限的油价，和相关的连锁反应》)

2015 年六月，我发表了这篇文章  ( 《2017年, 特斯拉将敲...

          (1)
1928年，美国大都会保险公司的头牌精算师，美国统计协会主席，Louis Dublin 撰文预测，世界上没有任何国家的预期寿命将会超过64.75 岁（当时美国预期平均寿命大约57岁）。他那时没有新西兰的数据，实际上新西兰的女性，在他发表论文的前两年，预期寿命就已经超过65岁了.

Dublin 当时在论文中写道，我们的计算“是基于现在的科学知识，我们没有任何理由去假设，激进的（科技）创新或者人类生理结构有美妙的进步，会...

     (1)
我打太极好几年了，每次上课时，跟着老师练，练的时候很慢很累，但很快就会出汗，练完后人很舒服.

但是我独自打拳的时候，即使试图慢下来，总是很少出汗，有一种意犹未尽，练得不深的感觉.

有一天我问老师这是为什么，他建议我，每个招式停留一会，保持一种站桩的姿势。站的时候，膝盖不可过脚尖，意守丹田，全身放松。每个招式站桩的停留时间可以慢慢从二十秒延长到一分钟.

我按照老师的指点去做后，原来不到十分...

本文是《人的错误思想是从哪里来的？从截肢病人的幻觉谈起 (一)》的续篇。
                               （01）
1959 年，美国心理学家Milton Rokeach 在密西根州的小镇，Ypsilanti 的一家精神病院开展了一个实验：他找到三个都自认为是耶稣基督转世的精神病人，每天吃饭和睡觉都安排在一起，让他们白天共同做些事，彼此有充分的时间交流，看看有什么结果。
这三个人的对话持续了两年。起初，每天早上，每个人都试图苦口婆心...

这篇文章是Narrative， 三观和雅浦岛上的石头——赚钱这事，不可入戏太深（三）的续篇。

             (01)

公元 755 年，韬光养晦多年的安禄山终于撕下温良恭俭让的面具，举兵反唐。安禄山是个吃货，体重据说高达三百三十斤。在以肥胖为美的唐朝，超重的福相并不有碍观瞻。但严重肥胖的直接后果就是糖尿病.

安禄山患有很典型的二型糖尿病。糖尿病的一个重要并发症是视力下降，严重的可以导致失明。主要原因是因为高血糖导致...