财新传媒
2016年03月22日 14:10

深度学习有多深? 学了究竟有几分? (五)

深度学习有多深? 学了究竟有几分? (五)

    (1)

主流学术界的研究者,大多注重于在算法上的渐进式提高, 而轻视计算速度和用于训练的数据规模的重要性.

孔丘老师早在两千多年前, 就高瞻远瞩的为深度学习指明了方向: "学而不思则罔, 思而不学则殆".

用深度学习的语言来说,就是, "光有大数据,算得不快,则还是迷惘 ; 光算得快, 而没有大量的数据来训练,则还是疲倦无所得".

2007年之前, 用GPU编程,缺乏一个简单的软件接口. 编程繁琐,捉虫困难.这在 07年 Nvidia 推出...

阅读全文>>
2016年03月21日 13:32

深度学习有多深? 学了究竟有几分? (四)

深度学习有多深? 学了究竟有几分? (四)

    (1)

九十年代末, 神经网络研究遇到的困境,除了慢,还是慢.

抛开计算速度的因素,传统神经网络的反向传播算法,捉虫时极为困难,一个根本的问题叫做所谓 vanishing gradient problem (梯度消失问题).

这个问题在1991年, 被德国学者 Sepp Hochreiter第一次清晰提出和阐明原因.

简单的说, 就是成本函数 (cost function)从输出层反向传播时, 每经过一层,梯度衰减速度极快,  学习速度变得极慢, 神经网络很容易停滞于局部最优解...

阅读全文>>
2016年03月08日 14:48

深度学习有多深?学了究竟有几分(三)

深度学习有多深?学了究竟有几分(三)

本文是深度学习有多深? 学了究竟有几分?  (一)深度学习有多深, 学了究竟有几分? (二)的续篇.

    (1)

1992 年笔者在纽约州的罗切斯特大学选修计算机课的时候, 学到这样一句话, 印象极为深刻.

    When in doubt, use brute force.
    "如果遇到困惑(的问题), 就使用蛮力. "

此话出自当年 UNIX 系统的发明人之一 Ken Thompson. 他的本意是, 程序设计中,简单粗暴的计算方法, 虽然可能计算量大, 但是便于实现和维护, 长期...


阅读全文>>
2016年03月04日 11:44

深度学习有多深,学了究竟有几分?(二)

深度学习有多深,学了究竟有几分?(二)

这篇文章是深度学习有多深? 学了究竟有几分?  (一)的续篇.

        (1)

1970年,当神经网络研究的第一个寒冬降临时,在英国的爱丁堡大学,一位二十三岁的年轻人, Geoffrey Hinton, 刚刚获得心理学的学士学位.

 

Hinton 六十年代还是中学生时,就对脑科学着迷.当时一个同学给他介绍关于大脑记忆的理论是:

大脑对于事物和概念的记忆, 不是存储在某个单一的地点,而是像全息照片一样, 分布式地, 存在于一个巨大的神经元的网络里...

阅读全文>>
2016年02月17日 13:18

深度学习有多深?学了究竟有几分?(一)

深度学习有多深?学了究竟有几分?(一)

(1)

2016 年一月底,人工智能的研究领域,发生了两件大事.

先是一月二十四号,MIT 的教授,人工智能研究的先驱者,Marvin Minsky 去世,享年89岁.

三天之后,谷歌在自然杂志上正式公开发表论文,宣布其以深度学习技术为基础的电脑程序 AlphaGo, 在2015年十月,连续五局击败欧洲冠军,职业二段樊辉.

这是第一次机器击败职业围棋选手. 距离97年IBM电脑击败国际象棋世界冠军,一晃近二十年了.

极具讽刺意义的是, Minsky ...

阅读全文>>
2016年02月15日 09:14

亚马逊的云服务将吞噬美国的IT产业吗?(下)

亚马逊的云服务将吞噬美国的IT产业吗?(下)

本文是《亚马逊的云服务将吞噬美国的IT 产业吗? (上)》《亚马逊的云服务将吞噬美国的IT 产业吗? (中)》的续篇。

    (1)

云服务市场里, AWS 的最大的优势,在于其市场的领先地位和先发优势。

云服务把资金投入的风险从客户转移到服务商那里。建造一个全球化的数据中心,功能全面的软件系统,稳定可靠的运营纪录,贴心的客户支持,需要几十亿美元量级的资金投入,和长期的积累。

据亚马逊内部数据, AWS 现在每一天增加...

阅读全文>>
2016年02月03日 11:24

亚马逊的云服务将吞噬美国的IT产业吗?(中)

亚马逊的云服务将吞噬美国的IT产业吗?(中)

本文是《亚马逊的云服务将吞噬美国的 IT 产业吗? (上)》的续篇。

       
(1)

传统公司的 IT 业务通常是这样搭建的:

   需要存储设备的解决方案,从 EMC那里买;
   需要服务器,找 Dell, HP 或者IBM 购买;
   需要网络硬件,从思科(Cisco)那里买;
   需要数据库软件,从甲骨文 (Oracle) 那里买.

当新兴互联网公司扩展自己的 IT业务时,他们发现传统解决方案太昂贵了,而且无法迅速扩展到他们需要的规模.

以亚马逊和谷...





阅读全文>>
2016年01月25日 14:12

亚马逊的云服务将吞噬美国的IT产业吗? (上)

(1)

2015年十一月,在纽约举行的Dealbook 投资大会,著名对冲基金经理Stanley Druckenmiller, 发言谈到了IBM.   (Druckenmiller 曾为索罗斯的副手,1992年亲自操盘卖空英镑,帮助索罗斯获利十亿美元.)

Druckenmiller 说,“如果你今天开一个公司,你不需要一个技术部,你不需要后台支持,你可以用AWS (亚马逊的云服务)。顺便跟你说,AWS可以把10-15个IBM 的顾问撕成碎片。(这些顾问)你以前需要,现在不需要了,因为你用云...

阅读全文>>
2016年01月15日 09:22

集装箱震撼世界

集装箱震撼世界

 

 

(配图为推动集装箱商业化的企业家 Malcom McLean)

    (1)

1956年四月二十六日,美国新泽西州的纽沃克港,在一百多名嘉宾的注目下,起重机把五十八个集装箱(也叫货柜)依次装载到名叫Ideal-X 的货轮上。这艘货轮,隶属卡车司机出身的企业家Malcom McLean.  一个货柜的装载不到七分钟完成,几个小时后,轮船驶离港口,五天后抵达南部的休斯顿港。集装箱引领的世界革命悄然开始了.

集装箱普及之前,大部分货物都...

阅读全文>>
2016年01月06日 09:50

为什么软件正在吞噬世界(一)

  软件正在吞噬世界。 Software is eating the world。   这句话最初来自于风险投资家,原网景创始人Marc Andreessen,2011年八月在华尔街日报上发表的文章。产业被吞噬,意味着被边缘化,利润微薄,生存艰难。   让我们先看看2015年科技界那些软件和硬件公司。   (1)   2015 年最后一天,美国股市市值前六名的公司依次是:苹果,谷歌,微软,巴菲特的Berkshire Hathaway, 埃克森美孚石油公司和亚马逊. 它们的市...
阅读全文>>
2015年12月22日 10:21

我和苹果公司,一个不得不说的故事

我和苹果公司,一个不得不说的故事

我和苹果公司的故事,是一个将近二十年的黑色幽默,是一个巨大的讽刺,是一个关于确认偏见的悲剧.

如果我把结果告诉你,可能你不相信,但是,每一个局部细节,又是那样的自然真实.

所谓确认偏见,就是当你对某一个事物有成见的时候,你会有意无意地忽略所有对你不利的证据。而任何对你有利的证据,都会被你放大,而加强你的偏见。确认偏见,是人在大脑深处根深蒂固的思维模式,如果不强迫自己兼听则明,其后果可能是灾难性的....

阅读全文>>
2015年12月11日 09:58

为什么石油在2025年之前会永久性跌破20美元一桶,而一去不复返

为什么石油在2025年之前会永久性跌破20美元一桶,而一去不复返

你没有看错,我预测油价在2025年或之前会有很大可能跌破20美元一桶,而且将一跌不复返。

                    (1)

2014年十一月,我曾预测,能源长期看将会变成免费的, 主要是因为太阳能和电池价格的下降和普及. (旧文《为什么你要卖掉所有的能源投资》)

2014年十二月中旬,我的另外一篇文章,继续预测油价会长期低迷 (《无节操无下限的油价,和相关的连锁反应》)

2015 年六月,我发表了这篇文章  ( 《2017年, 特斯拉将敲...

阅读全文>>
2015年12月07日 15:19

为什么日本今年的新生儿有一半将活到108岁?

为什么日本今年的新生儿有一半将活到108岁?

          (1)
1928年,美国大都会保险公司的头牌精算师,美国统计协会主席,Louis Dublin 撰文预测,世界上没有任何国家的预期寿命将会超过64.75 岁(当时美国预期平均寿命大约57岁)。他那时没有新西兰的数据,实际上新西兰的女性,在他发表论文的前两年,预期寿命就已经超过65岁了.

Dublin 当时在论文中写道,我们的计算“是基于现在的科学知识,我们没有任何理由去假设,激进的(科技)创新或者人类生理结构有美妙的进步,会...


阅读全文>>
2015年11月30日 17:07

如何定量化提高自己,从太极站桩说起

如何定量化提高自己,从太极站桩说起

     (1)
我打太极好几年了,每次上课时,跟着老师练,练的时候很慢很累,但很快就会出汗,练完后人很舒服.

但是我独自打拳的时候,即使试图慢下来,总是很少出汗,有一种意犹未尽,练得不深的感觉.

有一天我问老师这是为什么,他建议我,每个招式停留一会,保持一种站桩的姿势。站的时候,膝盖不可过脚尖,意守丹田,全身放松。每个招式站桩的停留时间可以慢慢从二十秒延长到一分钟.

我按照老师的指点去做后,原来不到十分...


阅读全文>>
2015年11月19日 16:52

当三个自称上帝的精神病人一起时,发生了什么?

当三个自称上帝的精神病人一起时,发生了什么?

本文是《人的错误思想是从哪里来的?从截肢病人的幻觉谈起 (一)》的续篇。
                               (01)
1959 年,美国心理学家Milton Rokeach 在密西根州的小镇,Ypsilanti 的一家精神病院开展了一个实验:他找到三个都自认为是耶稣基督转世的精神病人,每天吃饭和睡觉都安排在一起,让他们白天共同做些事,彼此有充分的时间交流,看看有什么结果。
这三个人的对话持续了两年。起初,每天早上,每个人都试图苦口婆心...


阅读全文>>
2015年11月13日 13:26

为什么焦躁易怒的吃货容易早死?

为什么焦躁易怒的吃货容易早死?

这篇文章是Narrative, 三观和雅浦岛上的石头——赚钱这事,不可入戏太深(三)的续篇。

             (01)

公元 755 年,韬光养晦多年的安禄山终于撕下温良恭俭让的面具,举兵反唐。安禄山是个吃货,体重据说高达三百三十斤。在以肥胖为美的唐朝,超重的福相并不有碍观瞻。但严重肥胖的直接后果就是糖尿病.

安禄山患有很典型的二型糖尿病。糖尿病的一个重要并发症是视力下降,严重的可以导致失明。主要原因是因为高血糖导致...

阅读全文>>
2015年11月06日 07:58

赚钱这事,不可入戏太深(三)

赚钱这事,不可入戏太深(三)

本文是赚钱这事,不可入戏太深 (一) 赚钱这事,不可入戏太深 (二)-- 从德川家康的故事谈起的续篇。
                 
(01)

英文有个词,叫做narrative, 中文有翻译为”叙事”,  也有翻译为”三观”,可以理解为对事情的一种描述和思维框架. 同一件事,对于不同的观察者,可能会有完全不同, 但又可自洽的narrative.

大多数人,每天上班,开车在路上来回两个小时,公司里工作八个小时,这是自己理解的框架.

但是如果对...



阅读全文>>
2015年10月28日 09:13

为什么传统汽车厂商大多很快会倒闭?

为什么传统汽车厂商大多很快会倒闭?

英国跑车厂商,百年老店Aston Martin 的老总 Andy Palmer 最近表示, 他们要开展研发 800-1000 马力的超豪华电动跑车,(普通家用车如本田雅阁, 推力大约在 180-280 马力) 最终彻底放弃汽油车.

Aston Martin一直是英国谍战片 007 里面的标配用车。当它的公司老板都公开宣布改变方向做电车,你就应当意识到,内燃机动力的汽车,来日无多了.

传统汽车在性能和价格上未来几年内将被电车全面超越,具体的说,是电池动力的电车...

阅读全文>>
2015年10月26日 16:51

陈斌:孔子向前,朱公向后

陈斌:孔子向前,朱公向后

 

 

孔子向前,成就文圣;朱公向后,成就商圣.

昨晚看完胡玫导演的《孔子》,想起敬爱的朱公范蠡.

孔子与范蠡处于同一个时代,孔子长范蠡15岁。其时也,正值春秋末年,各诸侯国像地壳板块一样互相碰撞,结果一方面礼崩乐坏、乱战连绵,另一方面岩浆一样迸发出了耀眼的诸子百家.

其中之一是孔子,被后世尊为“文圣”.

其中之一是朱公,被后世尊为“商圣”.

孔子穷其一生热衷于理想与政治抱负,周游列国,虽有“知...

阅读全文>>
2015年10月20日 09:11

论无人驾驶车投资布局的六大要点

论无人驾驶车投资布局的六大要点

这篇文章是无人驾驶车的无限展望(三)——特斯拉的autopilot的续篇.

回顾过去四十年历史,无人驾驶汽车,将是个人电脑,互联网,移动互联网之后的新技术带来的又一个大平台的机会。如何提前在投资上战略布局,享受无人驾驶技术给人类社会带来的巨大福利,是一个极为重要的课题。笔者在这里分享几个要点,欢迎大家批评指正.

1 这是一个每年经济效益接近万亿美元的超大平台级的机会。全球每一年因车祸死亡一百二十万人,约五...

阅读全文>>