财新传媒
位置:博客 > 王川 > 个人分类 > 未分类
2016年03月29日 10:52

深度学习有多深?学了究竟有几分?(七)

深度学习有多深?学了究竟有几分?(七)


    (1)

神经网络计算, 另一个常为人诟病的问题,是过度拟合 (overfitting).

一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合.但这并不意味着,这就是个好模型.

美国数学家冯纽曼 (John Von Neumann) 曾说, "给我四个参数,我的模型可以拟合一个大象. 给我五个参数, 我可以让它扭动它的鼻子."

神经网络模型的自由参数,现在往往超过一亿.如果说四个参数可以拟合一个大象的话,对于全世界总数不到一百万的大象来说,实在是游刃有余.

一个模型好坏的试金石,不在于和现有数据的拟合度, 而在于它是否可以在全新的情况和数据面前,做出正确的判......

阅读全文>>
2016年03月24日 11:16

深度学习有多深?学了究竟有几分?(六)

深度学习有多深?学了究竟有几分?(六)

(1)

计算速度和数据规模的大幅度提高,也引导出更多算法上的改进.

在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动. 多关注主要矛盾, 少关心细枝末节.

2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态. 比例更高时, 大脑则无法提供相应的能量需求.

神经网络的模型中,通过所谓激励函数 (activation function), 根据上一层神经元输入值来计算输出值.

最典型的传统激励函数,sigmoid function, 输出值在 0 和 1 之间, 也就意味着神经元平均下来, 每时每刻都在使用一......

阅读全文>>
2016年03月22日 14:10

深度学习有多深? 学了究竟有几分? (五)

深度学习有多深? 学了究竟有几分? (五)

(1)

主流学术界的研究者,大多注重于在算法上的渐进式提高, 而轻视计算速度和用于训练的数据规模的重要性.

孔丘老师早在两千多年前, 就高瞻远瞩的为深度学习指明了方向: "学而不思则罔, 思而不学则殆".

用深度学习的语言来说,就是, "光有大数据,算得不快,则还是迷惘 ; 光算得快, 而没有大量的数据来训练,则还是疲倦无所得".

2007年之前, 用GPU编程,缺乏一个简单的软件接口. 编程繁琐,捉虫困难.这在 07年 Nvidia 推出 CUDA 的GPU 软件接口后才真正改善.

2009年六月, 斯坦福大学的 Rajat Raina 和吴恩达合作发表论文, "用GPU大规模无监督深度学习&quot......

阅读全文>>
2016年03月21日 13:32

深度学习有多深? 学了究竟有几分? (四)

深度学习有多深? 学了究竟有几分? (四)

(1)

九十年代末, 神经网络研究遇到的困境,除了慢,还是慢.

抛开计算速度的因素,传统神经网络的反向传播算法,捉虫时极为困难,一个根本的问题叫做所谓 vanishing gradient problem (梯度消失问题).

这个问题在1991年, 被德国学者 Sepp Hochreiter第一次清晰提出和阐明原因.

简单的说, 就是成本函数 (cost function)从输出层反向传播时, 每经过一层,梯度衰减速度极快,  学习速度变得极慢, 神经网络很容易停滞于局部最优解而无法自拔.

这就像原始部落的小混混,山中无老虎时,在本地称王称霸很舒服. 但任何关于"外面的世界很精彩"的信息, 在落后的层层传播机制中被噪音混淆淹......

阅读全文>>
2016年03月08日 14:48

深度学习有多深?学了究竟有几分(三)

深度学习有多深?学了究竟有几分(三)

本文是深度学习有多深? 学了究竟有几分?  (一)和深度学习有多深, 学了究竟有几分? (二)的续篇.

(1)

1992 年笔者在纽约州的罗切斯特大学选修计算机课的时候, 学到这样一句话, 印象极为深刻.

When in doubt, use brute force.
    "如果遇到困惑(的问题), 就使用蛮力. "

此话出自当年 UNIX 系统的发明人之一 Ken Thompson. 他的本意是, 程序设计中,简单粗暴的计算方法, 虽然可能计算量大, 但是便于实现和维护, 长期看, 还是优于一些精巧但是复杂的计算手段.

这句话常令我遐想起 1943年七月, 苏联和德国在库尔斯克的坦克大决战.......

阅读全文>>
2016年03月04日 11:44

深度学习有多深,学了究竟有几分?(二)

深度学习有多深,学了究竟有几分?(二)

这篇文章是深度学习有多深? 学了究竟有几分?  (一)的续篇.

(1)

1970年,当神经网络研究的第一个寒冬降临时,在英国的爱丁堡大学,一位二十三岁的年轻人, Geoffrey Hinton, 刚刚获得心理学的学士学位.

Hinton 六十年代还是中学生时,就对脑科学着迷.当时一个同学给他介绍关于大脑记忆的理论是:

大脑对于事物和概念的记忆, 不是存储在某个单一的地点,而是像全息照片一样, 分布式地, 存在于一个巨大的神经元的网络里.

分布式表征 (Distributed Representation), 是神经网络研究的一个核心思想.

它的意思是,当你表达一个概念的时候,不是用......

阅读全文>>
2016年02月17日 13:18

深度学习有多深?学了究竟有几分?(一)

深度学习有多深?学了究竟有几分?(一)

(1)

2016 年一月底,人工智能的研究领域,发生了两件大事.

先是一月二十四号,MIT 的教授,人工智能研究的先驱者,Marvin Minsky 去世,享年89岁.

三天之后,谷歌在自然杂志上正式公开发表论文,宣布其以深度学习技术为基础的电脑程序 AlphaGo, 在2015年十月,连续五局击败欧洲冠军,职业二段樊辉.

这是第一次机器击败职业围棋选手. 距离97年IBM电脑击败国际象棋世界冠军,一晃近二十年了.

极具讽刺意义的是, Minsky 教授,一直不看好深度学习的概念. 他曾在1969年出版了 Perceptron (感知器) 一书,指出了神经网络技术 (就是深度学习的前身)的局限性. 这本书直接导致了神经网络研究的将近二十年的长......

阅读全文>>
2016年02月15日 09:14

亚马逊的云服务将吞噬美国的IT产业吗?(下)

亚马逊的云服务将吞噬美国的IT产业吗?(下)

本文是《亚马逊的云服务将吞噬美国的IT 产业吗? (上)》和《亚马逊的云服务将吞噬美国的IT 产业吗? (中)》的续篇。

(1)

云服务市场里, AWS 的最大的优势,在于其市场的领先地位和先发优势。

云服务把资金投入的风险从客户转移到服务商那里。建造一个全球化的数据中心,功能全面的软件系统,稳定可靠的运营纪录,贴心的客户支持,需要几十亿美元量级的资金投入,和长期的积累。

据亚马逊内部数据, AWS 现在每一天增加的服务器数目,足够承载2004年整个亚马逊公司的计算需求.

这不是阿猫阿狗,拿几千万美元风险投资,就可以一两年内做成的事.

后发者还必须有足够多的资金,忍受......

阅读全文>>
2016年02月03日 11:24

亚马逊的云服务将吞噬美国的IT产业吗?(中)

亚马逊的云服务将吞噬美国的IT产业吗?(中)

本文是《亚马逊的云服务将吞噬美国的 IT 产业吗? (上)》的续篇。


(1)

传统公司的 IT 业务通常是这样搭建的:

需要存储设备的解决方案,从 EMC那里买;
   需要服务器,找 Dell, HP 或者IBM 购买;
   需要网络硬件,从思科(Cisco)那里买;
   需要数据库软件,从甲骨文 (Oracle) 那里买.

当新兴互联网公司扩展自己的 IT业务时,他们发现传统解决方案太昂贵了,而且无法迅速扩展到他们需要的规模.

以亚马逊和谷歌为代表的互联网巨头,决定另起炉灶。他们搭建自己的服务器,自己的存储硬件......

阅读全文>>
2016年01月25日 14:12

亚马逊的云服务将吞噬美国的IT产业吗? (上)

(1)

2015年十一月,在纽约举行的Dealbook 投资大会,著名对冲基金经理Stanley Druckenmiller, 发言谈到了IBM.   (Druckenmiller 曾为索罗斯的副手,1992年亲自操盘卖空英镑,帮助索罗斯获利十亿美元.)

Druckenmiller 说,“如果你今天开一个公司,你不需要一个技术部,你不需要后台支持,你可以用AWS (亚马逊的云服务)。顺便跟你说,AWS可以把10-15个IBM 的顾问撕成碎片。(这些顾问)你以前需要,现在不需要了,因为你用云计算。”

一年前曾写文《小鲜肉在价值投资中常遇的陷阱——为什么你现在不要买便宜的IBM股票》。

2015年一月初时,IBM的股票价格接近 160美元。2016年一......

阅读全文>>
2016年01月15日 09:22

集装箱震撼世界

集装箱震撼世界

(配图为推动集装箱商业化的企业家 Malcom McLean)

(1)

1956年四月二十六日,美国新泽西州的纽沃克港,在一百多名嘉宾的注目下,起重机把五十八个集装箱(也叫货柜)依次装载到名叫Ideal-X 的货轮上。这艘货轮,隶属卡车司机出身的企业家Malcom McLean.  一个货柜的装载不到七分钟完成,几个小时后,轮船驶离港口,五天后抵达南部的休斯顿港。集装箱引领的世界革命悄然开始了.

集装箱普及之前,大部分货物都是零散地用人工从船上装货,卸货。即使更多的叉车和机械装置引进,码头工人的日常生活仍然是艰辛和危险的。五十年代初纽约的统计数字显示,工人伤......

阅读全文>>
2016年01月06日 09:50

为什么软件正在吞噬世界(一)

  软件正在吞噬世界。 Software is eating the world。
  这句话最初来自于风险投资家,原网景创始人Marc Andreessen,2011年八月在华尔街日报上发表的文章。产业被吞噬,意味着被边缘化,利润微薄,生存艰难。
  让我们先看看2015年科技界那些软件和硬件公司。
  (1)
  2015 年最后一天,美国股市市值前六名的公司依次是:苹果,谷歌,微软,巴菲特的Berkshire Hathaway, 埃克森美孚石油公司和亚马逊. 它们的市值在三千亿美元到六千亿美元之间.
  这里面的苹果,谷歌,微软和亚马逊,本质上都是软件公司。有的人会说苹果是卖硬件的,但苹果的iTunes,iCloud,AppSto......
阅读全文>>
2015年12月22日 10:21

我和苹果公司,一个不得不说的故事

我和苹果公司,一个不得不说的故事

我和苹果公司的故事,是一个将近二十年的黑色幽默,是一个巨大的讽刺,是一个关于确认偏见的悲剧.

如果我把结果告诉你,可能你不相信,但是,每一个局部细节,又是那样的自然真实.

所谓确认偏见,就是当你对某一个事物有成见的时候,你会有意无意地忽略所有对你不利的证据。而任何对你有利的证据,都会被你放大,而加强你的偏见。确认偏见,是人在大脑深处根深蒂固的思维模式,如果不强迫自己兼听则明,其后果可能是灾难性的.

(1)

苹果总部所在的Cupertino市, 中文译为‘库比蒂诺’,也有人戏称为‘裤破体露’。这里有着硅谷最好的学区之一,早......

阅读全文>>
2015年12月11日 09:58

为什么石油在2025年之前会永久性跌破20美元一桶,而一去不复返

为什么石油在2025年之前会永久性跌破20美元一桶,而一去不复返

你没有看错,我预测油价在2025年或之前会有很大可能跌破20美元一桶,而且将一跌不复返。

(1)

2014年十一月,我曾预测,能源长期看将会变成免费的, 主要是因为太阳能和电池价格的下降和普及. (旧文《为什么你要卖掉所有的能源投资》)

2014年十二月中旬,我的另外一篇文章,继续预测油价会长期低迷 (《无节操无下限的油价,和相关的连锁反应》)

2015 年六月,我发表了这篇文章  ( 《2017年, 特斯拉将敲响石油工业的丧钟》)

我的三篇文章当时都收到了不少人卖力的,极为难听的痛......

阅读全文>>
2015年12月07日 15:19

为什么日本今年的新生儿有一半将活到108岁?

为什么日本今年的新生儿有一半将活到108岁?

(1)
1928年,美国大都会保险公司的头牌精算师,美国统计协会主席,Louis Dublin 撰文预测,世界上没有任何国家的预期寿命将会超过64.75 岁(当时美国预期平均寿命大约57岁)。他那时没有新西兰的数据,实际上新西兰的女性,在他发表论文的前两年,预期寿命就已经超过65岁了.

Dublin 当时在论文中写道,我们的计算“是基于现在的科学知识,我们没有任何理由去假设,激进的(科技)创新或者人类生理结构有美妙的进步,会改变(计算结果)".

过了几年,他又和业界泰斗Alfred Lotka 一起预测,人类预期寿命永远不会超过70岁,没多久这个数字又被超过了。D......

阅读全文>>
2015年11月30日 17:07

如何定量化提高自己,从太极站桩说起

如何定量化提高自己,从太极站桩说起

(1)
我打太极好几年了,每次上课时,跟着老师练,练的时候很慢很累,但很快就会出汗,练完后人很舒服.

但是我独自打拳的时候,即使试图慢下来,总是很少出汗,有一种意犹未尽,练得不深的感觉.

有一天我问老师这是为什么,他建议我,每个招式停留一会,保持一种站桩的姿势。站的时候,膝盖不可过脚尖,意守丹田,全身放松。每个招式站桩的停留时间可以慢慢从二十秒延长到一分钟.

我按照老师的指点去做后,原来不到十分钟就可以打完的四十二式太极拳,现在要二十分钟才可以完成。站桩时间稍微长一点,大腿肌肉就酸痛得要命,但坚持下来,十五分钟后额头就开始流汗,打完后人感觉非常轻松......

阅读全文>>
2015年11月19日 16:52

当三个自称上帝的精神病人一起时,发生了什么?

当三个自称上帝的精神病人一起时,发生了什么?

本文是《人的错误思想是从哪里来的?从截肢病人的幻觉谈起 (一)》的续篇。
                               (01)
1959 年,美国心理学家Milton Rokeach 在密西根州的小镇,Ypsilanti 的一家精神病院开展了一个实验:他找到三个都自认为是耶稣基督转世的精神病人,每天吃饭和睡觉都安排在一起,让他们白天共同做些事,彼此有充分的时间交流,看看有什么结果。
这三个人的对话持续了两年。起初,每天早上,每个人都试图苦口婆心地劝说其余两位,自己才是......

阅读全文>>
2015年11月13日 13:26

为什么焦躁易怒的吃货容易早死?

为什么焦躁易怒的吃货容易早死?

这篇文章是Narrative, 三观和雅浦岛上的石头——赚钱这事,不可入戏太深(三)的续篇。

(01)

公元 755 年,韬光养晦多年的安禄山终于撕下温良恭俭让的面具,举兵反唐。安禄山是个吃货,体重据说高达三百三十斤。在以肥胖为美的唐朝,超重的福相并不有碍观瞻。但严重肥胖的直接后果就是糖尿病.

安禄山患有很典型的二型糖尿病。糖尿病的一个重要并发症是视力下降,严重的可以导致失明。主要原因是因为高血糖导致晶体渗透压改变,引起视网膜毛细血管壁损伤,甚至破裂.

糖尿病的第二个并发症是严重的皮肤病,如皮肤瘙痒,红斑......

阅读全文>>
2015年11月06日 07:58

赚钱这事,不可入戏太深(三)

赚钱这事,不可入戏太深(三)

本文是赚钱这事,不可入戏太深 (一) 和赚钱这事,不可入戏太深 (二)-- 从德川家康的故事谈起的续篇。
                 
(01)

英文有个词,叫做narrative, 中文有翻译为”叙事”,  也有翻译为”三观”,可以理解为对事情的一种描述和思维框架. 同一件事,对于不同的观察者,可能会有完全不同, 但又可自洽的narrative.

大多数人,每天上班,开车在路上来回两个小时,公司里工作八个小时,这是自己理解的框架.

但是如果对于一个远处观测的外星人,他看到的则是另外一种荒唐但......

阅读全文>>
2015年10月28日 09:13

为什么传统汽车厂商大多很快会倒闭?

为什么传统汽车厂商大多很快会倒闭?

英国跑车厂商,百年老店Aston Martin 的老总 Andy Palmer 最近表示, 他们要开展研发 800-1000 马力的超豪华电动跑车,(普通家用车如本田雅阁, 推力大约在 180-280 马力) 最终彻底放弃汽油车.

Aston Martin一直是英国谍战片 007 里面的标配用车。当它的公司老板都公开宣布改变方向做电车,你就应当意识到,内燃机动力的汽车,来日无多了.

传统汽车在性能和价格上未来几年内将被电车全面超越,具体的说,是电池动力的电车.

抛开环保因素,为什么电车比汽车优越?

1. 电比油便宜很多.

一度电平均可以跑三英里,按照一度电十二美分的价格看,就是一英里四美分。汽车按照一加仑油三美元的价格......

阅读全文>>