财新传媒
位置:博客 > 王川 > 文章归档 > 2016年八月
2016年08月29日 14:15

深度学习有多深(二十)多巴胺的诱惑

深度学习有多深(二十)多巴胺的诱惑

(1)

多巴胺,英文名 Dopamine, 是一种有机化合物, 学名 4-(2-Aminoethyl)benzene-1,2-diol, 4-(2-氨基乙基)-1,2-苯二酚, 在大脑中它的作用是在神经元之间传递信号的介质.

多巴胺作为神经介质 (neurotransmitter)的功能, 最早在1957年由瑞典化学家 Arvid Carlsson 发现, Carlsson 四十三年之后才因此发现获得诺贝尔奖.

多巴胺对于人脑的运作至关重要. 在普通人的印象中,多巴胺的释放是和食物,烟酒,性快感或者毒品联系在一起的.当人们获得各种快乐的奖励时,大脑释放大量多巴胺,让人们沉迷而无法自拔.

所以也有人称其多巴胺为"快感化学物" (pleasure chemical):快感/奖励, 导致多巴胺的释放......

阅读全文>>
2016年08月19日 14:17

深度学习有多深(十九)维度的诅咒和蒙特-卡洛模拟

深度学习有多深(十九)维度的诅咒和蒙特-卡洛模拟

(1)

动态规划理论的核心, 用以 Richard Bellman 老师名字命名的 贝尔曼方程 (Bellman Equation)表示.

贝尔曼方程的核心, 就是:

用大白话说, 就是

目前状态的最大价值 = 最大化[ 眼前的回报 + {未来的最大价值,贴现到现在} ]

而动态规划要解决的问题,无非就是求解方程里的最优价值函数 V(x) 而已.

使用贪婪算法的人们,只专注"眼前的回报",而忽略了"对未来最大价值贴现到现在"的认真计算.

社会上对部分大学生贴上的标签,"精致的利己主义者",实际上应当看成是"努力求解贝尔曼方程的人们".

没有损害他人利益的"利己和精致&q......

阅读全文>>
2016年08月12日 11:40

深度学习有多深(十八)从贪婪算法和动态规划说起

深度学习有多深(十八)从贪婪算法和动态规划说起

(1)

迄今为止我们讨论的人工智能的问题,都还是局限在"认知"方面的应用, 比如图像识别,语音识别,自然语言处理,等等.

这类问题的特点是,机器获得大量原始数据的培训. 每一个输入,都有标准的"输出"的答案. 这种学习方式,也称为"有监督学习".

但是生活中大多数问题,是没有标准正确答案的.你的所作所为,偶尔会得到一些时而清晰, 时而模糊的反馈信号. 这就是"增强学习" (Reinforcement Learning) 要解决的问题.

"增强学习"的计算模型,最核心的有三个部分:

1. 状态 (State): 一组当前状态的变量 (是否吃饱穿暖, 心满意足? 是郁郁寡欢, 还是志得意满?......

阅读全文>>
2016年08月09日 14:29

摩尔定律还能走多远(六)有钱能使鬼推摩(尔定律)

摩尔定律还能走多远(六)有钱能使鬼推摩(尔定律)

(1)

2012年七月,半导体制造业发生了一件大事: 三家芯片生产的巨头,英特尔/台积电/三星, 集体为半导体光刻业的巨头, 荷兰公司艾司摩尔 (ASML), 承诺支付累计十三亿欧元的研发费用,帮其承担部分新技术开发的风险.

三家公司同时还以每股接近 40 欧元的价格注资购买了 ASML 大约23%的股票. ( 四年后的2016年七月, ASML 股价在 96 欧元左右.)

ASML 获得的资金, 主要用于加快 450 毫米晶圆片相关的器材和下一代极紫外线光刻技术 (EUV)的研发.

光刻工艺,占芯片生产成本的接近一半. 为了保证半导体产业链的技术发展,继续按照摩尔定律的路线图前进,芯片巨头们赤膊上阵,直接注巨资给器材商加速研发,这是第一次.

阅读全文>>
2016年08月05日 11:59

摩尔定律还能走多远(五)——这都是为了钱

摩尔定律还能走多远(五)——这都是为了钱

(1)

对半导体芯片生产过程不熟悉的人, 常会问这样一个问题:

为什么芯片的密度要两年才翻一番? 为什么不可以更快一点, 两年翻两番, 三番? 为什么我们不能够一下子从 100 纳米跨越到 10 纳米? 而要漫长的十几年才能完成这个过程?

对这个问题的简单回答是: 如果一个人要吃七个馒头才能饱,为什么不可以先直接去吃第七个馒头?

(2)

摩尔定律从另外一个角度看,实际上是个生产成本的经济问题.

这都是为了钱.

芯片密度的增加,本质上是降低单个晶体管的生产成本和功耗,使终端产品在市场上更有竞争力.

只有终极市场的利益驱动,才会推动厂家投入大量资金, 到新的生产技术里......

阅读全文>>
2016年08月03日 11:50

摩尔定律还能走多远?(四)并行计算的威力

摩尔定律还能走多远?(四)并行计算的威力

(1)

解决CPU 时钟瓶颈问题的另外一个维度,是增加系统的并行度,同时多做一些事情.

传统上,一个CPU 的芯片只有一个处理器(core, 也称内核 或 核心),当单个 CPU 的时钟速度很难再提高时,芯片设计者的另外一个思路是: 在同一个芯片上增加新的内核,让多个内核同时并行处理一些计算工作.

多核 CPU 的第一个好处是节能. 前面提到,处理器的能耗大约和时钟的频率的三次方成正比. 理论上说,如果把一个内核的时钟频率降低一半 (运算速度也降低一半),能耗就只有原来的八分之一.

如果要解决的计算任务可以很容易分成两部分,并行处理,那么一个双核的CPU可以在保持同样计算能力的情况下,通过降低内核时钟频率的......

阅读全文>>