Posted by on 2017年11月7日

[隐藏]

1.Hinton传奇的学术生涯

今天偶然在油管上搜到了Andrew采访Hinton的视频1,顺手点进去看了下,没想到收货良多,实在意外。Hinton的大名,我想稍微接触过Deep Learning的人都不会陌生,他1986年在Nature上发表的paper-Learning representations by back-propagating errors可谓Deep Learning的扛鼎之作。然而,对于Hinton的生平2我了解并不多。

这次采访Andrew提的第一个问题是“How di you get involved in AI, machine learning and neural network?”Hinton便从高中开始回忆起自己和神经网络的不解之缘。Hinton高中有个学霸同学(他说是个Brilliant Mathematician),有一天忽然和他提到大脑是基于全息图(Hologram)运作的,一下子激起了Hinton对大脑如何储存记忆这一问题的极大兴趣。(学霸就是学霸,还自带加成光环。)

进入剑桥大学后,Hinton开始学习生理学和物理。(似乎那会儿计算机学科还刚刚起步。)中途他又转到哲学系,一段时间后又转去学心理学。本科毕业后,他觉得心理学的理论都过于简单,不足以解释大脑的运行机制,于是放弃继续攻读心理学,跑去做了一段时间木匠。(有趣~)再过了一段时间后,他决定尝试一下AI,跑去苏格兰爱丁堡大学攻读AI博士,师从Higgins。那会儿,Higgins刚刚打算要放弃Neural Network,想让Hinton着手Symbolic AI的研究,但是Hinton依然固执地认为Neural network值得进一步探索下去。(博士期间和导师意见不合怎么办?!)Hinton顺利拿到博士学位,但是却在大不列颠找不到工作(很多找不到工作的PhD们不要慌)...有一天他看到Sloan Research Fellowships的广告,于是跑去UCSD,从此打开了新的世界大门。在当时的英国,神经网络被认为十分silly,但是在加州,有一大批对神经网络持开放态度的科学家。在加州期间也是Hinton真正意义上开始思考大脑如何运作这一问题的起点,也是他第一次觉得自己心理学背景是一件positive的事情。back-propagating的文章也是在此期间发表的。

2.一些关键词:

之后Andrew和Hinton聊了很多目前DL/AI的进展以及历史,内容比较杂,为了方便,我只记下来一些keywords。

  • Graphical representation or tree structure presentation -> representation of feature vectors
  • 最满意的作品:
    A learning algorithm for Boltzmann machines, 1985
  • ReLU network
  • AlexNet
  • RMSProp
  • Dropout
  • Restrictive Boltzmann machine
  • Sigmoid belief Nets, Redford Neyland
  • Bradford kneel on variational methods
  • Retified linear unit
  • Residual network
  • Recirculation algorithm
  • Capsules
  • Wake-sleep algorithm
  • Variational autoencoder

3.Hinton给年轻PhD的建议:

Hinton给正在或者刚刚从事DL的年强人提了很多建议,我觉得十分有趣,这也可能和他自身的经历有关。我想有些想法不仅仅适用于做DL的人,也适用与其他很多学科的PhD们。

Read literature but don't read too much of it.

Either your intuition is good or not, if it is good you should follow it and you will be eventually successful. If it is not good, it does not matter what you have done.

Never stop programming.

4.一点感想

很多时候,我们需要make decision with trade-offs。一方面是各种现实:所处的团队,手中的资源,个人的能力限制...另一方面又是:top journal paper,更感兴趣的课题,或者更宏伟的“想要攀登的高峰”....在这种时候,最重要的事情是坚持。就像Hinton不断强调的,无论人家认为你的idea多么non-sense,甚至是bullshit,只要是你自己经过不断推敲出来的并且带有原创性想法的intuition,你最好坚持下去。
因此,扎实的学术基础和善于思考的习惯是多么的重要啊。

PS: Hinton复杂的学术经历也给我一点点启发,希望我这个越学越杂的PhD也能够最终找到可以突破的一个学术刀口。

Posted in: Diary 荒唐言
24 views
1 Star2 Stars3 Stars4 Stars5 Stars (1 votes, average: 5.00 out of 5)
Loading...

Comments

Be the first to comment.

Leave a Reply

返回顶部