2018-02-08 18:48

 版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处、作者信息和本声明,否则将追究法律责任。https://blog.kokojia.com/zhangzhixing521/b-918.html

在你 35 岁以上的职业生涯中,这些工具会变得完全不同。所以最好的办法是熟悉基本概念和数学。

其次,机器学习领域太过繁杂,根本不可能真正深入理解几十种不同的算法。我觉得你可以先深究几个最有前景的算法。说是这么说,你也要很了解一些基础的东西才行,比如说朴素贝叶斯、支持向量机、感知器、决策树。

最后,很多创业公司,或者非研究领域的人会告诉你要专注于那些快要老掉牙的算法(比如支持向量机 (SVM))和大数据的数据库工具(比如说Hadoop)。考虑到你刚刚起步,我觉得你可以专注于那些很快会发展起来的架构:神经网络,单指令流多数据流(SIMD)向量计算(比如说GPU)。神经网络最近 10 年内开始革命性地颠覆自然语言处理、机器视觉、语音识别和其他领域。鉴于它的强大,这个影响还会继续下去。

综上,我会选择诸如 GPU 加速这类算法来自学和实现,再加一些分布式数据库的知识。以下是值得考虑的算法:

1. 深度置信网或者层叠降噪自动编码机 / Deep Belief Nets or Stacked Denoising Autoencoders
2. 卷积神经网络(CNN)
3. 长短记忆(LSTM)时间递归神经网络
4. 结构递归神经网络(通常用于自然语言处理)
5. word2vec 神经网络以及相关通过上下文学习词语的相关算法

另外一个很有前景的领域是强化学习,尤其是 Deep Mind 的 Q-learning。当你用到延迟奖励功能(比如玩 Atari 游戏时的得分),并且不能在你的网络中直接计算参数梯度时,你会用到强度学习。当你熟悉了上述的算法之后,你大约会想探索一下这个领域。这个领域跟机器人以及,更现实一点,关于人和动物是怎么学习的模拟,很有关联。

补充:我现在有这样的想法:过去的一年中,结合不同的神经算法,得到一个“深度“系统的方法逐渐显露出重大进步;因为这个方法的整体大于它的组成部分。鉴于奠基石已经铺下,我预计最显著的进步很可能会落在这个方向。一定程度上,细致整顿整个系统之前训练好个体模块,以及更快的计算群让这种进步成为了可能。(然而我们仍会在单个的算法中看到进展。)

换句话说,现在结合了卷积神经网络和多层感知器(MLP)的 LSTM,可以做到用句子描述图像之类的事情(来源:Goolge/Stanford)。类似地,已经有了具备强化学习能力的卷积神经网络和 MLP 组成的 Atari 游戏竞技网络。

往这个清单加上新东西同样很容易:把通过 word2vec/GloVe/skip-gram 训练出来的词向量输送给这样的复合网络,或者甚至是用递归神经网络训练的情感分析层。

有了神经网络和反向传播,在任意几何体上结合/叠加层,以及把组合作为整体系统来训练都变得容易了,它们可以扩展出强大的能力。

由许多不同种类的神经网络组成,用各种技术连接在一起,单独训练,协同微调,这些混合系统将继续向我们展示充满戏剧性的新能力。


 版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处、作者信息和本声明,否则将追究法律责任。https://blog.kokojia.com/zhangzhixing521/b-918.html

评论