标签归档:神经网络

从统计学角度来看深度学习(3):记忆和核方法

原文链接:http://blog.shakirm.com/2015/04/a-statistical-view-of-deep-learning-iii-memory-and-kernels/

作者:Shakir Mohamed  翻译:丁维悦     审校:朱雪宁  何通  施涛   编辑:王小宁

methodTriangle1-300x300
连接机器学习的回归方法

人们通过对以往的经验或者数据的回忆来推断未来的事物,这样的过程可以用一个经常出现在最近文献中的词语——记忆来概括。机器学习模型都是由这样的‘记忆’组成的,如何理解这些‘记忆’对于如何使用模型是极为重要的。根据机器学习模型的种类,可以分为两种主要的记忆机制,即参数型与非参数型(还包括了介于两者之间的模型)。深度网络作为参数记忆型模型的代表,它将统计特性从所观察到的数据中以模型参数或者权重的方式提炼出来。而非参数模型中的典范则是核机器(以及最近邻),它们的记忆机制是存储所有数据。我们可以自然地认为,深度网络与核机器是两种原理不同的由数据推导结论的方法,但是实际上,我们研究出这些方法的过程却表明它们之间有着更加深远的联系以及更基本的相似性。

深度网络、核机器以及高斯过程三者形成了解决相同问题的一套连贯的方法。它们的最终形式很不相同,但是它们本质上却是相互联系的。了解这一点对于更深入的研究十分有用,而这种联系正是这篇文章将要探讨的。

继续阅读从统计学角度来看深度学习(3):记忆和核方法

统计学博文导读:火箭队比赛与分类树、神经网络与降维

即日起,统计之都网站成立“统计学博文导读”栏目,归属于“网站导读”栏目。我们号召广大读者和作者将喜爱的统计学博客文章推荐给我们,以方便更多读者在这个信息爆炸的时代能够快速阅读到优秀的文章;本文是统计之都“统计学博文导读”第一篇,权当示范本栏目的作用。这次我们重点推荐两篇博文,分别来自于刘思喆和左辰,向大家展示统计学理论的生活和思维魅力:

一、火箭队比赛与分类树

 2009年3月5日,刘思喆发表了“从数据看2008-2009赛季的火箭队”一文,文章用分类树(Classification Tree)分析了火箭队2008-2009年的比赛数据,从数据的角度指出了各种比赛指标对结果胜负的影响关系。文章附有两幅分类树图,大力推荐热爱篮球运动并熟悉分类与回归树模型的同仁阅读(尤其是姚明粉丝)。

我本人是篮球白痴,对于各种术语都不懂,因此不多啰嗦,博主能将统计方法灵活应用到身边的数据,对此我深感佩服。

二、神经网络与降维思想

2009年3月12日,左辰发表了“神經網絡和非線性降維”一文,讲述了神经网络处理多变量数据时的降维思想,从降维的角度说明了隐藏层的作用。顺便提一句,我对左辰的数学修养非常佩服,感兴趣的读者不妨阅读他更多的博文,如“分析的那些人和事”系列()等。

三、其它博文

这里再列举一些我日常阅读的博客以及文章举例:

各位读者若有好的建议和意见请Email反馈到blog[at]cos.name,欢迎推荐好文章大家一起分享,来信请注明推荐原因(如读后感等)。