推荐文章

从统计学角度来看深度学习（3）：记忆和核方法

Shakir Mohamed / 2015-06-25

原文链接：http://blog.shakirm.com/2015/04/a-statistical-view-of-deep-learning-iii-memory-and-kernels/ 作者：Shakir Mohamed 连接机器学习的回归方法人们通过对以往的经验或者数据的回忆来推断未来的事物，这样的过程可以用一个经常出现在最近文献中的词语——记忆来概括。机器学习模型都是由这样的‘记忆’……

推荐文章

“支持向量机系列”的番外篇二: Kernel II

张驰原 / 2014-05-08

原文链接请点击这里在之前我们介绍了如何用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况，那里用到的方法就是通过一个非线性映射 $\phi(\cdot)$将原始数据进行映射，使得原来的非线性问题在映射之后的空间中变成线性的问题。然后我们利用核函数来简化计算，使得这样的方法在实际中变得可行。不过，从线性到非线性的推广我们并没有把 SVM 的式子从头推导一遍，而只是直接把最终……

推荐文章

“支持向量机系列”的番外篇一: Duality

张驰原 / 2014-03-19

原文链接请点击这里在之前关于support vector的推导中，我们提到了dual，这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题，而是对于所有带约束的优化问题都适用的，是优化理论中的一个重要部分。简单来说，对于任意一个带约束的优化都可以写成这样的形式： $$ \begin{aligned} \min&f_0(x) \\ s.t. &f_i(x)\leq……

推荐文章

支持向量机系列五：Numerical Optimization

张驰原 / 2014-03-06

原文链接请点击这里作为支持向量机系列的基本篇的最后一篇文章，我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下，原因主要有两个：第一这类优化算法，特别是牵涉到实现细节的时候，干巴巴地讲算法不太好玩，有时候讲出来每个人实现得结果还不一样，提一下方法，再结合实际的实现代码的话，应该会更加明……

推荐文章

支持向量机系列四：Outliers

张驰原 / 2014-02-22

原文链接请点击这里在最开始讨论支持向量机的时候，我们就假定，数据是线性可分的，亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据，使用 Kernel 方法对原来的线性 SVM 进行了推广，使得非线性的的情况也能处理。虽然通过映射\(\phi(\cdot)\)将原始数据映射到高维空间之后，能够线性分隔的概率大大增加，但是对于某些情况还是很难处理。例如可能并不是因为数据本身是非线……

推荐文章

支持向量机系列三：Kernel

张驰原 / 2014-02-17

原文链接请点击这里前面我们介绍了线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。例如图中的两类数据，分别分布为两个圆圈的形状，不论是任何高级的分类器，只要它是线性的，就没法处理，SVM 也不行。因为这样的数据本身就是线性不可分的。对于这个数据集，我可以悄悄透露一下：我生成它的时候就是用两个半径不同的圆圈加……

推荐文章

支持向量机系列二: Support Vector

张驰原 / 2014-01-25

原文链接请点击这里上一次介绍支持向量机，结果说到 Maximum Margin Classifier ，到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图：可以看到两个支撑着中间的 gap 的超平面，它们到中间的 separating hyper plane 的距离相等（想想看：为什么一定是相等的？），即我们所能得到的最大的 geometrical margin……

推荐文章

支持向量机系列一: Maximum Margin Classifier

张驰原 / 2014-01-23

原文链接请点击这里支持向量机即 Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起，然后再做成一个 Machine ，一听就很玄了！不过后来我才知道，原来 SVM 它并不是一头机器，而是一种算法，或者，确切地说，是一类算法，当然，这样抠字眼的……

新闻动态

COS每周精选:Simply Statistics为你解释GMM

霍志骥 / 2013-10-29

本期投稿冷静肖楠魏太云谢益辉 […] 统计学家在其他领域大放异彩已经不是什么新鲜事，最近公布的三位诺贝尔经济学奖获得者之一，Lars Hansen，就是其中一员。有趣的是，因为Hansen 的理论过于复杂以致于众多新闻报道乃至经济学评论都对他的成果支支吾吾，一带而过。以至于Chicago Magazine 称之为the forgotten Nobel Prize……

推荐文章

统计学习那些事

杨灿 / 2011-12-14

编辑部按：本文转载Yang Can主页中的文章，稍有修改，原文链接请点击此处。作者简介：杨灿，香港科技大学电子与计算机工程系。 […] 主页：https://sites.google.com/site/eeyangc/ […] 在港科大拿到PhD，做的是Bioinformatics方面的东西。Bioinformatics这个领域很乱，从业者水平参差不齐，但随着相关技……