机器学习(Machine Learning)&深入学习(Deep Learning)资料

• 《Brief History of Machine Learning》

介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost 到随机森林、Deep Learning.

• 《Deep Learning in Neural Networks: An Overview》

介绍:这是瑞士人工智能实验室 Jurgen Schmidhuber 写的最新版本《神经网络与深度学习综述》本综述的特点是以时间排序，从 1940 年开始讲起，到 60-80 年代，80-90 年代，一直讲到 2000 年后及最近几年的进展。涵盖了 deep learning 里各种 tricks，引用非常全面.

• 《A Gentle Introduction to Scikit-Learn: A Python Machine Learning Library》

介绍:这是一份 python 机器学习库，如果您是一位 python 工程师而且想深入机器学习.那么这篇文章或许能够帮助到你.

• 《How to Layout and Manage Your Machine Learning Project》

介绍:这一篇介绍如果设计和管理属于你自己的机器学习项目的文章，里面提供了管理模版、数据管理与实践方法.

• 《Machine Learning is Fun!》

介绍:如果你还不知道什么是机器学习，或则是刚刚学习感觉到很枯燥乏味。那么推荐一读。这篇文章已经被翻译成中文，如果有兴趣可以移步 http://blog.jobbole.com/67616/

• 《R语言参考卡片》

介绍:R语言是机器学习的主要语言，有很多的朋友想学习R语言，但是总是忘记一些函数与关键字的含义。那么这篇文章或许能够帮助到你

• 《Choosing a Machine Learning Classifier》

介绍:我该如何选择机器学习算法，这篇文章比较直观的比较了 Naive Bayes，Logistic Regression，SVM，决策树等方法的优劣，另外讨论了样本大小、Feature 与 Model 权衡等问题。此外还有已经翻译了的版本:http://www.52ml.net/15063.html

• 《An Introduction to Deep Learning: From Perceptrons to Deep Networks》

介绍：深度学习概述：从感知机到深度网络，作者对于例子的选择、理论的介绍都很到位，由浅入深。翻译版本：http://www.cnblogs.com/xiaowanyer/p/3701944.html

• 《The LION Way: Machine Learning plus Intelligent Optimization》

介绍:<机器学习与优化>这是一本机器学习的小册子， 短短 300 多页道尽机器学习的方方面面. 图文并茂， 生动易懂， 没有一坨坨公式的烦恼. 适合新手入门打基础， 也适合老手温故而知新. 比起 MLAPP/PRML 等大部头， 也许这本你更需要!具体内容推荐阅读:http://intelligent-optimization.org/LIONbook/

• 《深度学习与统计学习理论》

介绍:作者是来自百度，不过他本人已经在 2014 年 4 月份申请离职了。但是这篇文章很不错如果你不知道深度学习与支持向量机/统计学习理论有什么联系？那么应该立即看看这篇文章.

• 《计算机科学中的数学》

介绍:这本书是由谷歌公司和 MIT 共同出品的计算机科学中的数学：Mathematics for Computer Science，Eric Lehman et al 2013 。分为 5 大部分：1）证明，归纳。2）结构，数论，图。3）计数，求和，生成函数。4）概率，随机行走。5）递归。等等

• 《数据科学入门》

介绍:这是一本由雪城大学新编的第二版《数据科学入门》教材：偏实用型，浅显易懂，适合想学习R语言的同学选读。

• 《Twenty Questions for Donald Knuth》

介绍:这并不是一篇文档或书籍。这是篇向图灵奖得主 Donald Knuth 提问记录稿： 近日， Charles Leiserson, Al Aho, Jon Bentley 等大神向 Knuth 提出了 20 个问题，内容包括 TAOCP，P/NP 问题，图灵机，逻辑，以及为什么大神不用电邮等等。

• 《Automatic Construction and Natural-Language Description of Nonparametric Regression Models》

介绍：不会统计怎么办？不知道如何选择合适的统计模型怎么办？那这篇文章你的好好读一读了麻省理工 Joshua B. Tenenbaum 和剑桥 Zoubin Ghahramani 合作，写了一篇关于 automatic statistician 的文章。可以自动选择回归模型类别，还能自动写报告...

• 《ICLR 2014 论文集》

介绍:对深度学习和 representation learning 最新进展有兴趣的同学可以了解一下

• 《Introduction to Information Retrieval》

介绍：这是一本信息检索相关的书籍，是由斯坦福 Manning 与谷歌副总裁 Raghavan 等合著的 Introduction to Information Retrieval 一直是北美最受欢迎的信息检索教材之一。最近作者增加了该课程的幻灯片和作业。IR 相关资源：http://www-nlp.stanford.edu/IR-book/information-retrieval.html

• 《Machine learning in 10 pictures》

介绍:Deniz Yuret 用 10 张漂亮的图来解释机器学习重要概念：1. Bias/Variance Tradeoff 2. Overfitting 3. Bayesian / Occam's razor 4. Feature combination 5. Irrelevant feature 6. Basis function 7. Discriminative / Generative 8. Loss function 9. Least squares 10. Sparsity. 很清晰

• 《雅虎研究院的数据集汇总》

介绍：雅虎研究院的数据集汇总： 包括语言类数据，图与社交类数据，评分与分类数据，计算广告学数据，图像数据，竞赛数据，以及系统类的数据。

• 《An Introduction to Statistical Learning with Applications in R》

介绍：这是一本斯坦福统计学著名教授 Trevor Hastie 和 Robert Tibshirani 的新书，并且在 2014 年一月已经开课：https://class.stanford.edu/courses/HumanitiesScience/StatLearning/Winter2014/about

• Best Machine Learning Resources for Getting Started

介绍：机器学习最佳入门学习资料汇总是专为机器学习初学者推荐的优质学习资源，帮助初学者快速入门。而且这篇文章的介绍已经被翻译成中文版。如果你不怎么熟悉，那么我建议你先看一看中文的介绍。

• My deep learning reading list

介绍:主要是顺着 Bengio 的 PAMI review 的文章找出来的。包括几本综述文章，将近 100 篇论文，各位山头们的 Presentation。全部都可以在 google 上找到。

• Cross-Language Information Retrieval

介绍：这是一本书籍，主要介绍的是跨语言信息检索方面的知识。理论很多

• 探索推荐引擎内部的秘密，第 1 部分: 推荐引擎初探

介绍:本文共有三个系列，作者是来自 IBM 的工程师。它主要介绍了推荐引擎相关算法，并帮助读者高效的实现这些算法。探索推荐引擎内部的秘密，第 2 部分: 深入推荐引擎相关算法 - 协同过滤,探索推荐引擎内部的秘密，第 3 部分: 深入推荐引擎相关算法 - 聚类

• 《Advice for students of machine learning》

介绍：康奈尔大学信息科学系助理教授 David Mimno 写的《对机器学习初学者的一点建议》， 写的挺实际，强调实践与理论结合，最后还引用了冯 · 诺依曼的名言: "Young man, in mathematics you don't understand things. You just get used to them."

• 分布式并行处理的数据

介绍：这是一本关于分布式并行处理的数据《Explorations in Parallel Distributed Processing: A Handbook of Models, Programs, and Exercises》，作者是斯坦福的 James L. McClelland。着重介绍了各种神级网络算法的分布式实现，做 Distributed Deep Learning 的童鞋可以参考下

• 《“机器学习”是什么？》

介绍:【“机器学习”是什么？】John Platt 是微软研究院杰出科学家，17 年来他一直在机器学习领域耕耘。近年来机器学习变得炙手可热，Platt 和同事们遂决定开设博客，向公众介绍机器学习的研究进展。机器学习是什么，被应用在哪里？来看 Platt 的这篇博文

• 《2014 年国际机器学习大会 ICML 2014 论文》

介绍：2014 年国际机器学习大会（ICML）已经于 6 月 21-26 日在国家会议中心隆重举办。本次大会由微软亚洲研究院和清华大学联手主办，是这个有着 30 多年历史并享誉世界的机器学习领域的盛会首次来到中国，已成功吸引海内外 1200 多位学者的报名参与。干货很多，值得深入学习下

• 《Machine Learning for Industry: A Case Study》

介绍：这篇文章主要是以 Learning to Rank 为例说明企业界机器学习的具体应用，RankNet 对 NDCG 之类不敏感，加入 NDCG 因素后变成了 LambdaRank，同样的思想从神经网络改为应用到 Boosted Tree 模型就成就了 LambdaMART。Chirs Burges，微软的机器学习大神，Yahoo 2010 Learning to Rank Challenge 第一名得主，排序模型方面有 RankNet，LambdaRank，LambdaMART，尤其以 LambdaMART 最为突出，代表论文为： From RankNet to LambdaRank to LambdaMART: An Overview 此外，Burges 还有很多有名的代表作，比如：A Tutorial on Support Vector Machines for Pattern Recognition
Some Notes on Applied Mathematics for Machine Learning

• 100 Best GitHub: Deep Learning

介绍:100 Best GitHub: Deep Learning

• 《UFLDL-斯坦福大学 Andrew Ng 教授“Deep Learning”教程》

介绍:本教程将阐述无监督特征学习和深度学习的主要观点。通过学习，你也将实现多个功能学习/深度学习算法，能看到它们为你工作，并学习如何应用/适应这些想法到新问题上。本教程假定机器学习的基本知识（特别是熟悉的监督学习，逻辑回归，梯度下降的想法），如果你不熟悉这些想法，我们建议你去这里机器学习课程，并先完成第 II，III，IV 章（到逻辑回归）。此外这关于这套教程的源代码在 github 上面已经有 python 版本了 UFLDL Tutorial Code

*《Deep Learning for Natural Language Processing and Related Applications》

介绍:这份文档来自微软研究院，精髓很多。如果需要完全理解，需要一定的机器学习基础。不过有些地方会让人眼前一亮，毛塞顿开。

• Understanding Convolutions

介绍:这是一篇介绍图像卷积运算的文章，讲的已经算比较详细的了

• 《Machine Learning Summer School》

介绍：每天请一个大牛来讲座，主要涉及机器学习，大数据分析，并行计算以及人脑研究。https://www.youtube.com/user/smolix

• 《Awesome Machine Learning》

介绍：一个超级完整的机器学习开源库总结，如果你认为这个碉堡了，那后面这个列表会更让你惊讶：【Awesome Awesomeness】，国内已经有热心的朋友进行了翻译中文介绍

• 斯坦福《自然语言处理》课程视频

介绍:ACL 候任主席、斯坦福大学计算机系 Chris Manning 教授的《自然语言处理》课程所有视频已经可以在斯坦福公开课网站上观看了（如 Chrome 不行，可用 IE 观看） 作业与测验也可以下载。

• 《Deep Learning and Shallow Learning》

介绍:对比 Deep Learning 和 Shallow Learning 的好文，来着浙大毕业、MIT 读博的 Chiyuan Zhang 的博客。

• 《Recommending music on Spotify with deep learning》

介绍:利用卷积神经网络做音乐推荐。

• 《Neural Networks and Deep Learning》

介绍：神经网络的免费在线书，已经写了三章了，还有对应的开源代码：https://github.com/mnielsen/neural-networks-and-deep-learning 爱好者的福音。

• 《Java Machine Learning》

介绍：Java 机器学习相关平台和开源的机器学习库，按照大数据、NLP、计算机视觉和 Deep Learning 分类进行了整理。看起来挺全的，Java 爱好者值得收藏。

• 《Machine Learning Theory: An Introductory Primer》

介绍：机器学习最基本的入门文章，适合零基础者

• 《机器学习常见算法分类汇总》

介绍：机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。

• 《机器学习经典论文/survey 合集》

介绍：看题目你已经知道了是什么内容，没错。里面有很多经典的机器学习论文值得仔细与反复的阅读。

• 《机器学习视频库》

介绍：视频由加州理工学院（Caltech）出品。需要英语底子。

• 《机器学习经典书籍》

介绍：总结了机器学习的经典书籍，包括数学基础和算法理论的书籍，可做为入门参考书单。

• 《16 Free eBooks On Machine Learning》

介绍:16 本机器学习的电子书，可以下载下来在 pad，手机上面任意时刻去阅读。不多我建议你看完一本再下载一本。

• 《A Large set of Machine Learning Resources for Beginners to Mavens》

介绍:标题很大，从新手到专家。不过看完上面所有资料。肯定是专家了

• 《机器学习最佳入门学习资料汇总》

介绍：入门的书真的很多，而且我已经帮你找齐了。

• 《Sibyl》

介绍：Sibyl 是一个监督式机器学习系统，用来解决预测方面的问题，比如 YouTube 的视频推荐。

• 《Deep Learning》

介绍：Yoshua Bengio, Ian Goodfellow， Aaron Courville 著

• 《Neural Network & Text Mining》

介绍:关于(Deep) Neural Networks 在 NLP 和 Text Mining 方面一些 paper 的总结

• 《前景目标检测1（总结）》

介绍:计算机视觉入门之前景目标检测1（总结）

• 《行人检测》

介绍:计算机视觉入门之行人检测

• 《Deep Learning – important resources for learning and understanding》

介绍:Important resources for learning and understanding . Is awesome

• 《Machine Learning Theory: An Introductory Primer》

介绍:这又是一篇机器学习初学者的入门文章。值得一读

• 《Neural Networks and Deep Learning》

介绍:在线 Neural Networks and Deep Learning 电子书

• 《Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱》

介绍:python 的 17 个关于机器学习的工具

• 《神奇的伽玛函数(上)》

介绍:下集在这里神奇的伽玛函数(下)

• 《分布式机器学习的故事》

介绍:作者王益目前是腾讯广告算法总监，王益博士毕业后在 google 任研究。这篇文章王益博士 7 年来从谷歌到腾讯对于分布机器学习的所见所闻。值得细读

• 《机器学习提升之道（Level-Up Your Machine Learning）》

介绍:把机器学习提升的级别分为0~4 级，每级需要学习的教材和掌握的知识。这样，给机器学习者提供一个上进的路线图，以免走弯路。另外，整个网站都是关于机器学习的，资源很丰富。

• 《Machine Learning Surveys》

介绍:机器学习各个方向综述的网站

• 《Deep Learning Reading list》

介绍:深入学习阅资源列表

• 《Deep Learning: Methods and Applications》

介绍：这是一本来自微的研究员 li Peng 和 Dong Yu 所著的关于深入学习的方法和应用的电子书

• 《Machine Learning Summer School 2014》

介绍:2014 年七月 CMU 举办的机器学习夏季课刚刚结束有近 50 小时的视频、十多个 PDF 版幻灯片，覆盖深度学习，贝叶斯，分布式机器学习，伸缩性等热点话题。所有 13 名讲师都是牛人：包括大牛 Tom Mitchell （他的［机器学习］是名校的常用教材），还有 CMU 李沐 .（1080P 高清哟）

• 《Sibyl: 来自 Google 的大规模机器学习系统》

介绍:在今年的 IEEE/IFIP 可靠系统和网络（DSN）国际会议上，Google 软件工程师 Tushar Chandra 做了一个关于 Sibyl 系统的主题演讲。 Sibyl 是一个监督式机器学习系统，用来解决预测方面的问题，比如 YouTube 的视频推荐。详情请阅读 google sibyl

• 《Building a deeper understanding of images》

介绍:谷歌研究院的 Christian Szegedy 在谷歌研究院的博客上简要地介绍了他们今年参加 ImageNet 取得好成绩的 GoogLeNet 系统.是关于图像处理的。

• 《Bayesian network 与 python 概率编程实战入门》

介绍:贝叶斯学习。如果不是很清可看看概率编程语言与贝叶斯方法实践

• 《AMA: Michael I Jordan》

介绍:网友问伯克利机器学习大牛、美国双料院士 Michael I. Jordan："如果你有 10 亿美金，你怎么花？Jordan: "我会用这 10 亿美金建造一个 NASA 级别的自然语言处理研究项目。"

• 《机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）》

介绍:常见面试之机器学习算法思想简单梳理

• 《文本与数据挖掘视频汇总》

介绍：Videolectures 上最受欢迎的 25 个文本与数据挖掘视频汇总

• 《怎么选择深度学习的 GPUs》