深度学习与机器学习，都必须经过“学习”阶段。
在了解这两种类别学习之前，我们先了解什么是“学习。”
著名学者——赫伯特·西蒙教授，对“学习”赋予了这样的定义：如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是学习。
学习是一个过程，而这个过程带来的结果或是核心目的是改善性能。
01机器学习
遵循西蒙教授的观点，对于计算机系统而言，通过运用数据及某种特定的方法（比如统计的方法或推理的方法），来提升机器系统的性能，就是机器学习。
卡内基梅隆大学的Tom Mitchell教授，也提出过类似的观点；在他的名作《机器学习》一书中，也给出了更为具体（其实也很抽象）的定义：
对于某类任务（Task，简称T）和某项性能评价准则（Performance，简称P），如果一个计算机程序在T上，以P作为性能的度量，随着很多经验（Experience，简称E）不断自我完善，那么我们称这个计算机程序在从经验E中学习了。
比如说，对于学习围棋的程序AlphaGo，它可以通过和自己下棋获取经验，那么它的任务T就是“参与围棋对弈”；它的性能P就是用“赢得比赛的百分比”来度量。
“类似地，学生的任务T就是“上课看书写作业”；它的性能P就是用“期末成绩”来度量”。
因此，Mitchell教授认为，对于一个学习问题，我们需要明确三个特征：任务的类型，衡量任务性能提升的标准以及获取经验的来源。
02学习四象限
一般说来，人类的知识在两个维度上可分成四类。
即从可统计与否上来看，可分为：是可统计的和不可统计的。从能否推理上看，可分为可推理的和不可推理的。
在横向方向上，对于可推理的，我们都可以通过机器学习的方法，最终可以完成这个推理。传统的机器学习方法，就是试图找到可举一反三的方法，向可推理但不可统计的象限进发（象限Ⅱ）。
而在纵向上，对于可统计的、但不可推理的（即象限Ⅲ），可通过神经网络这种特定的机器学习方法，以期望达到性能提升的目的。
目前，基于深度学习的棋类博弈（阿尔法狗）、计算机视觉（猫狗识别）、自动驾驶等等，其实都是在这个象限做出了了不起的成就。
统计机器学习的对象，其实就是数据。
这是因为，对于计算机系统而言，所有的“经验”都是以数据的形式存在的。作为学习的对象，数据的类型是多样的，可以是各种数字、文字、图像、音频、视频，也可以是它们的各种组合。
统计机器学习，就是从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，最后又回到数据的分析与预测当中去。
03机器学习
传统机器学习是“Divide and Conquer（分而治之）
在这种方法论中，有一种“追本溯源”的蕴意包含其内，即一个系统（或理论）无论多复杂，都可以分解、分解、再分解，直到能够还原到逻辑原点。
在意象上，还原主义就是“1+1=2”，也就是说，一个复杂的系统，都可以由简单的系统简单叠加而成（可以理解为线性系统），如果各个简单系统的问题解决了，那么整体的问题也就得以解决。
比如说，很多的经典力学问题，不论形式有多复杂，通过不断的分解和还原，最后都可以通过牛顿的三大定律得以解决。
经典机器学习（位于第Ⅱ象限），在哲学上，在某种程度上，就可归属于还原主义。
传统的机器学习方式，通常是用人类的先验知识，把原始数据预处理成各种特征（feature），然后对特征进行分类。然而，这种分类的效果，高度取决于特征选取的好坏。
传统的机器学习专家们，把大部分时间都花在如何寻找更加合适的特征上。故此，传统的机器学习，其实可以有个更合适的称呼——特征工程（feature engineering）。
04深度学习
机器学习的专家们发现，可以让神经网络自己学习如何抓取数据的特征，这种学习的方式，效果更佳，对数据的拟合也更加的灵活好用。
当网络进一步加深，出现了多层次的“表示学习”，它把学习的性能提升到另一个高度。深度学习（Deep Learning）的名称也由此出现。
深度学习的学习对象同样是数据。
与传统机器学习所不同的是，它需要大量的数据，也就是“大数据（Big Data）”。
在深度学习中，经常有“end-to-end（端到端）”学习的提法，“end-to-end”（端到端）说的是，输入的是原始数据（始端），然后输出的直接就是最终目标（末端）。
比如说，基于深度学习的图像识别系统，输入端是图片的像素数据，而输出端直接就是或猫或狗的判定。这个端到端就是：像素-->判定。
“机器学习”的核心要素，那就是通过对数据运用，依据统计或推理的方法，让计算机系统的性能得到提升。
而深度学习，则是把由人工选取对象特征，变更为通过神经网络自己选取特征，为了提升学习的性能，神经网络的表示学习的层次较多（较深）。