决策树分为分类决策树和回归决策树：
上一篇介绍了分类决策树以及Python实现分类决策树： 监督学习——决策树理论与实践（上）：分类决策树
决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象/分类，树中的每一个分叉路径代表某个可能的属性值，而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值
通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。
决策树是一颗树形的数据结构，可以是多叉树也可以是二叉树，决策树实际上是一种基于贪心策略构造的，每次选择的都是最优的属性进行分裂。
决策树也是一种监督学习算法，它的样本是（x,y）形式的输入输出样例。
回归树：
相对于上一篇所讲的决策树，这篇所讲的回归树主要解决回归问题，所以给定的训练数据输入和标签都是连续的。
CART回归树生成算法 决策树的生成CART算法的思路是将特征空间切分为m个不同的子空间，通过测试数据（落在每个子空间中的测试数据）来计算每个子空间的输出值（对应下式中的Cm）。当这样的空间几何生成之后就可以很方便的将一个未知数据映射到某一个子空间Ri中，将Ci的值作为该未知数据的输出值。
这里Cm的取值一般采用均值算法，即取所有落在该子空间的测试数据的均作为该子空间的值：
这里肯定会涉及到一个，这也是CART算法的关键： 如何去划分一个一个子空间？如何去选择第j个变量Xj和它取值s作为切分变量和切分点，并定义成两个区域。这里《统计学方法》中给出了算法思路：
算法实现时，比那里所有切分向量，切分点是测试数据在Xj上的所有取值集合。通过5.19就能计算出当前最佳的切分向量j和切分点x以及划分成的两个区域的取值c1，c2。（该部分的Python实现对应下文中chooseBestSplit函数）
当对一个整体测试数据调用上面逻辑后会得到一个j和x值，通过这两个值将空间分成了两个空间，再分别对两个子空间调用上面的逻辑，这样递归下去就能生成一棵决策树。（对应下文中createTree函数）
决策树的剪枝CART剪枝算法从“完全生长”的决策树的底端减去一些子树，使决策树变小（模型变简单），从而能够对未知数据有更准确的预测。
后续待补充
CART算法Python实现 数据加载加载测试数据，以及测试数据的值（X,Y），这里数据和值都存放在一个矩阵中。
def loadDataSet(fileName): #general function to parse tab -delimited floats dataMat = [] #assume last column is target value fr = open(fileName) for line in fr.readlines(): curLine = line.strip().split('\t') fltLine = map(float,curLine) #map all elements to float() dataMat.append(fltLine) return dataMat