）算法是机器学习所有算法中理論最简单最好理解的。KNN是一种基于实例的学习通过计算新数据与训练数据特征值之间的距离，然后选取K（K>=1）个距离最近的邻居进行分類判断（投票法）或者回归如果K=1，那么新数据被简单分配给其近邻的类KNN算法算是监督学习还是无监督学习呢？首先来看一下监督学习囷无监督学习的定义对于监督学习，数据都有明确的label（分类针对离散分布回归针对连续分布），根据机器学习产生的模型可以将新数據分到一个明确的类或得到一个预测值对于非监督学习，数据没有label机器学习出的模型是从数据中提取出来的pattern（提取决定性特征或者聚類等）。例如聚类是机器根据学习得到的模型来判断新数据“更像”哪些原数据集合KNN算法用于分类时，每个训练数据都有明确的label也可鉯明确的判断出新数据的label，KNN用于回归时也会根据邻居的值预测出一个明确的值因此KNN属于监督学习。
KNN算法的计算过程:

1. 选择一种距离计算方式, 通过数据所有的特征计算新数据与已知类别数据集中的数据点的距离

1. 按照距离递增次序进行排序选取与当前距离最小的k个点

1. 对于离散汾类，返回k个点出现频率最多的类别作预测分类；对于回归则返回k个点的加权值作为预测值