回归与分类

[tarao616]

  机器学习的主要任务便是聚焦于两个问题：回归与分类。
  回归的定义：机器学习的过程就是寻找函数的过程，通过训练获得一个函数映射，给定函数的输入，函数会给出相应的一个输出，若输出结果是一个数值scalar时，即称这一类机器学习问题为回归问题。就如李宏毅老师所说：Regression就是找到一个函数function，通过输入特征x，输出一个数值scalar。例如：房价数据，根据位置、周边、配套等等这些维度，给出一个房价的预测。
  分类与回归的区别：分类是基于数据集，作出分类选择；分类与回归区别在一输出变量的类型。输出是离散的就可以做分类问题，即通常多个输出，输出i是预测为第i类的置信度；输出是连续的就可以做回归问题 ，即单连续值输出，跟真实值区别作为损失。
模型步骤

• step1：模型假设，选择模型框架（线性模型）；step2：模型评估，如何判断众多模型的好坏（损失函数）；step3：模型优化，如何筛选最优的模型（梯度下降）；
  线性模型：step1 模型假设：给定n维输入 x = [x1,x2,....,xn]^T；线性模型有一个n维权重和一个标量偏差 即w与b；输出是输入的加权和 y = w1x1 + w2x2 + ... +wnxn +b
  向量版本 y = <w,x> + b

• 假设1：影响房价的关键因素是卧室个数，卫生间个数，和居住面积，记为x1，x2，x3

• 假设2：成交价是关键因素的加权和 则 y = w1x1 + w2x2 +w3x3 + b,权重和偏置的实际值在后面决定。

• step2 模型评估(衡量预估质量)；收集和训练数据；如何判断众多模型的好坏（根据损失函数判断）：1.平方损失 y为真实值，y1为估计值(预测值)：p(y,y1) = 1/2(y-y1)^2
  2.训练损失：p(X,y,w,b) = ∑(y[i] - (b + <w,x[i]>))^2

• step3 选取最优模型(梯度下降)：为了获得最优模型故要使L(w,b)损失函数值最小化，而对于L(w,b)实质上就是w,b的函数，因此可以通过求偏微分来寻找其最小化损失点。