机器学习之一元线性回归

[TOC]

概述

概述

我们来从一个房价预测的例子来开始学习机器学习中的一元线性回归。

一元线性回归（Simple Linear regression）

y=wx+b

模型变量：x：称之为模型变量

模型参数：w:称之为权重(weights)，b:称之为偏置量，也称之为偏置值（bias）

一元线性回归我们要解决的问题：如果根据输入样本x,y 来进行求解模型参数w,b的过程。

残差

使用均方误差损失函数计算损失函数

损失函数的2个性质：

非负性质：保证样本误差不会相互抵消

一致性：损失函数的值和误差变化需要保持一致。

在实际情况下，我们使用均方误差来计算损失函数，就是将平方差损失函数除以n

最小二乘法

基于均方误差最小化进行模型求解的方法，我们称之为最小二乘法。

最小二乘法的用途非常广泛。

最小二乘法模型求解

机型学习模型阶段。我们求解回归问题。