麦溪·在路上

[TOC] 概述文章参考：https://zhuanlan.zhihu.com/p/25197792 我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机器学习涉及到的一些最常用的的数学知识。 线性代数标量一个标量就是一个单独的数，一般用小写的的变量名称表示。 向量一个向量就是一列数，这些数是有序排列的。用过次序中的索引，我们可以确定每个单独的数。通常会赋予向量粗体的小写名称。当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵柱： 我们可以把向量看作空间中的点，每个元素是不同的坐标轴上的坐标。 矩阵矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。 如果一个实数矩阵高度为m，宽度为n，那么我们说**。** 矩阵这东西在机器学习中就不要太重要了！实际上，如果我们现在有N个用户的数据，每条数据含有M个特征，那其实它对应的就是一个NM的矩阵呀；再比如，一张图由1616的像素点组 ...

[TOC] 概述在线性代数中，向量和矩阵是非常核心的概念。 向量，既可以从代数角度去理解，也可以从几何角度去理解。从代数角度，向量是一个有序数组，维向量中存了个数，有先后次序之分。从几何角度，向量是一个带方向，有长度的箭头。 向量向量：在数学中，向量（也称为欧几里得向量、几何向量、矢量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。与向量对应的量叫做数量（物理学中称标量），数量（或标量）只有大小，没有方向。 题外话：数学上，向量表示有两种选择：行向量和列向量。这两种方式没有本质区别，选取那种都可以。OpenGL ES中使用的是列向量。列向量和矩阵相乘实现变换时，只能在列向量前面乘以矩阵，而行向量反之，否则乘法没有意义。 代数表示 一般印刷用黑体的小写英文字母（a、b、c等）来表示，手写用在a、b、c等字母上加一箭头（→）表示，也可以用大写字母AB、CD上加一箭头（→）等表示。 坐标表示在平面直角坐标系中，分别取与x轴、y轴方向相同的两个单位向量i，j作为一组基底。a为平面直角坐标系内的任意向量，以 ...

[TOC] 概述模型性能的评价在监督学习中，已知样本$(x_1, y_1),(x_2, y_2),…,(x_n, y_n)$，要求拟合出一个模型（函数） $\hat{f}$ ，其预测值 $\hat{f}(x) $与样本实际值 y 的误差最小。 考虑到样本数据其实是采样， $y$ 并不是真实值本身，假设真实模型（函数）是$ f $，则采样值$ y=f(x)+\varepsilon$ ，其中 $\varepsilon$ 代表噪音，其均值为0，方差为$ \sigma^2$ 。 拟合函数 $\hat{f} $的主要目的是希望它能对新的样本进行预测，所以，拟合出函数$ \hat{f}$ 后，需要在测试集（训练时未见过的数据）上检测其预测值与实际值 $y$ 之间的误差。可以采用平方误差函数（mean squared error）来度量其拟合的好坏程度，即$ (y-\hat{f}(x))^2$

[TOC] 概述文章参考：https://blog.csdn.net/weixin_42737442/article/details/99674262 文章参考：https://blog.csdn.net/fengxinlinux/article/details/86556584 文章参考：https://blog.csdn.net/xiazdong/article/details/7950084 线性回归，顾名思义，属于回归问题。既然是回归问题，那必然属于监督学习。 什么是回归问题呢？ 回归用于预测输入变量（x）和输出变量(y)之间的关系，特别是当输入变量的值发生变化时，输出变量的值随之发生的变化。回归模型正是表示从输入变量到输出变量之间映射的函数，回归问题的学习等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。 ​ 线性回归的定义是：目标值预期是输入变量的线性组合。线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。简单来说， ...

[TOC] 文章参考：https://www.cnblogs.com/baby-lily/p/10779108.html

[TOC] 概述激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。 激活函数可以把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。 激活函数的作用假若网络中全部是线性部件，那么线性的组合还是线性，与单独一个线性分类器无异。这样就做不到用非线性来逼近任意函数。 使用非线性激活函数 ，以便使网络更加强大，增加它的能力，使它可以学习复杂的事物，复杂的表单数据，以及表示输入输出之间非线性的复杂的任意函数映射。使用非线性激活函数，能够从输入输出之间生成非线性映射。 常见激活函数 sigmoid 激活函数 函数的定义为：$ f(x) = \frac{1}{1 + e^{-x}} $，其值域为 $ (0,1) $。 函数图像如下： tanh激活函数 函数的定义为：$ f(x) = tanh ...

[TOC] 概述在深度神经网络中，通常使用一种叫修正线性单元(Rectified linear unit，ReLU）作为神经元的激活函数。ReLU起源于神经科学的研究：2001年，Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型，如下图： 其中横轴是时间(ms)，纵轴是神经元的放电速率(Firing Rate)。同年，Attwell等神经科学家通过研究大脑的能量消耗过程，推测神经元的工作方式具有稀疏性和分布性；2003年Lennie等神经科学家估测大脑同时被激活的神经元只有1~4%，这进一步表明了神经元的工作稀疏性。而对于ReLU函数而言，类似表现是如何体现的？其相比于其他线性函数(如purlin)和非线性函数(如sigmoid、双曲正切)又有何优势？ 简单之美首先，我们来看一下ReLU激活函数的形式，如下图： 从上图不难看出，ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。 可别小看这个简单的操作，正因为有了这单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性。 尤其体现在深度神经网络模型(如CNN)中，当模 ...

[TOC] 概述本次介绍PReLU激活函数，方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》. PReLU激活PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下图： 如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。 有实验证明，与ReLU相比，LReLU对最终的结果几乎没什么影响。 PReLU的几点说明（1） PReLU只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同channels使用相同的ai时，参数就更少了。 （2） BP更新ai时，采用的是带动量的更新方式，如下图： 上式的两个系数分别是动量和学习率。 需要特别注意的是：更新ai时不施加权重衰减(L2正则化)，因为这会把a ...

[TOC] 概述目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。 目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分，同时目标检测也是泛身份识别领域的一个基础性的算法，对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。 Ground Truth Ground Truth(GT) 代表通过人工等方式为数据赋予的真实标签，用于训练模型与验证、测试模型性能。 Bounding Box (bbox)目标检测需要定位图像中的目标位置和类别，反映在数据上的形式就是使用矩形框框出目标区域，并标记类别标签，这就是目标检测的Bounding Box ，标注与算法输出都使用该形式，以便机器学习并对比实验结 ...

[TOC] 概述文章参考：https://github.com/scutan90/DeepLearning-500-questions/blob/master/ch08_%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B/%E7%AC%AC%E5%85%AB%E7%AB%A0_%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B.md#81-%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B5 R-CNN 使用CNN（ConvNet）对 region proposals 计算 feature vectors。从经验驱动特征（SIFT、HOG）到数据驱动特征（CNN feature map），提高特征对样本的表示能力。 采用大样本下（ILSVRC）有监督预训练和小样本（PASCAL）微调（fine-tuning）的方法解决小样本难以训练甚至过拟合等问题。 注：ILSVRC其实就是众所周知的ImageNet的挑战赛，数据量极大；PASCAL数据集（包含目标检测和图像分割等），相对较小。 R-CNN作为R-CNN系列的第一代算法 ...