如何找到专业苏州网站建设公司，提供手机网站模板免费下载服务？
摘要：手机好看网站模板免费下载,专业苏州网站建设公司,天津河西做网站哪家好,产品网站建设必要性相关文章 K近邻算法和KD树详细介绍及其原理详解朴素贝叶斯算法和拉普拉斯平滑详细介绍及其原理详解决策树算法和CART决策树算法详细介绍及其原理详解线性回
手机好看网站模板免费下载,专业苏州网站建设公司,天津河西做网站哪家好,产品网站建设必要性相关文章
K近邻算法和KD树详细介绍及其原理详解朴素贝叶斯算法和拉普拉斯平滑详细介绍及其原理详解决策树算法和CART决策树算法详细介绍及其原理详解线性回归算法和逻辑斯谛回归算法详细介绍及其原理详解硬间隔支持向量机算法、软间隔支持向量机算法、非线性支持向量机算法详细…相关文章
K近邻算法和KD树详细介绍及其原理详解朴素贝叶斯算法和拉普拉斯平滑详细介绍及其原理详解决策树算法和CART决策树算法详细介绍及其原理详解线性回归算法和逻辑斯谛回归算法详细介绍及其原理详解硬间隔支持向量机算法、软间隔支持向量机算法、非线性支持向量机算法详细介绍及其原理详解高斯分布、高斯混合模型、EM算法详细介绍及其原理详解 文章目录相关文章前言一、高斯分布二、高斯混合模型三、EM算法3.1 E步骤Expectation3.2 M步骤Maximization3.3 EM算法总结前言 今天给大家带来的主要内容包括高斯分布高斯混合模型EM算法。废话不多说下面就是本文的全部内容了 一、高斯分布 小明是一所大学的老师一次考试结束后小明在统计两个班级同学的成绩 图1两个班级同学的成绩 其中橙色的是一班的成绩蓝色的是二班的成绩。但是这次同学们非常调皮都没有写上自己的名字和班级这下给小明整不会了。他想我能不能去猜一猜这些成绩里面哪些是一班的而哪些是二班的呢 图2两个班级同学没有在试卷上写自己的名字和班级 根据以往的经验大多同学的成绩都分布在平均值左右只有少数的同学考的非常好或者是非常不好我们把这种概率分布叫做高斯分布 图3高斯分布 描述高斯分布需要使用到两个参数
μ\muμ描述数据的平均值也被称为均值σ2\sigma^{2}σ2描述数据的离散程度也被称为方差 图4高斯分布的两个参数 高斯分布的概率密度公式为 P(x;μ,σ2)12πσexp(−(x−μ)22σ2)P(x;\mu,\sigma^2)\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{(x-\mu)^2}{2\sigma^2}) P(x;μ,σ2)2πσ1exp(−2σ2(x−μ)2)
二、高斯混合模型 现在我们已经清楚了什么是高斯分布那让我们再回到小明的例子 图5两个班级同学没有在试卷上写自己的名字和班级 因为这是两个班级的成绩所以小明尝试使用两个高斯分布来拟合 P(x∣γ1)12πσ1exp(−(x−μ1)22σ12)P(x∣γ2)12πσ2exp(−(x−μ2)22σ22)\begin{array}{c}P(x|\gamma_{1})\dfrac{1}{\sqrt{2\pi}\sigma_1}\exp(-\dfrac{(x-\mu_1)^2}{2\sigma_1^2})\\ P(x|\gamma_{2})\dfrac{1}{\sqrt{2\pi}\sigma_2}\exp(-\dfrac{(x-\mu_2)^2}{2\sigma_2^2})\end{array} P(x∣γ1)2πσ11exp(−2σ12(x−μ1)2)P(x∣γ2)2πσ21exp(−2σ22(x−μ2)2) 这样的模型也被称为高斯混合模型。 在这个模型里面
如果我们知道哪些点来自一班或者是来自二班那么我们就可以计算出来各自班级成绩的平均值和方差如果我们知道各自班级成绩的平均值和方差我们也可以大概猜出来哪些点是来自一班的哪些点是来自二班的 这其实是一个鸡生蛋蛋生鸡的问题 图6数据与分布的关系 如果我们有数据就可以来拟合分布如果我们有了概率分布就可以来判断数据的类别。但是问题是我们现在什么都没有应该怎么办呢
三、EM算法 根据以上分析我们现在什么数据都没有还想对成绩进行分类显然是有难度的。我们应该怎么办呢既然我们没有数据不如先做一个合适的假设来确定一部分的值。现在我们假设两个分布是这样的 图7假设的两个班级的成绩分布 而且两个类别的先验概率是相等的。需要注意的是以上这些都是假设但是由于这些假设的存在所以下式的值就是已知的量 P(γ1)P(γ2)0.5P(\gamma_{1})P(\gamma_{2})0.5 P(γ1)P(γ2)0.5
3.1 E步骤Expectation 现在我们来评估一下每个成绩点是属于哪个班级的对于第iii个数据xix_{i}xi来说 图8许多成绩点中的某一个成绩点 根据贝叶斯定理xix_{i}xi属于一班的概率是这样求的 γi1P(γi∣xi)P(xi∣γ1)P(γ1)P(xi∣γ1)P(γ1)P(xi∣γ2)P(γ2)\gamma_{i1}P(\gamma_i|x_i)\dfrac{P(x_i|\gamma_1)P(\gamma_1)}{P(x_i|\gamma_1)P(\gamma_1)P(x_i|\gamma_2)P(\gamma_2)} γi1P(γi∣xi)P(xi∣γ1)P(γ1)P(xi∣γ2)P(γ2)P(xi∣γ1)P(γ1) 上面的式子看似复杂但是其中的每一项现在都是已知的直接计算就可以了。现在已经得到了xix_{i}xi属于一班的概率那么xix_{i}xi属于二班的概率就是1减去xix_{i}xi属于一班的概率 γi2P(γ2∣xi)1−γi1\gamma_{i2}P(\gamma_{2}|x_{i})1-\gamma_{i1} γi2P(γ2∣xi)1−γi1 这样我们就可以给每一个点涂上对应的颜色来表示它们可能属于的班级 图9对于任意一个成绩点的可能属于的班级 这一步被称为E步骤Expectation可以理解为求每一个点属于每个类别的期望值。
3.2 M步骤Maximization 此时我们已经得到了每一个点属于每个班级的可能性我们就可以重新校准两个班级的高斯分布了也就是重新计算两个班级的平均值和方差 一班 μ1γ11x1γ21x1…γN1xNγ11γ21…γN1σ12γ11(x1−μ1)2…γN1(xN−μ1)2γ11…γN1\begin{array}{l}\mu_1\frac{\gamma_{11}x_1\gamma_{21}x_1\ldots\gamma_{N1}x_N}{\gamma_{11}\gamma_{21}\ldots\gamma_{N1}}\\ \sigma_1^2\frac{\gamma_{11}(x_1-\mu_1)^2\ldots\gamma_{N1}(x_N-\mu_1)^2}{\gamma_{11}\ldots\gamma_{N1}}\end{array} μ1γ11γ21…γN1γ11x1γ21x1…γN1xNσ12γ11…γN1γ11(x1−μ1)2…γN1(xN−μ1)2 二班 μ2γ12x1γ22x1…γN2xNγ12γ22…γN2σ22γ12(x1−μ2)2…γN2(xN−μ2)2γ12…γN2\begin{array}{l}\mu_2\frac{\gamma_{12}x_1\gamma_{22}x_1\ldots\gamma_{N2}x_N}{\gamma_{12}\gamma_{22}\ldots\gamma_{N2}}\\ \sigma_2^2\frac{\gamma_{12}(x_1-\mu_2)^2\ldots\gamma_{N2}(x_N-\mu_2)^2}{\gamma_{12}\ldots\gamma_{N2}}\end{array} μ2γ12γ22…γN2γ12x1γ22x1…γN2xNσ22γ12…γN2γ12(x1−μ2)2…γN2(xN−μ2)2 同时也可以更新两个班级的先验概率 一班 P(γ1)γ11…γN1NP(\gamma_1)\frac{\gamma_{11}\ldots\gamma_{N1}}{N} P(γ1)Nγ11…γN1 二班 P(γ2)γ12…γN2NP(\gamma_2)\frac{\gamma_{12}\ldots\gamma_{N2}}{N} P(γ2)Nγ12…γN2 这一步被称为M步骤Maximization可以理解为通过当前的数据求出最可能的分布参数。
3.3 EM算法 以上两个步骤合起来就是EM算法。当然算法还没有结束我们现在只是通过E和M两个步骤求出了两个班级的成绩分布的新的平均值和方差 图10两个班级新的成绩分布图像 后面的工作就是重复E和M两个步骤
E步骤根据两个班级的成绩分布更新点属于两个班级的可能性M步骤更新两个班级的成绩分布的平均值和方差 一直重复以上两个步骤直到两个成绩分布收敛不再被更新 图11收敛后的两个班级的成绩分布图像 这样我们就得到了一个还不错的分类效果 图12通过EM算法得到的分类结果 虽然和真实数据相比仍然有误差不过也可以猜的八九不离十了 图13真实的分类情况 这样通过EM算法小明的问题就可以被解决了。 总结 以上就是本文的全部内容了学习EM算法还需要一些概率论与数理统计和高等数学的相关知识所以读者最好提前温习一下。学习机器学习避免不了学习高等数学、线性代数、概率论与数理统计和矩阵论所以读者一定要好好学习这几门课程