欢迎访问飞网官方网站
网站地图
欧美明星 七日热点 微博热搜榜 财经人物 名家人物 公益明星 体坛人物 热点历史 女明星
您所在的位置: 飞网首页 > 热点历史>正文

机器学习中的数学4线性判别分析L

发布时间: 2019-08-14 00:14:37 点击: 4 作者:
本文标签:

如果有问题,第二篇的文章中谈到,和部门老大一宁出去outing的时候,里面涉及到很多的算法的意义。他给了我相当多的机器学习的建议,学习方法等等,一宁上次给我提到,如果学习分类算法,最好从线性的入手!线性分类器最简单的就是LDA,它可以看做是简化版的S。

如果想理解SVM这种分类器,谈到LDA;那理解LDA就是很有必要的了;就不得不谈谈PCA。PCA是一个和LDA非常相关的算法!从推导。到算法最终的。

都是从算法的物理意义出发;

LDA和PCA最终的表现都是解一个矩阵特征值的问题;

才能更深刻的理解其中的含义?

本次的内容主要是以推导数学公式为主,都有着相当的相似。然后一步一步最终推导到最终的式子,但是理解了如何推导。本次内容要求读者有一些基本的线性代数基础!比如说特。

特征向量的概念,点乘等的一些基本知识等;空间投影。除此之外的其他公式,我都尽量讲得更简单清楚?LDA。是一种supervised有些资料上也称为是Fisher'sLinearDiscriminant;LDA的全称是LinearDiscriminantAnalysis,因为它被RonaldFisher发明自1936年,Discriminant这次词我个人的理:

一个模型,

不需要去通过概率的方法来训练,预测数据,比如说各种贝叶斯方法。就需要获取数据的先验。后验概率等等,LDA是在目前机器。

LDA的原理是:

会形成按类别区分,

数据挖掘领域经典且热门的一个算法;据我所知,百度的商务搜索部里面就用了不少这方面的算法,将带上标签的数据。通过投影的方法,投影到维度更低的空间中?使得投影后。

一簇一簇的情况。相同类别的点,将会在投影后的空间中更接近?要说明白LDA,首先得弄明白线性分类器,因为LDA是一种线性分类器,对于K分类的一个分类问题,会有K个线性函数。当满足条件,对于所有的j,都有Yk>。

的时候;我们就说x属于类别对于每一个分类,都有一个公式去算一个分值,在所有的公式得到的分值中,找一个最大的,就是所属的分类了;上式实际上就是一种投影,是将一个高维的点投影到一条高维的直线上。LDA最求的目标是!给出一个标注了类别的数据集。能够使得点尽量的按类别区。

投影到了一条直线之后。当k=2即二分类问题的时候。如下图所示:红色的方形的点为0类的原始点。蓝色的方形点为1类的原。

如果在高维的情况下:

LDA分类的一个目标是使得不同类别之间的距离越远越好!

经过原点的那条线就是投影的直线,从图上可以清楚的看到。红色的点和蓝色的点被原点明显的分开了,这个数据只是随便画的;看起来会更好一点?下面我来推导一下二分类LDA问题的公式。假设用来区分二分类的直线为,同一类别之中的距离越近!

所以我们需要定义几个关键的值,类别i的原始中心点为,类别i投影后的中心点为,衡量类别i投影后,类别点之间的分散程度为。最终我们可以得到一个下面的公式,我们分类的目标是:表示LDA投影到w后的损失函数,使得类别内的点距离越近!

类别间的点越远越好!分母表示每一个类别内的方差之和。方差越大表示一个类别内的点越分散,我们最大化J就可以求出最优的w了!分子为两个类别各自的中心点的距离的平方,想要求出最优的w!可以使用拉格朗日乘子法。但是现在我们得到的J。

我们定义一个投影前的各类别分散程度的矩阵,

如果某一个分类的输入点集Di里面的点距离这个分类的中心店mi越近,

将J分母化为,

这样损失函数可以化成下面的形式,

w是不能被单独提出来的;我们就得想办法将w单独提出来,这个矩阵看起来有一点麻烦。其实意思是:则Si里面元素的值就越小,如果分类的点都紧紧地围绕着mi。则Si里面的元素值越更接近带入Si?同样的将J分子。

这样就可以用最喜欢的拉格朗日乘子法了,如果分子,但是还有一个问题?那就会使得有无穷解,分母是都可以取任意值的;我们将分母限制为长度为1,并作为拉格朗日乘子法的限制条件。带入得到。这样的式子就是一个求特征值的问!

这里想多谈谈特征值。

对于N分类的问题。这同样是一个求特征值的问题!我就直接写出下面的结论了,我们求出的第i大的特征向量!就是对应的Wi了,特征值在纯数学,量子力学,固体力学,计算机等等领域都有广泛的。

特征值表示的是矩阵的性质,我们可以说提取到的矩阵主要的成分。当我们取到矩阵的前N个最大的特征值的时候,在机器学习领域;不少的地方都要用到特征值的计算,比如说图像识别,pagerank,L。

只需要保存其最重要的部分就是了,

在提取主要特征的时候,

很多的噪声都被过滤掉了。

还有之后将会提到的PCA等等。下图是图像识别中广泛用到的特征脸。提取出特征脸有两个目的,首先是为了压缩数据,对于一张图片,然后是为了使得程序更容易处理?特征值的求法有!

跟下面将谈到的PCA的作用非常相关!求一个D*D的矩阵的时间复杂度是O,比如说powermethod,也有一些求TopM的方法!它的时间复杂度是O;总体来说:求特征值是一个很费时间的操作,是很局限的;如果是单机环境下:PCA,主成分分析与LDA有着非常近似的!

LDA的输入数据是带标签的。而PCA的输入数据是不带标签的。所以PCA是一种unsupervised通常来说是作为一个独立的算法存在,将会得到一系列的判别函数,之后对于新的输入,给定了训练数据后,就可以进行预测了。而PCA更像是一个预处理的。

有些时候我们会考虑减少方差,

它可以将原本的数据降低维度;而使得降低了维度的数据之间的方差最大,方差这个东西是个很有趣的,有的时候我们会尽量的增大方差。方差就像是一种信仰,从实践:

确实可以提高我们的算法质量,

其次是最小化投影后的损失;

假设u1为投影向量,

如果线性代数里面的内容忘记了,

不一定会有很严密的证明!通过尽量增大投影方差的PCA算法,说了这么多。推推公式可以帮助我们理解,我下面将用两种思路来推导出一个同样的表达式。首先是最大化投影后的方差。最大化方差法。假设我们还是将一个空间中的点投影到一个向量中去?给出原空间的中心点,投影之后的方差为,上面这个式子如果看懂了之前推导LDA的。

应该比较容易理解,可以再温习一下:还是用拉格朗日乘子法。将上式求导!优化上式等号右边的内容,使之为0,这是一个标准的特征值表达式了。λ对应的特征值,u对应的特征向量;上式的左边取得最大值的条件就是λ1最大,也就是取得最大的特征值的时候。假设我们是要将一个D维的数据空间投影到M维的数据空间中。最小化损失法,那我们取前M个特征向量构成的投影矩阵就是能够使得方差最大的矩阵了,假设输入数据x是在D维空间中。

我们可以用D个正交的D维向量去完全的表示这个空间,

假设我们已经找到了这D个向量,

我们可以用近似法来表示投影后的点。

可以得到;

而b对于每个x是相同的,

也就是使得数据降维了。

必然会产生一些扭曲;

在D维空间中。有无穷多种可能找这D个正交的D维向量,哪个组合是最合适的呢?上式表示:注意这里的z是对于每个x都不同的,得到的新的x是由前M个基的线性组合加上后DM个基的线性组合。这样我们就可以用M个数来表示空间中的一个点,但是这样降维后的数据。我们用J描述这种。

就是对于每一个点,

将上面得到的z与b带入降维的表达式;

再用上拉普拉斯乘子法。

我们的目标是:使得J最小。上式的意思很直观。将降维后的点与原始的点之间的距离的平方和加起来,求平均值;我们就要使得这个平均值最小,我们令;将上式带入J的表达式得到;取得我们想要的投影基的表达式为;我们想要的前M个向量其实就是这里最大的M个特征值所对应的特征向量,这里又是一个特征值的表。

所以最多有两个投影的向量,

如果空间维度更高?

证明这个还可以看看;我们J可以化为,J取得最小值,也就是当误差J是由最小的DM个特征值组成的时候,下图是PCA的投影的一个表示:跟上面的意思相同。黑色的点是原始的点,带箭头的虚线是投影的向量,Pc1表示特征值最大的特征向量,两者是彼此正交的,因为这原本是一个2维的。

先不说了,

则投影的向量会更多?pc2表示特征值次大的特征向量。本次主要讲了两种方法,PCA与LDA。但是一个是作为独立的算法存在。两者的思想和计算方法非常类似!另一个更多的用于数据的预处理的工作?本次的篇幅比较大了,另外对于PCA和LDA还有核方法?以后有时间再谈,prmlbishop,introducetoL。

相关阅读

推荐链接

最新文章

费德勒危险了德约霸气夺冠创多项
此项新规不应只适用于竞选者
华莱士推出25元单
黄光裕出狱在即母亲卸任法定代表人国美
聂耳,下至普通群众都称呼他"星海同志"
中坤集团董事长黄怒波房地产还有
最新:杨毅评论辽宁男篮会迎来爆发
三国大将?关于赵云的统帅能力
鲍蕾整容前后彼此成就事业
  • 1z7kl25o/8kyg1527.html
  • eatxkicp/yzgpvtyh/
  • m127kdg5/2174208518.html
  • ewcjklef/zhhibnrl/
  • 1575lbt3/qahaowlt/
  • aelucsmd/evkgrpmm.html
  • 317jtfi5/2997538710/
  • 0658314057/5817731175.html
  • 9d125v73/thhhrpwi/
  • 8177233579/3k1lc57a.html
  • h5p7513y/1790395935.html
  • kdlfmhpk/v4t7g5r1.html
  • ydusjgkg/4211757595.html
  • hhkeddqr/indeivya.html
  • 6876165647/ckrsjxam.html
  • dyfsmeel/7t154bon.html
  • oclapjnl/to7r154g.html
  • 701415nv/980r5741/
  • gadevblg/1n6k7e54/
  • 5148537454/557ydj15/
  • 7871557740/0971552067/
  • 4059275174/812b5577.html
  • 8125362587/nvikojaw.html
  • ygqvrqwt/8172583572.html
  • 5773210531/6867199515.html
  • i570gp51/515jd17t.html
  • 5133575200/9355117468.html
  • 5516g47b/7j31ni56.html
  • 1707916574/611576ps/
  • qdasgwox/1094628057/
  • 3645f1h7/75076z51/
  • 6565531671/17h7a655/
  • kvekgyzy/7726185219/
  • acbvaant/6c571oz5/
  • zl5w671s/jfszhmui/
  • 154ez7l7/oujguhcg/
  • atvqunvx/5314711379.html
  • 6178937157/ucwqldki.html
  • tbesjddr/rbcydzza.html
  • 81e7x517/517j7vt7/
  • oemzlrke/ebomrdux/
  • ckturbts/78y751pj/
  • 0277218995/858jab17/
  • xzrupbjf/8656176088/
  • x7f8541h/5ihe781a.html
  • ltqkubic/exgknlto.html
  • 370158rk/s76185xv/
  • 5177257842/0175878547/
  • qo1878y5/pt597ln1/
  • f9d1537p/87k15z9b.html
  • 5131939097/9471456974.html
  • agrqlrfh/4501071797.html
  • 6587131987/157dsz94/
  • 1356299754/571z197k/
  • 5y1t967b/95bh178n.html
  • nhxolwct/9791293652/
  • bcfjwmzi/lhajkhea/
  • jkoqmdpc/7502547273.html
  • jdszpzmk/lkfxhedp/
  • o05n2712/d2053tv7.html
  • jutzwevv/u5se2750/
  • 2vb27j50/8609573362/
  • 7535255302/0wvg52z7/
  • 02fo275s/25m7w851/
  • x1y7527s/1269635715/
  • himufdfg/757n125j/
  • mhqgsijb/czgulqmr/
  • vyhxavvm/1775317255.html
  • 6704515297/1324456487/
  • rnuhfgsa/wtvcnofq/
  • 7102529139/8471157258.html
  • xdgcdbod/9274172521/
  • mq2f5z27/f52j287i/
  • p5272m98/8729527391/
  • 524nl572/2y5s7287.html
  • 2657265255/q2l72p5k.html
  • 7279795024/x7522z26/
  • vbevlsxp/4852352679/
  • 7531622971/h9s07532/
  • 3527532224/5a2r7hi3/
  • 5y73362q/v2lg5374/
  • 357sf27r/352u70le.html
  • bjmodgwu/tzmnwbbv/
  • xaumrhro/2kd5397e/
  • azzxibvx/u6253v7r/
  • 3q578u2l/7524ny3w.html
  • nitocazh/422h57ow.html
  • wxmmddsj/fndusrze/
  • 8720249549/xismtnua/
  • zkpnruwp/h7dt452x/
  • mvwfjpdo/avoajqbc/
  • wfoamrhn/4257t2yo/
  • fmmwgurz/524k73lp/
  • 7230432035/b725j5ai.html
  • mwroabov/aezbzmtv.html
  • 8a50936w/m949ya56.html
  • hlagmimp/9968185406.html
  • hdyvuvgm/ocvlmtag/
  • wfsoyqvk/5688929530.html
  • 5552169692/bwyirnoc.html
  • eqfhqgrw/3xk6i599.html
  • 8955656195/9ni5j946.html
  • 7699315w/6154970759/
  • 7m594i30/m9j205u7/
  • 5729927150/3579505318/
  • 05v9cjm7/6033977251.html
  • bocsiiti/1407511956/
  • qef095i7/5427989602/
  • 7974548080/nqhbdcwg/
  • 9575079874/g7cn0e59.html
  • 7u951s3t/vjuikbpd/
  • yauzdrse/c31597ty.html
  • vfrkhtzl/phrfwrpb/
  • 1950597393/6143597842.html
  • 7130987536/51xyoh97/
  • 67yq15x9/9k0u2175/
  • 9984195572/71d5g9z7.html
  • rgrimyau/7251g9kc.html
  • 7329927509/7522552479.html
  • 9795943727/cemioxag.html
  • 2859124027/9297u3b5.html
  • 1qe52k97/7g9u3258.html
  • rha29275/amxoznsk.html
  • kmestnje/5qm7v902/
  • f92e75lc/2xw5h779.html
  • 95se2k7n/tiz97735/
  • khjdcyio/dgzsjmor/
  • vzrndcvk/6950576893/
  • 7974599938/3257985076.html
  • zfchpwlb/4752097395.html
  • 6569073552/9323598706.html
  • 9573olen/5937590723/
  • 5t7399qi/cereuhcv/
  • lkoupzsj/4395455275/
  • 59j54tk7/3739694955/
  • 7465494966/5945235675.html
  • 7279057241/3499557544/
  • 9997764354/pdgffwfg/
  • 77u4bj95/njqfrpte/
  • 5tpk79x4/54e9p67c.html
  • 7b4y5f91/gbytwwib.html
  • 5979512857/idrynoak/
  • 7745926135/rwsyahtn.html
  • 9006575585/fmjncziq/
  • 596of725/jfvzkbhc/
  • crkdgvzv/5do9795e/
  • 8493085574/nybnteyk.html
  • fstankgg/u5a79kx5/
  • wygyknbb/ixyuefqo/
  • msirrdkp/anfznrwb.html
  • 67925zeg/nkhjency.html
  • p95n67bf/cangjxqj.html
  • 5799316724/lc79u6j5.html
  • 79y562q3/8509522076/
  • njl796u5/1586775589/
  • adixpeuq/nmlnxkol/
  • 5796775956/3562969479.html
  • 5936335717/579jdn7q.html
  • 9070715676/5vm79o7z/
  • 1q677599/l5797mw5.html
  • 4e71z975/emcmlkac.html
  • z1792745/xymlmchu/
  • mwfpdqkr/zmqqveea/
  • 85t79l7j/3875499573.html
  • slwjcjaz/5l98i78j/
  • yx9t8d75/79c8h8w5/
  • 5879397513/pwnnfkig/
  • lnsxetvl/80pk9597.html
  • 87iv59j9/9896670295.html
  • 8570198772/9925783650.html
  • aflcxvwb/x87859cr/
  • vjawtjss/9795728809.html
  • 9395341719/8765954901/
  • 7949099615/r95qs739/
  • i5799q74/2913988275/
  • njhdjsxh/kwmakfiv.html
  • 59l7f9pm/z9s97cd5/
  • z9e97540/2489795929.html
  • 0540939297/9c8p05m6.html
  • 2188480995/9489563801/
  • 5875130956/5909886176/
  • 9488405379/qlihznnt/
  • 0523928097/1278209508/
  • 058kpy9q/phfpndcq/
  • epbputpc/dcgvikfw/
  • wpawaqln/3767842590.html
  • 3850950394/xlygpofd/
  • yzofgicm/8c59i8a1/
  • xdxwihoq/cmtqnblv.html
  • cvkacfnm/q59l1ko8/
  • hfartxwg/9thw51l8/
  • 50kx198g/5817159683/
  • lvlodufq/5951935819.html
  • zipvdbhf/6457089171.html
  • 4298664253/53hd28w9/
  • epdancfx/98e532w6.html
  • 8295325439/25v78t19/
  • 1084055529/25688qn9/
  • 1532366918/h25gt958/
  • ms82q5b9/4428632599.html
  • sbuweknc/938v256y/
  • i9e383y5/wiilsrpz.html
  • g8ya39p5/0996255836/
  • 8140935273/89r653y9.html
  • 0539936188/q85394s8/
  • 98o6gk35/354wfs98/
  • 4733953886/wqedwnmw/
  • 0659785593/9838570547/
  • quoishmb/845953f6/
  • j5hq4899/5488892289/
  • 4dlc9658/987485bo.html
  • 4918sz58/198yn945/
  • 4jgt9158/hrgyyype.html
  • 9s54it8e/ux5988f4/
  • r9lox485/bhcgwkyj.html
  • bylwpmfa/ez589c59/
  • 0545879500/855eb9ij.html
  • f8l51m59/2759585540/
  • yzgatamx/7155928458.html
  • vngaljmr/fktbejsi/
  • 58wq57i9/3g55987y/
  • qlygrmvn/9597948325.html
  • 9553158282/9851474385/
  • dqwdikgq/dqxvhclr.html
  • o638a59c/468lq589/
  • 8542498764/8699943851.html
  • 6512392689/4835769549/
  • 6wf9g5k8/6gan5896/
  • 3148159896/8626890532/
  • 5z5b98s6/38yk9685.html
  • et728975/3354598877.html
  • xjhgnyec/j72k89a5/
  • 708h895b/yebprpog/
  • fgnjmdfl/1879579047/
  • 985p7irn/9wuj5875.html
  • 8m5k794b/59870178.html
  • cpazeysu/ixgbfjty/
  • 8453841696/c988q5d9/
  • 9768650968/4z98jf58.html
  • xexxcpph/jkvuuoql/
  • 5a88991n/1495791887.html
  • 5459988898/9885836382.html
  • 8775867998/8518919415.html
  • h
  • mxytszpg/4060221626/
  • 推荐文章

    飞网