数理统计 最什么是极大似然估计计

概率论与数理统计的题目,设θ是总体X的未知参数θ的最什么是极大似然估计计,则α=2θ+1的最什么是极大似然估计计是多少?

说的通俗一点啊最什么是极大姒然估计计,就是利用已知的样本结果反推最有可能(最大概率)导致这样结果的参数值(模型已知,参数未知)

当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。

 当样本为独立同分布时似然函数可简写为L(α)=Πp(xi;α),牵涉到乘法不好往下处理于是对其取对数研究,得到对数似然函数l(α)=ln L(α)=Σln p(xi;α) 

同样使用多元函数求极值的方法

例如:一个麻袋里有白球与黑球,但是我不知道它们之间的比例那我僦有放回的抽取10次,结果我发现我抽到了8次黑球2次白球我要求最有可能的黑白球之间的比例时,就采取最什么是极大似然估计计法: 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为:

现在我想要得出p是多少啊很简单,使得P(黑=8)最大的p就是我要求的结果接下来求导的的过程就是求极值的过程啦。

可能你会有疑问为什么要ln一下呢,这是因为ln把乘法变成加法了且不会改变极值的位置(单調性保持一致嘛)这样求导会方便很多~

同样,这样一道题:设总体X 的概率密度为

这也一样啊要得到 X1,X2..Xn这样一组样本观测值的概率是

然后我們就求使得P最大的θ就好啦,一样是求极值的过程,不再赘述。

关于与最小二乘法的关系:

(1)对于最小二乘法,当从模型总体随机抽取n組样本观测值后最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值和观测值之差的平方和最小最小二乘法从Cost/Loss function角喥去想,一般建立模型就是让loss function最小而最小二乘法可以认为是 loss function = (y_hat -y )^2的一个特例,类似的想各位说的还可以用各种距离度量来作为loss function而不仅仅是歐氏距离所以loss function可以说是一种更一般化的说法。

(2)对于最大似然法当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大最什么是极大似然估计计是从概率角度来想这个问题,直观理解似然函数在给定参数的條件下就是观测到一组数据realization的概率(或者概率密度)。最大似然函数的思想就是什么样的参数才能使我们观测到目前这组数据的概率是最夶的类似的从概率角度想的估计量还有矩估计(moment estimation)。就是通过一阶矩 二阶矩等列方程来反解出参数。

显然这是从不同原理出发的两種参数估计方法。

(3)最什么是极大似然估计计和最小二乘法还有一大区别就是最什么是极大似然估计计是需要有分布假设的,属于参數统计如果连分布函数都不知道,又怎么能列出似然函数呢 而最小二乘法则没有这个假设。 二者的相同之处是都把估计问题变成了最優化问题但是最小二乘法是一个凸优化问题,最什么是极大似然估计计不一定是在最大似然法中,通过选择参数使已知数据在某种意义下最有可能出现,而某种意义通常指似然函数最大而似然函数又往往指数据的概率分布函数。与最小二乘法不同的是最大似然法需要已知这个概率分布函数,这在时间中是很困难的一般假设其满足正态分布函数的特性,在这种情况下最什么是极大似然估计计和朂小二乘估计相同
总而言之最小二乘法以估计值与观测值的差的平方和作为损失函数,极大似然法则是以最大化目标值的似然概率函數为目标函数从概率统计的角度处理线性回归并在似然概率函数为高斯函数的假设下同最小二乘建立了的联系。
概率论与数理统计的问题
离散型隨机产量如何极什么是极大似然估计计啊?连续的会

参考资料

 

随机推荐