拉格朗日乘数 (4)

日期：2022-03-27 栏目：程序人生浏览：次

求此离散分布的最大熵：

$f(p_1,p_2,\ldots,p_n) = -\sum_{k=1}^n p_k\log_2 p_k$

。

所有概率的总和是1，因此我们得到的约束是g(p)= 1即

$g(p_1,p_2,\ldots,p_n)=\sum_{k=1}^n p_k=1$

。

可以使用拉格朗日乘数找到最高熵（概率的函数）。对于所有的k从1到n，要求

$\frac{\partial}{\partial p_k}(f+\lambda (g-1))=0,$

由此得到

$\frac{\partial}{\partial p_k}\left(-\sum_{k=1}^n p_k \log_2 p_k + \lambda (\sum_{k=1}^n p_k - 1) \right) = 0$

。

计算出这n个等式的微分，我们得到：

$-\left(\frac{1}{\ln 2}+\log_2 p_k \right) + \lambda = 0$

。

这说明pi都相等（因为它们都只是λ的函数）。解出约束∑k pk = 1，得到

$p_k = \frac{1}{n}$

。

因此，使用均匀分布可得到最大熵的值。

参考：

https://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0