【专题前言】

额。。突然有想法搞这么个专题呢，首先，重中之重，我“被选”了这门课（虽然我也挺想学的），其次，早上老板跟我说我要好好学这门课，因为马上有个任务需要这门课的知识，再者，由于上课老师讲的过于纯数学，我在课堂上的集中力本身就是只有5左右，所以课上大部分听不懂外加走神，都是课后研究的，结果呢，网上这些讲解的资料大部分不是ppt就是paper，想象本科多好，要什么知识不懂，上网一搜，别人会用各种理解方式给你讲解，不再是课本那种公式派了，so,决定随着课堂进行，整理一下自己的见解和理解，方便将来瞄一下，也说不定可以拯救到和我之前一样迷途的骚年少女们~以上，前言！！

专题一：充分统计量
还是先吐槽一下课堂上的讲解，作为我研究生的第一堂课，我兴冲冲地，以绝对饱满的精神来听课，然后老师很直接，听我讲课课后不看上3遍书，你考试一定挂！！然后马上什么开场白都没有就开始讲充分统计量。。。这玩意儿我本科概统课上好像出现过？？不管，反正我忘了，结果呢，老师就一直在推导怎么算充分统计量，然后就说符合这个式子的就是充分统计量，那些推导我是听懂了，但是充分统计量是干什么用的，充分是什么意思，老师说充分统计量就是包含了数据的未知参数的所有信息的一个统计量，我们可以用这个充分统计量直接代替我们获得的数据。。。纳尼，神马状况，完全不知道你在讲什么。。或许是我悟性太低。。然后就回宿舍看书呗，自己啃了半天，额。。。老师没讲错，很精辟，但是没讲清楚而已。。。吐槽完毕。。

为什么会有充分统计量这个概念呢？？假设我们有一个系统，他会按照一定的pdf（概率分布函数）生成一些数据（或者说我们实验得到这些数据）,但是呢，我们对这个概率分布函数不是完全了解，比如说我们只知道数据的分布规律是正态分布，方差是1，但是均值不知道。然后呢，充分统计量是干嘛的呢，就是说我们计算出这个充分统计量，那么对于这个分布函数的规律，我们已经掌握了，也就是说不再需要那一些数据了。

再卖一下关子，比如说伯努利实验（课本一般都是这个例子。。），他会生成一个0,1序列，我们知道每次试验它有Θ的概率（1≥Θ≥0）出现1,1-Θ的概率出现0，然后呢，现在我们做了N实验，得到一个长度为N的0,1序列，显然因为这个是由某个特定的pdf生成的，但是这个实验中我们有个参数不知道，Θ，那么怎么知道这个实验中的参数呢？大家都知道怎么做啦，做足够大规模的实验（N很大），然后用出现1的次数/N就是Θ的估计值了，而且极限定理告诉我们，N→∞时Θ会无比精确。但是假设我们是在一个机器上做的实验，由另外一个机器计算出Θ来，通信的时候难道我们要把整个01序列传过去？？不用，因为我们只要在做实验的机器上算出整个0,1序列的和，传这么一个数过去就行了，原本需要传N个bits的，现在只要传ln₂N个bits就可以了。

有人说这个我当然能理解啦，但是这个实验你可以凭直觉很容易看出所谓的“充分统计量”是什么，因为这个实验很简单，基本和均匀分布是一个等级的难度。。但是如果概率函数复杂一点呢？？或者说未知的参数很多很多呢？？你确定你还能用肉眼看出来？？

决定了，继续用伯努利实验来讲，现在我们知道充分统计量是t=∑x_n,书上说，对于充分统计量，我们计算下式这个条件概率：f(x|t),会发现它和Θ无关（如果你完全没学过这门课，只是来这篇博文看热闹的，那要说明一下，这个粗体的x是我们得到的数据，比如在这个伯努利实验中表示假设我们知道了N个数的和是t了，那么出现这个特定序列x的概率是多少，说白了就是x = [x₁ x₂ x₃…x_N]）。

老师说，如果t是充分统计量，那么他一定符合上面讲的那个规律，但是我觉得啊，正是因为满足了这个关系，才可以称之为充分统计量。

先扯远一点，说一下信息熵这个东西，信息熵是用来表征信息量的，我们知道一个事件发生的概率越低，这个事件的信息熵越大。因为出现概率越低，我们就越不确定，那么当这件事发生的时候我们获得的信息量就越大，如果这件事必然发生，那么当它发生的时候我们并没有获得任何信息量，因为我们一开始就知道了。然后就涉及到一个条件信息熵这个东西，比如说H（Y|X），表达什么意思呢，就是说在X时间发生的情况下Y发生之后我们所获得的信息量，显然这个信息量绝对没有H（Y）大。比如说今天20%概率会下雨，如果我们看到蜻蜓低飞，那么我们会觉得下雨的概率更大了。如果我们看到今天下雨了，那么今天下雨的概率有多大呢，那必然就是100%了。。（囧）。

回到之前那个东西，也可以用相似的方法来理解，如果t是充分统计量，则f(x|t)与Θ无关，我们知道通过f(x|t)我们可以知道在t一定的情况下出现x的概率是多少，也就可以知道t一定的情况下出现x后我们获得的新的信息量是多少(取个倒数，再取个对数即可),那现在突然告诉我们这个条件概率与Θ无关，说明了什么？？说明了t这个“事件”已经包含了关于Θ的所有信息了！！！嗯，这个才是我想说的！！（不想做太多课本上的那些推导，没有学这门课的孩子可以自己推一推上面那个伯努利实验的这个条件概率，可以得到一个与Θ无关的结果。）

课本上说要怎么样找到这个充分统计量呢？根据Fisher什么什么定理，只要可以把f_Θ(x)写成a(x)b_Θ(t)这个两个函数相乘的形式，那么t必然就是充分统计量，所以可以看出t其实有很多种选择。本来就是嘛，只要包含了Θ的所有信息，那就是充分统计量，这么说来充分统计量根本不必是一个1维的数，想想嘛，整个序列也是一个充分统计量啊，N维的而已。

额。。好吧，其实我又懒了。。我只想说明一下要怎么去理解充分统计量而已。有了这个概念，理解后面的无偏，最小方差，完备性什么都就都很简单了。。

【完】

本文内容遵从CC版权协议，转载请注明出自http://www.kylen314.com