Math Theory - Probability

计数基本法则
有两个试验，其中试验 1 有 m 种可能发生的结果，对应于试验 1 的每一个结果，试验 2 有 n 种可能发生的结果，则对于这两个试验来说，一共有 mn 种可能的结果。

推广的计数基本法则
一共有 r 个试验，第一个试验有 n1 种可能；对应于第一个试验的每一种试验结果，第二个试验有 n2 种可能结果；对应于头两个试验的每一种试验结果，第三个试验有 n3 种可能结果；等等。那么，这 r 个试验一共有 n1*n2*…*nr 种结果。

按随意顺序来排列字母 a,b,c。利用推广的计数基本法则，在排列中第一个位置可供选择的元素有 3 个，第二个位置可供选择的元素是剩下的两个之一，第三个位置只能选择剩下的 1 个元素，因此一共有 3*2*1=6 种可能的排列。

对于 n 个元素的排列，依据上面分析可得，一共有 n(n-1)(n-2)…3*2*1 = n!种不同的排列方式。

从 a,b,c,d,e 这 5 个元素种取 3 个组成一组，一共有多少种取法？取第 1 个有 5 种取法，取第 2 个有 4 种取法，取第三个有 3 种取法，所以考虑选择顺序的话，一共有 5*4*3=60 种取法。但是，每个包含 3 个元素的组都被计算了 3*2*1=6 次，所以，不考虑组内排序的话，组成方法数为：5*4*3/(3*2*1)=10

假设某次试验的结果是不可预测、不确定的，但是假设所有可能的结果的集合是知道的。所有可能结果构成的集合，称为该试验的样本空间，记为 S。样本空间的任一子集 E 称为事件，事件是由试验的某些可能结果组成的一个集合。如果试验的结果包含在 E 里面，那么就称 E 发生了。

上面公式说明，事件 E 发生的概率，等于在 F 发生的条件下 E 的条件概率与在 F 不发生的条件下 E 发生的条件概率的加权平均，其中加在每个条件概率上的权重就是作为条件的事件发生的概率。

下面是关于事件优势的定义：

如果，H的条件下新的证据的条件概率大于 Hc 的条件下的条件概率时，H的优势值是递增的。反之，为递减的。

下面是 3.1 公式的推广：

下面是贝叶斯公式：

如果我们把事件 Fj 设想为关于某事件的各个可能的“假设条件”，那么，贝叶斯公式可以这样理解：它告诉我们，在试验之前对这些假设条件所作的判断（即 P(Fj)），可以根据试验的结果来进行修正。

如果 X 是一个离散型随机变量，并具有分布列 p(x),那么 X 的期望(expectation)或期望值(expected value)记为 E[X]，定义如下：

也就是说，X的期望值就是 X 所有可能取值的一个加权平均，每个值的权重就是 X 取该值的概率。

已知随机变量 X 的分布列，计算 X 的函数(如 g(X))的期望：
方法 1：
g(X)本身也是一个随机变量，它有自己的分布列，通过 X 的分布列求出 g(X)的分布列，然后计算 E[g(X)]
方法 2：
当 X=x，则 g(X)=g(x),因此 E(g(X))就是 g(x)的一个加权平均，每个权重就是 X=x 的概率

设 X 的期望为μ，则 X 的方差记为 Var(X)，定义如下：
Var(X)=E[(X-μ)^2]
随机变量 X 的方差 Var(x)用于描述随机变量相对于期望值的散布程度。

• An Intuitive Guide To Exponential Functions & e https://betterexplained.com/articles/an-intuitive-guide-to-exponential-functions-e/
  

上面利用了泰勒公式将 e^x 函数展开，相关内容请参考下面链接。

• 如何通俗地解释泰勒公式？ https://www.zhihu.com/question/21149770/answer/111173412
  

书中的描述比较枯燥，不容易看懂，可以参考下面链接中内容进行理解。

• 如何理解泊松分布？ https://www.matongxue.com/madocs/858
  

• 几何随机变量
  
• 负二项分布
  
• 超几何随机变量
  
• Zipf 分布
  

随机变量 x 在[0-1]范围均匀分布。
Tips: 连续随机变量 x 取一点的概率为 0。[0,1] 范围内有无穷多个可选随机变量，所以取某一个随机变量的概率为 1/∞ = 0

随机变量 x 在[α,β]范围均匀分布

../graphics/PhysicallyBasedRendering/00_13_uniform_pdf_cdf.ggb

概率密度 类似物理中的密度，物理中的密度将体积和质量联系起来。概率密度 将随机变量的定义域和定义域对应的概率联系起来。

• 为什么连续性随机变量取一个点的概率为 0? https://www.zhihu.com/question/524776333
  
• 概率密度函数中的密度是什么意思？ https://www.zhihu.com/question/58576344
  
• 概率密度到底是啥玩意儿？ https://www.zhihu.com/question/478443994
  

• Γ 分布
  
• 威布尔分布
  
• 柯西分布
  
• Β 分布
  

任意两个随机变量 X 和 Y 的联合分布函数（joint cummulative probability distribution function）为： F(a,b) = P{X<=a,Y<=b} (-∞ < a,b < ∞)

理论上，所有有关 X 和 Y 的概率问题都可以通过其联合分布函数来解决。比如，如果需要知道 X>a 和 Y>b 的联合概率，那么可以如下计算：

当 X 和 Y 都是离散型随机变量时，X和 Y 的联合分布列(joint probability mass function)为：p(x,y) = P{X=x, Y=y}

如果存在一个对任意 x,y 定义的函数 f(x,y)，有以下性质：对任意实数对集合 C(也即 C 是两维空间里的集合)，有

则函数 f(x,y)称为 X 和 Y 的联合密度函数(joint probability density function)。
如果 A 和 B 为任意实数集，定义 C={(x,y) : x∈A, y∈B}，通过上面公式 1.3 可以得出：

从另一个角度来理解连续密度函数的定义：

n 个随机变量的联合分布：

多项分布

• 均匀分布的随机变量
  
• Γ 随机变量
  
• 正态随机变量
  
• 泊松随机变量和二项随机变量
  
• 几何随机变量
  

• 通过概率方法将期望值作为界
  
• 关于最大数与最小数的恒等式
  

• 定义
  
• 利用条件计算期望
  
• 利用条件计算概率
  
• 条件方差
  

• 多元正态分布
  
• 样本均值与样本方差的联合分布
  

• 泊松过程和泊松分布的关系？ https://www.zhihu.com/question/26795397
  

• 反变换方法
  
• 舍取法
  

一个随机过程{X(t), t∈T}是随机变量的一个集合。