Probability

$0 \le P(A) \le 1$
$P(\Omega) = 1 \mid \Omega = \text{total sample space}$
$\text{When }A_1, A_2, \cdots, A_n \text{ are independent}$
- $P(A_1 \cup A_2 \cup \cdots \cup A_n) = P(A_1) + P(A_2) + \cdots + P(A_n)$

Bayes Theorem

用於條件互調
已知
$\begin{aligned} P(A \cap S) &= P(A\mid S)P(S) \\ &= P(S\mid A)P(A) \end{aligned}$
所以
$\begin{aligned} P(S\mid A)P(A) &= P(A\mid S)P(S) \\ \Rightarrow P(S\mid A) &= \frac{P(A\mid S)P(S)}{P(A)} \end{aligned}$
另外已知
$\begin{aligned} P(A) &= P(A \cap S) + P(A \cap \bar{S})\\ &= P(A\mid S)P(S) + P(A\mid\bar{S})P(\bar{S}) \end{aligned}$
最終的 Bayes theorem formula
$P(S\mid A) = \frac{P(A\mid S)P(S)}{P(A\mid S)P(S) + P(A\mid\bar{S})P(\bar{S})}$

\begin{aligned} P(S\mid A) &= \frac{P(A\mid S)P(S)}{P(A\mid S)P(S) + P(A\mid\bar{S})P(\bar{S})} \\ &= \frac{0.09 \cdot 0.2}{0.09 \cdot 0.2 + 0.07 \cdot 0.8}\\ &= 0.24 \end{aligned}

Expectation
求取一組 Discrete Random Variables $X$ 的期望 (均值)
- 將所有 X 的值和對應機率相乘後求和，也會用 $\mu$ 表示
- $E(X) = \sum_x x\cdot P(X=x)$
Variance
衡量一組數據變化幅度
- $Var(X) = E((X-\mu)^2) \mid \mu = E(x)$
- 也可以寫成
- $Var(X) = E(X^2) - E(X)^2$
Variance 有一些性質
1. $Var(X+b) = Var(X)$
2. $Var(aX) = a^2Var(X)$
3. $Var(aX+b) = a^2Var(X)$

有一個 X = 2 ramdom variables $\{0, 1\}$
兩個變數是 independent
假設取 1 的機率有 P
X 期望值為
$\begin{aligned} E(X) &= \sum_x x\cdot P(X=x) \\ &= 1 \cdot P + 0 \cdot (1-P) \\ &= P \end{aligned}$
X 的 Var 為 $(x = x^2)$
$\begin{aligned} Var(X) &= E[X^2] - E[X]^2 \\ &= E[X] - E[X]^2 \\ &= P - P^2 \\ &= P(1-P) \end{aligned}$

\begin{aligned} E(XY) &= \sum_x \sum_y xyP(X=x, Y=y) \\ &= \sum_x \sum_y xyP(X=x)P(Y=y) \\ &= \sum_x xP(X=x) \sum_y yP(Y=y) \\ &= E(X)E(Y) \end{aligned}

\begin{aligned} Var(X+Y) &= E((X+Y)^2) - E(X+Y)^2 \\ &= E(X^2+2XY+Y^2) - (E(X) + E(Y))^2 \\ &= E(X^2) + E(Y^2) + 2E(XY) \\&\,\,\,\,\,\,- E(X)^2 - E(Y)^2 - 2E(X)E(Y) \\ &= E(X^2) -E(X)^2 + E(Y^2) - E(Y)^2 \\ &= Var(X) + Var(Y) \end{aligned}

通常是 $n$ 次成功率 $P$ 的實驗，他成功的次數
success in $n$ independent Bernoulli trials
若 X 符合二項分布，記為 $X \sim \text{Binomial}(n, P)$
第 x 次實驗的機率寫為
$P(X=x) =\binom{n}{x}P^x(1-P)^{n-x} \mid \text{for } x = 1, 2, \cdots, n$

\begin{aligned} E(X) &= E(\sum_{i=1}^n X_i) \\ &= E(X_1 + X_2 + \cdots + X_n) \\ &= E(X_1) + E(X_2) + \cdots + E(X_n) \\ &= \sum_{i=1}^n E(X_i) \\ &= \sum_{i=1}^n P \\ &= nP \end{aligned}

\begin{aligned} Var(X) &= Var(\sum_{i=1}^n X_i) \\ &= Var(X_1 + X_2 + \cdots + X_n) \\ &= Var(X_1) + Var(X_2) + \cdots + Var(X_n) \\ &= \sum_{i=1}^n Var(X_i) \\ &= \sum_{i=1}^n P(1-P) \\ &= nP(1-P) \end{aligned}

事件在時間 $T$ 發生 $\lambda$ 次
- 期望在該時間的發生次數是 $E(X) = \lambda T$
用微分想像 $T$ 有 $n$ 個時段， $n \rightarrow \infin$ 的每個微小時段都發生一次事件
- 每個微小時段可視為一個 Bernoulli (有發生或沒有發生)
- 整個 $T$ 發生事件可視為 Binomial distribution
若 $X$ 代表一次事件發生經過的所有時間段
當 X 符合泊松分佈時
$X \sim \text{Poisson}(\mu = \lambda T)$
the probability function of a Poisson distribution
$P(X = x) \rightarrow \frac{\mu^x}{x!}e^{-\mu}$
Expectation of poisson
$E(X) = \mu$
Variance of poisson
$Var(X) = \mu$

給定範圍 [a, b] 且 a < b，那麼一個隨機連續變量 X 的機率將滿足
$P(a \le X \le b) = \int_a^b f(x) dx$
- 這稱為概率密度方程 (probability density function, PDF)
- 在 a ∼ b 區間內的積分，就是這個連續變量在這個區間內取值的概率
整個範圍的面積等於 1
$\int_{-\infty}^\infty f(x) dx = 1$
- Expectation
  $E(X) = \int_{-\infty}^\infty x\cdot f(x)dx$
- Variance
  $Var(X) = \int_{-\infty}^\infty(x-\mu)^2f(x)dx$

當數據 X 符合 normal distribution，通常會用 exp 和 var 來描述
$X \sim N(\mu, \sigma^2)$
他的 probability density function 可表示為
$f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{(-\frac{(x-\mu)^2}{2\sigma^2})}$
Expectation $E(x) = \mu$
Variance $Var(x) = \sigma^2$

Normal distribution with $\mu = 0, \sigma^2 = 1$ 時稱之
- 記為 $Z \sim N(0, 1)$
他的 probability density function 可表示為
$f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}}$
他有 95% 的面積在 standard deviation -1.96 至 1.96 區間
任何 normal distribution 都可以正規化成 standard，利用以下公式
$Z = \frac{X-\mu}{\sigma}$

還記得兩個獨立變數的 variance 可以拆開
$Var(X+Y) = Var(X) + Var(Y)$
若兩個變數互相會影響時 :
$\begin{aligned} Var(X+Y) &= E[((X+Y) - E(X+Y))^2] \\ &= E[((X+Y)- (E(X) + E(Y)))^2] \\ &= E[(X - E(X)) - (Y - E(Y))^2] \\ &= E[(X-E(X))^2 + (Y - E(Y))^2 + 2(X-E(X))(Y - E(Y))] \\ &= Var(X) + Var(Y) + 2E[(X-E(X))(Y-E(Y))] \end{aligned}$
後面多出來的 $E[(X-E(X))(Y-E(Y))]$ 稱為 Covariance (協方差)
$Cov(X, Y) = E[(X-E(X))(Y-E(Y))]$
所以當兩變數互相影響、不為獨立時，Variance 的算法如下
$Var(X+Y) = Var(X) + Var(Y) + 2Cov(X, Y)$
注意 : Covariance 只能評價 X, Y 之間的 linear assoication
以下有一些 covariance 的 properties
- $Cov(X, X) = Var(X)$
- $Cov(X, Y) = Cov(Y, X)$
- $Cov(aX, bY) = ab Cov(X, Y)$
- $Cov(X+Y, X-Y) = Var(X) - Var(Y)$
- $X, Y \text{ independent} \rightarrow Cov(X, Y) = 0 \text{ (no vice versa)}$

Covariance 的大小波動不穩定，會被各自數值、單位影響
可以除以各自標準差 (standardization)，得到相關係數 Corr (-1 to 1)
$Corr(X, Y) = \frac{Cov(X, Y)}{SD(X)SD(Y)} = \frac{Cov(X, Y)}{\sqrt{Var(X)Var(Y)}}$

Last updated 5 years ago