確率変数の和と線形結合

足したり引いたりしたとき、平均とばらつきはどうなるか

できるようになること

• 確率変数の和の期待値と各期待値の和が等しくなることを説明できる
• 共分散の定義と意味を説明でき、和の分散の一般式を使える
• 線形結合 $aX + bY + c$ の期待値と分散を求められる

合計点の平均は？

国語と数学の2科目を受験する場面を考えます。 国語の点数を確率変数 $X$、数学の点数を確率変数 $Y$ として、合計点 $X + Y$ に注目してみましょう。

それぞれの平均点がわかっているとします。

$E[X] = 60, \quad E[Y] = 70$

合計点の平均はどうなるでしょうか。

答えは単純で、足すだけ です。

$E[X + Y] = E[X] + E[Y] = 60 + 70 = 130$

これは「期待値」の単元で学んだ性質です。$X$ と $Y$ が独立かどうかに関係なく、常に成り立ちます。

合計点のばらつきは？

では、合計点のばらつき（分散）はどうなるでしょうか。

「分散と標準偏差」の単元で、独立な場合は $V[X + Y] = V[X] + V[Y]$ が成り立つと学びました。

しかし、少し立ち止まって考えてみると、国語と数学の点数は本当に独立でしょうか。

• 国語が得意な人は読解力が高く、数学の文章題にも強いかもしれない
• 勉強熱心な人は両科目とも高得点になりやすいかもしれない

つまり、2つの科目の点数には 連動する傾向（一方が高いともう一方も高い）が存在し得ます。 このとき、分散の単純な足し算 $V[X] + V[Y]$ では合計点のばらつきを正しく計算できません。

この連動の度合いを数値化できれば、分散の公式に組み込めそうです。 そのための概念が 共分散 です。

共分散とは何か

共分散（covariance）は、2つの確率変数が 同じ方向にズレやすいかどうか を表す指標です。

定義は次のとおりです。

$\text{Cov}(X, Y) = E\!\left[(X - E[X])(Y - E[Y])\right]$

分散の定義 $V[X] = E[(X - E[X])^2]$ では、ズレを 2乗 して「大きさ」を測りました。 共分散では、$X$ のズレと $Y$ のズレを 掛け合わせる ことで、2つのズレが同じ方向を向いているか、逆方向を向いているかを捉えます。

符号の意味

• $X$ が平均より大きく、$Y$ も平均より大きい → 積は 正
• $X$ が平均より小さく、$Y$ も平均より小さい → 積は 正
• 一方が大きく他方が小さい → 積は 負

つまり、$X$ と $Y$ が 同じ方向にズレやすい なら共分散は正、逆方向にズレやすい なら負になります。

$\text{Cov}(X, Y) > 0 \quad \Rightarrow \quad \text{一方が大きいとき、もう一方も大きい傾向}$

$\text{Cov}(X, Y) < 0 \quad \Rightarrow \quad \text{一方が大きいとき、もう一方は小さい傾向}$

$\text{Cov}(X, Y) = 0 \quad \Rightarrow \quad \text{線形的な連動がない}$

計算に便利な公式

共分散にも、分散の計算公式 $V[X] = E[X^2] - (E[X])^2$ と同じような展開公式があります。 定義式の中の積を展開してみましょう。$\mu_X = E[X]$、$\mu_Y = E[Y]$ とおくと、

$\text{Cov}(X, Y) = E\!\left[(X - \mu_X)(Y - \mu_Y)\right]$

積を展開すると、

$= E\!\left[XY - X\mu_Y - \mu_X Y + \mu_X \mu_Y\right]$

期待値の線形性を使って項ごとに分けると、

$= E[XY] - \mu_Y E[X] - \mu_X E[Y] + \mu_X \mu_Y$

$E[X] = \mu_X$、$E[Y] = \mu_Y$ なので、

$= E[XY] - \mu_X \mu_Y - \mu_X \mu_Y + \mu_X \mu_Y = E[XY] - \mu_X \mu_Y$

したがって、次の公式が得られます。

$\text{Cov}(X, Y) = E[XY] - E[X]E[Y]$

和の分散の一般公式

共分散を使うと、$X + Y$ の分散を一般的に表せます。

$V[X + Y] = V[X] + V[Y] + 2\,\text{Cov}(X, Y)$

この公式を導出してみましょう。$\mu_X = E[X]$、$\mu_Y = E[Y]$ とおくと、

分散の定義に当てはめます。

$V[X + Y] = E\!\left[((X+Y) - (\mu_X + \mu_Y))^2\right]$

ズレをまとめると、

$= E\!\left[((X - \mu_X) + (Y - \mu_Y))^2\right]$

二乗を展開すると、

$= E\!\left[(X - \mu_X)^2 + 2(X - \mu_X)(Y - \mu_Y) + (Y - \mu_Y)^2\right]$

期待値の線形性（和の期待値 = 期待値の和）を使って項ごとに分けると、

$= E[(X - \mu_X)^2] + 2E[(X - \mu_X)(Y - \mu_Y)] + E[(Y - \mu_Y)^2]$

それぞれ分散と共分散の定義そのものなので、

$= V[X] + 2\,\text{Cov}(X, Y) + V[Y]$

独立な場合は $\text{Cov}(X, Y) = 0$ なので、$V[X + Y] = V[X] + V[Y]$ となり、「分散と標準偏差」の単元で学んだ公式と一致します。

計算例（試験の合計点）

国語 $X$ と数学 $Y$ について、次の値が与えられているとします。

$E[X] = 60,\quad V[X] = 100$

$E[Y] = 70,\quad V[Y] = 225$

$\text{Cov}(X, Y) = 60$

合計点 $S = X + Y$ の期待値と分散を求めます。

$E[S] = E[X] + E[Y] = 60 + 70 = 130$

$V[S] = V[X] + V[Y] + 2\,\text{Cov}(X, Y) = 100 + 225 + 2 \times 60 = 445$

もし $X$ と $Y$ が独立だったら $V[S] = 100 + 225 = 325$ になります。 共分散が正（同じ方向に連動する）なので、合計点のばらつきは独立の場合より 大きくなっています。

直感的にも、両科目が連動して動くなら、合計点は「両方高い」か「両方低い」に偏りやすく、ばらつきが広がるのは自然です。

線形結合への拡張

$aX + bY + c$（$a$, $b$, $c$ は定数）のような式を線形結合（linear combination）といいます。

「期待値」と「分散と標準偏差」の単元で学んだ性質を組み合わせると、期待値と分散はそれぞれ次のようになります。

$E[aX + bY + c] = aE[X] + bE[Y] + c$

$V[aX + bY + c] = a^2 V[X] + b^2 V[Y] + 2ab\,\text{Cov}(X, Y)$

計算例（国語と数学の差）

先ほどの試験の例で、国語の2倍から数学を引いた値 $T = 2X - Y$ を考えてみます。 $a = 2$, $b = -1$ として公式に代入します。

$E[T] = 2 \times 60 + (-1) \times 70 = 120 - 70 = 50$

$V[T] = 2^2 \times 100 + (-1)^2 \times 225 + 2 \times 2 \times (-1) \times 60 = 400 + 225 - 240 = 385$

差の分散

$X - Y$ の分散を知りたい場合は、$a = 1$, $b = -1$ として公式に代入します。

$V[X - Y] = V[X] + V[Y] - 2\,\text{Cov}(X, Y)$

和の場合は $+2\,\text{Cov}$、差の場合は $-2\,\text{Cov}$ になることに注意してください。 $X$ と $Y$ が独立なら $\text{Cov}(X, Y) = 0$ なので、$V[X - Y] = V[X] + V[Y]$ となります。差の分散であっても、独立であれば各分散の 和 です。

まとめ

確率変数の和や線形結合を扱うとき、期待値は単純に足し引きできます。

$E[aX + bY + c] = aE[X] + bE[Y] + c$

一方、分散には 共分散 $\text{Cov}(X, Y) = E[(X - E[X])(Y - E[Y])]$ が関わります。

$V[aX + bY + c] = a^2 V[X] + b^2 V[Y] + 2ab\,\text{Cov}(X, Y)$

$X$ と $Y$ が独立なら $\text{Cov}(X, Y) = 0$ となり、分散は単純な足し算に戻ります。 独立でない場合は、共分散の符号によって全体のばらつきが大きくも小さくもなります。