こんにちは、らちょです。今回は情報理論についてのお話です。情報理論を学習することで情報化が 進む世の中を理解することができるので、近年情報理論を学習する方が増えてきています。
今回はそんな情報理論で最初の壁である相互情報量と通信路容量の関係性を解説していきます。また、具体的な生起確率を持つ二元対称通信路を用いて、通信路容量とどう関わってくるのかについても説明していきます。
今回、情報量やエントロピーの説明は最小限になっておりますので、詳しい解説はそのうち更新しようと思っているので、お待ちください。m(__)m
それでは本題に入っていきましょう！
相互情報量とは？
そもそも相互情報量とは何なのでしょうか。一言で説明するならば、こんな感じです。
二つの事象があったとき、一方の事象を知ることでもう一方の事象に関する情報がどれだけ 増えるかを表す量。
これだけだとまだピンと来ないと思うので、具体例を使って説明していきます。
例えば、アイスを買うという事象Yがあったとします。この時、アイスを買う確率は買うか買わないかなので、50％くらいですよね。そこで、気温が30度以上という事象Xを追加したとします。すると、気温が高い時にアイスを買う確率って上がる気がすると思いませんか？
これが相互情報量のイメージです。ある事象Yを考える際にほかの事象Xが分かっていれば、事象Yが どうなるのか決めやすくなる、すなわちYに関する情報量が増えるということです。
ちなみに事象XとYが反対でもオッケーです。アイスが良く売れるとしたら、その日は気温が高い日 というのは想像できると思います。
各種のエントロピーを使って、相互情報量I(X;Y)を式に表すと以下のようになります。
この式が表す意味としてはある情報が持つ不確かさを表すエントロピーH(Y)からXが分かっているときのYの条件付き確率に関する事後エントロピーH(Y|X)の差になっており、
二つの情報がどれだけお互いに影響を及ぼすかを表しています。
XとYの結びつきが強いほど、H(Y|X)が小さくなり、相互情報量が大きくなります。
極端な例を挙げると、例えば先ほどの例を考えると、事象Xが性別が男性の人だとします。アイスの 購入に性差は基本ありませんよね。（笑）このようなとき、H(Y)=H(Y|X)となり、相互情報量は０に なります。言い換えれば、XとYに関してお互いから得られる情報はないということです。このような とき、XとYが独立であるといえます。
また、事象Xが超アイス好きでアイスを見ると必ず買っちゃう人だとしましょう。すると、アイスを 買うかどうかが確定するので、相互情報量が多くなることがイメージできると思います。このように 事象Xを知っていれば事象Yが分かってしまうとき、H(Y|X)=0となり、相互情報量は最大値を取ります。
通信路容量とは？
相互情報量と併せてよく尋ねられるものとして通信路容量が挙げられるのですが、一体相互情報量とどういう関係があるのでしょうか。
簡単に通信路容量を表現すると、
通信路が伝送することができる最大の情報量と表すことができます。
さきほどの相互情報量は「事象Xの情報からどれだけ事象Yの情報が分かるか」というものでしたよね。ここで、少し話を広げて「事象Xに関する送信記号を通信路を介して伝送し、事象Yに関する受信記号を受信する」としましょう。図にイメージするとこんな感じになります。
通信路が何を伝送しているかと表しているかというと、結局は事象Xに関する送信記号が事象Yの
受信記号に影響を与えているので、事象Xが事象Yに関与する情報量を伝送しています。
ここで、みなさんは「あれ、さっきどこかで似たようなことを聞いたなあ。」と思うはずです。事象Xと事象Yがお互いに影響を表す情報量を相互情報量と定義しましたよね。ということは通信路は相互情報量を伝送することが分かると思います。ここまできたら通信路容量と相互情報量の関係が見えてきたかと思います。
通信路が相互情報量を伝えていることが分かったところで、通信路容量は通信路が送信できる最大の
情報量を表していましたよね。つまり、通信路容量は、相互情報量の最大値と一致します！
通信路容量をCとして式に表すと、以下のようになります。
これで通信路容量が事象Xが持つ情報量を通信路がきちんと送信できた情報量の最大値であることが
分かりました。一度、関係性を理解してしまえば覚えるのは簡単だと思います。
実際の二元対称通信路における相互情報量と通信路容量を考えよう！
相互情報量と通信路容量の関係性が分かったところで、実際にある通信路を用いて理解を深めていきましょう。また、相互情報量の最大値を求める必要が分かったけど、具体的にはどう計算すればいいのか解説していきます。
二元対称通信路とは？
今回は具体的な通信路として、二元対称通信路を考えていきます。言葉で説明するよりもまずは見た方が早いと思います。
二元対称通信路とは、その名の通り入力と出力がそれぞれ2パターンあり、通信路となる行列が対称行列となっているような通信路のことを指します。上記の通信路では、入力0が１に、入力１が０に確率pで出力されることを表しています。
行列の行の部分がが入力を指していて、列の部分が出力を指しています。例えば、1行×1列を見ると、入力０を送信したときに、０を受信する確率が1-pとなることが分かります。さきほど、通信路は入力が出力に影響を与えると述べましたが、実際に送信する記号によって受信する記号が制御されていますよね。やはり通信路が入力した事象の情報量を伝送していることが分かります！
相互情報量の求め方
それでは、実際に二元対称通信路を用いて相互情報量を求めていきましょう。
今回は具体的に数値を代入して考えていきましょう。さきほどのｐをp=1/4とします。
また、０が入力される確率をαとします。このとき、１が入力される確率はもちろん1-αです。（０や１が入力される確率を生起確率といいます。）
今回、入力（送信側）の符号系列をＸ0＝０，Ｘ１＝１、出力（受信側）の符号系列をＹ0＝０，Ｙ１＝１としいています。
相互情報量を求めるためには、下記の式からも分かるように出力記号のエントロピーと
条件付エントロピーを計算する必要があります。
- 出力エントロピーH(Y)の求め方
- 条件付きエントロピーH(Y|X)の求め方
これで、H(Y)とH(Y|X)の値が求められたので、I(X;Y)に代入していきましょう。
となります。以上から相互情報量を求めることができました！
通信路容量の求め方
ここまでで二元対称通信路における相互情報量が求められましたが、通信路容量、すなわち相互情報量の最大値はどのように求めれば良いのでしょうか。
最大値を考える上で大事になってくるのは、エントロピー関数なので、エントロピー関数について
少し解説します。
エントロピー関数は
で表されます。この式が何を表しているかというと、例えばコイントスを一回行うとしましょう。表が出る確率をｐとすると、裏が出る確率は1-pですよね？これの平均情報量を考えると、H(p)と一致することが分かります。では、エントロピー関数の最大値を考えていきましょう。今回は微分の知識を使います。
増減表を書くと、以下のようになります。
増減表からグラフを描いていきます。
グラフから分かるとおり、p=1/2でエントロピー関数が最大になり、P=0,1で最小になることが分かると思います。
p=1/2のとき、表と裏の出る確率が等しいことを表しています。表と裏が出る確率が等しいとき、表と裏どちらが出やすいか分かりませんよね？ということは
コイントスをしたときに得られる情報量が大きい、すなわち、乱雑さ（エントロピー）が高くなるのです。
逆にP=0,1のときはどうなるのでしょうか。P=0であれば、裏が出る確率は1だし、P=1であれば、表が出る確率は1となります。この時、コイントスをする意味ってないですよね。だって、
コイントスを行う前から結果が分かっているので、コイントスから得られる情報は0となります。情報量が0ということは、乱雑さ（エントロピー）も低くなってしまいます。
結局、エントロピー関数というのは、二つの事象がどちらが起こる確率が等しいときに、最大値を取るのです！
エントロピー関数の考え方を利用して、相互情報量から通信路容量を考えていきましょう。
結論からいってしまえば、α＝1/2のとき、相互情報量は最大値を取ります。さきほど、表と裏が出る確率が等しいとき、得られる情報が大きいと述べました。今回も0と1が同確率で入力されるとき、XとYに関与する情報量が最も多く送信されます。イメージとしては、0と1どちらが入力されるか分からないほうが、通信路を通った際、入力に差がないのでXとYに関しての情報の信頼度が高くなり、情報量が高くなる感じです。
ここまで感覚的に説明しましたが、ほんとにそうなるの？？って疑問の方もいらっしゃると思うので、式を使ってきちんと説明していきたいと思います。
さきほどの式から相互情報量はαに依存するので、
の最大値を求めていきます。
また、
となります。以上から今回の通信路の通信路容量は
となります。
ここまでの議論から生起確率が等しいとき、通信路容量が求められることが分かりました！今回は入力が二つのときを考えましたが、入力が3つ、4つのときも生起確率が等しいときに相互情報量は最大となります。
さいごに
これで相互情報量と通信路容量について理解が深まったのではないでしょうか。最後にまとめです。
- 相互情報量は二つの情報がどれだけお互いに影響を及ぼすか表している。
（事象Xが分かった際にどのくらい事象Yに影響するかどうか） - 通信路容量は情報量をどれだけ伝送できるかであり、通信路容量は相互情報量の最大値に
等しくなる。 - 二元対称通信路では、生起確率が等しいときに相互情報量は最大になる。
- エントロピー関数の考え方を使えば、二元に限らず入力が3つでも4つでも、生起確率が等しいときに相互情報量が最大となる。
今回の話は以上になります。相互情報量を求める問題は多く、情報理論を学ぶ中で理解が難しい箇所となっています。また、通信路を用いることで応用的な問題にも繋がるので、相互情報量と通信路容量の関係性を掴んでおくのはとても重要です。情報理論はこれからの社会で学んでおいて損はない学問なので、しっかり勉強して身につけていきましょう！
コメントや質問等あれば、お答えします！
らちょでした！それではまた次回でお会いしましょう！
情報理論はこの教科書が分かりやすいので、興味のある方はぜひ見てみてください。
また、線形代数や電子回路についても解説してます。良かったら見てみてください。
（線形代数）行列の対角化を用いた応用及び図形的な意味～行列のn乗と楕円体の方程式～ – official リケダンブログ (rikedan-blog.com)
