🚀 go-pugleaf

またまた文献の紹介ではないのですが、これは証明できると思いますので。

From article <6ej1dm$s3a$2@ripspost.aist.go.jp>
	by "Kazuya Takabatake" <takahata@cniri.go.jp>

> 確率変数X_1,...,X_nがあるときA,B,Cをこれらの確率変数の任意の組(空も許す)と
> すると条件付き同時エントロピーHについて
>
> 　0<=H(A|BC)<=H(A|B)
> 
> が成立つことは初等的な証明から得られますが，逆に上の条件を満たすHを与えた
> とき，それを条件付き同時エントロピーに持つ確率変数X_1,...,X_nは存在するで
> しょうか?

C は予め fixed ではないと考えます。もし予め fixed なら、
いくらでも反例がありますので(例えば、C が A と全く同じなら、
どんな確率変数を用意しても H(A|BC) は常に 0 になり、これ以外の
値は取れません)。

n も予め fixed ではないと考えます。もし fixed ならば、例えば
B が n 個全部の確率変数を含むときは H(A|B)=0 しかあり得ませんから。
(あるいは、n を fix して A や B が fix されていないと考えることも
できますが、以下の証明法ではどちらでも同く可能です。)

まず、H(A|B) が所与の値となるような確率変数は取れますから、
H(A|BC) が所与の値となるように C とそれに含まれる確率変数が
取れればいいわけです。

C が B と同じ確率変数しか含まなければ右側の等号が、
C が A にある確率変数をすべて含めば左側の等号が成立します。
２つの確率分布を(アフィンの意味で)線形混合した確率分布は
連続的に存在しますから、エントロピー関数の連続性から
すべての中間値について所与の H(A|BC) を与える C の存在が示せます。

なお、A と B に含まれる確率変数の個数が異なるときは、例えば
余った確率変数について余らない確率変数とは独立であるように
ダミーを取ることかできますから、結果は同じです。

＃何か勘違いしていたらごめんなさい。
---
                                                    坂口