情報量とエントロピーとは？
情報量とエントロピーとは、生起確率pの事象が起きたと知ったときに得られる情報量は −log2 p ビット。全事象の情報量を確率で重み付けした平均が平均情報量（エントロピー）で、符号化の理論的下限を与える。
じょうほうりょう
情報量とエントロピーの意味
生起確率pの事象が起きたと知ったときに得られる情報量は −log2 p ビット。全事象の情報量を確率で重み付けした平均が平均情報量（エントロピー）で、符号化の理論的下限を与える。
情報量とエントロピーの具体例
確率1/2の事象は1ビット、1/8の事象は3ビットの情報量を持つ。めったに起きないことほど、起きたと知ったときの情報量が大きい。
情報量とエントロピーは試験でどう引っ掛けられる？
「起こりやすい事象ほど情報量が大きい」は逆。情報量は −log2 p なので確率が小さいほど大きい。マイナス符号を落として log2 p とすると負の値になる。またエントロピーが最大になるのは全事象が等確率のときで、偏りが大きいほど小さくなる。
情報量とエントロピーと関連する用語
最終更新：2026-08-25／解説は資格暗記が独自に作成しています。 過去問の出典は各問題に記載のとおりです。