エントロピー（平均情報量）とは？
エントロピー（平均情報量）とは、事象の起こりにくさを情報量 −log2 P で測り、その期待値 H＝−ΣP log2 P を平均情報量（エントロピー）と呼ぶ。応用情報では、1記号あたり最低何ビット必要かという圧縮の理論限界を示す指標として問われる。
えんとろぴー
エントロピー（平均情報量）の意味
事象の起こりにくさを情報量 −log2 P で測り、その期待値 H＝−ΣP log2 P を平均情報量（エントロピー）と呼ぶ。応用情報では、1記号あたり最低何ビット必要かという圧縮の理論限界を示す指標として問われる。
エントロピー（平均情報量）の具体例
4種類の記号が等確率ならH＝2ビットで、固定長2ビット符号が最適になる。確率が1/2,1/4,1/8,1/8ならH＝1.75ビットとなり、ハフマン符号の平均符号長も1.75ビットでこの下限に一致する。
エントロピー（平均情報量）は試験でどう引っ掛けられる？
エントロピーは全事象が等確率のとき最大で、偏るほど小さくなる。「情報量が多い＝価値が高い」ではなく「予測しにくい」という意味であり、単位のbitも記憶容量のビットとは別概念である。
エントロピー（平均情報量）と関連する用語
最終更新：2026-08-25／解説は資格暗記が独自に作成しています。 過去問の出典は各問題に記載のとおりです。