情報理論とエントロピーとは？
情報理論とエントロピーとは、事象の起こりにくさを情報量として定量化する理論。確率pの事象の情報量は−log2 pビットで、その期待値が平均情報量（エントロピー）である。エントロピーはデータを可逆圧縮したときの理論的な下限を与え、符号化効率を評価する尺度になる。
じょうほうりろんとえんとろぴー
情報理論とエントロピーの意味
事象の起こりにくさを情報量として定量化する理論。確率pの事象の情報量は−log2 pビットで、その期待値が平均情報量（エントロピー）である。エントロピーはデータを可逆圧縮したときの理論的な下限を与え、符号化効率を評価する尺度になる。
情報理論とエントロピーの具体例
4種類の記号が等確率なら平均情報量は2ビットで、固定長2ビットの符号が最適になる。一方、出現確率が偏っていれば平均情報量は2ビットを下回り、ハフマン符号のような可変長符号で平均符号長を縮められる。
情報理論とエントロピーは試験でどう引っ掛けられる？
エントロピーは出現確率だけで決まり、記号の種類数だけでは決まらない。また圧縮率はエントロピーの下限を超えられないので、「どんなデータでも半分になる可逆圧縮」は原理的に存在しない。
情報理論とエントロピーと関連する用語
最終更新：2026-08-25／解説は資格暗記が独自に作成しています。 過去問の出典は各問題に記載のとおりです。