情報理論

情報エントロピー

1948年、数学者クロード・シャノンが『通信の数学的理論』で提唱した概念。情報の不確実性を確率の対数で定量化し、H = −Σ p(x) log p(x) で表す。値が大きいほど情報量が多く予測困難であることを意味する。熱力学のエントロピーと構造的に同型であり、暗号・圧縮・機械学習・意思決定論の基礎をなす。