Contents
概要
情報エントロピー（Information Entropy）は、情報の不確実性・意外性を定量化する概念である。数学者クロード・シャノン（Claude Shannon, 1916–2001）が1948年の論文『通信の数学的理論（A Mathematical Theory of Communication）』で提唱した。
確率変数 X がとりうる状態に対し、それぞれの確率を p(x) とするとき、エントロピー H は以下で定義される。
H(X) = −Σ p(x) log₂ p(x)
単位はビット（対数底が2の場合）。H の値が大きいほど、次に何が来るかを予測しにくい——すなわち情報量が多い。すべての事象が等確率のとき H は最大になり、ある事象が確率1で確定するとき H = 0 になる。
熱力学エントロピーとの接続
情報エントロピーの式は、物理学者ルートヴィヒ・ボルツマンが19世紀に定式化した熱力学のエントロピー概念と構造的に同型である。熱力学エントロピーが物理系の「乱雑さの度合い」を測るのに対し、情報エントロピーは記号系の「不確かさの度合い」を測る。
シャノン自身、この命名について数学者ジョン・フォン・ノイマンに相談したと伝えられる。フォン・ノイマンは「統計力学でも誰もその意味を理解していないから、議論で常に優位に立てる」と冗談交じりに答えたとされる。
両者の対応は形式的な類比にとどまらず、情報圧縮・統計力学・量子情報理論を結ぶ橋渡しとして機能している。シャノンの定式化は、物理的な現象と抽象的な記号処理が同一の数理構造を共有することを示した点で、20世紀科学の転換点のひとつに数えられる。
主な応用領域
情報エントロピーの概念はきわめて広い領域に浸透している。
データ圧縮では、エントロピーが圧縮の理論的下限（シャノン限界）を与える。ZIP や JPEG に使われるハフマン符号はこの限界に近づくよう設計された符号化方式である。暗号理論では、鍵や乱数の強度評価にエントロピーが用いられる。エントロピーが低い——つまり予測可能な——鍵は攻撃に弱い。
機械学習では、決定木の分岐基準として「情報利得（Information Gain）」が使われる。これはある特徴量を用いることでエントロピーがどれだけ減少するかを測る指標である。また自然言語処理では、言語モデルの評価指標パープレキシティ（perplexity）がエントロピーから派生する。
シャノンの符号化定理は「通信路の容量を超えない限り、エラーを任意に小さくしながら情報を伝送できる」ことを証明した。デジタル通信の理論的基盤はここに置かれている。
現代への示唆
1. 意思決定の「情報コスト」を見積もる
エントロピーは「選択肢が多いほど決定に必要な情報量が増える」ことを定量的に示す。経営判断において、不確実性を下げるための情報収集コストと、判断を下すタイミングとのトレードオフを考えるフレームとして機能する。追加情報がエントロピーをどれだけ削減するかという問いは、調査・会議・外部専門家活用の費用対効果を構造化する。
2. 組織の多様性と情報生産性
均一な意見のみが存在する組織はエントロピーが低い——予測可能だが硬直的である。多様な視点が混在するチームはエントロピーが高く、制御は難しいが新しい情報を生みやすい。「多様性マネジメント」の本質を情報理論で捉え直すことで、多様性のコストと便益を感情論から切り離して議論できる。
3. コミュニケーション設計
受け手にとってすでに知っていることは情報エントロピーがゼロに近く、実質的な情報を届けない。会議・プレゼン・報告書の設計において、受け手の既知情報を前提に「新しさの密度」を意識することは、伝達効率を高める実践的な指針となる。情報量のない報告は、受け手の認知資源を消費するだけで意思決定に寄与しない。
関連する概念
クロード・シャノン / 熱力学エントロピー / コルモゴロフ複雑性 / 相互情報量 / 最大エントロピー原理 / ハフマン符号 / ベイズ推定 / 情報利得
参考
- 原典: Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal, Vol. 27, 1948
- 和訳: クロード・シャノン、ウォーレン・ウィーバー『コミュニケーションの数学的理論』長谷川淳・井上光洋 訳、明治図書、1969
- 入門書: 竹内郁雄ほか監訳『情報理論の基礎』共立出版、2012