Contents
概要
エントロピーは、系の熱力学的状態または情報的不確実性を表す量である。熱力学では dS=dQ/T で定義され、孤立系では単調増加する(第二法則)。統計力学ではボルツマンにより S=k log W と再定式化され、Wは系の巨視状態に対応する微視状態の数、kはボルツマン定数を表す。
1948年、クロード・シャノンが通信理論における不確実性の尺度として情報エントロピー H=−Σp log p を定義し、物理的概念が情報的概念と形式的に一致することが明らかになった。
発見の背景
19世紀、熱機関の効率研究からカルノーが可逆過程の概念を導き、クラウジウスが1865年に「変化」を意味するギリシャ語 tropē から「エントロピー」という語を造った。
ボルツマンは1870年代に気体分子運動論を展開し、マクロな熱力学量が分子の統計的振る舞いから導出されることを示した。墓石に刻まれた S=k log W は、巨視物理学と微視物理学の架け橋として記念碑的である。ただし、当時は原子論自体が議論の対象で、ボルツマンは晩年に孤立し自殺した。
20世紀に入り、ギブスの定式化、フォン・ノイマンの量子エントロピー、シャノンの情報エントロピーと展開し、生命の秩序維持(シュレーディンガー『生命とは何か』)、ブラックホールのベッケンシュタイン・ホーキング・エントロピー、機械学習における交差エントロピーまで、普遍的概念となった。
意義
エントロピーは、物理・情報・経済・生命を貫く抽象量として、20世紀思想の中核概念の一つとなった。
時間の一方向性(時間の矢)、通信路の容量、統計的推論の基礎、機械学習の損失関数——いずれもエントロピーの変奏である。自然科学と工学、哲学と情報学を横断する語彙として、現代リーダーが理解すべき概念の筆頭にある。
現代への示唆
組織エントロピーの可視化
組織の例外処理、ドキュメントの散逸、コミュニケーションパスの複雑化——これらは組織のエントロピー増大である。エントロピー低下には外部エネルギーが必要という原理は、リファクタリングやリストラクチャリングへの投資の必然性を示す。
情報エントロピーと意思決定
シャノンのエントロピー H は選択の不確実性を測る。意思決定に必要な情報量を H で概算することで、「あと何を知れば決められるか」が定量化できる。会議を重ねるより、不確実性が高い項目を特定して解消するほうが速い。
秩序と流れ
生命体は外部から低エントロピー源(食物・光)を取り込み、高エントロピー(熱)を排出して秩序を維持する。企業も外部から価値を取り込み、内部秩序として再編し、廃熱を社会に戻す開放系である。閉じた組織はエントロピー的に死に向かう。
関連する概念
参考
- 田崎晴明『統計力学I』培風館、2008
- E.シュレーディンガー『生命とは何か』岩波文庫、2008
- P.W.アトキンス『エントロピーと秩序』日経サイエンス社