シャノンエントロピー計算機

シャノンエントロピーとは：情報の「不確実性」を測る尺度

シャノンエントロピー（Shannon Entropy） とは、1948年に「情報理論の父」クロード・シャノンによって提唱された、情報の不確実性やランダムさを数値化するための概念です。熱力学のエントロピーにヒントを得て名付けられましたが。、情報理論においては「ある情報を受け取ったときに得られる驚きの度合いの期待値」と定義されます。

例えば。、必ず「表」が出るコイン投げには不確実性がなく。、エントロピーは 0 です。しかし。、表か裏か五分五分のコイン投げは予測が最も難しく。、不確実性（エントロピー）が最大になります。現代のデジタル通信、データ圧縮、AI（機械学習）の根幹を支える。、最も重要な数学的指標の一つです。

エントロピーの数式：H(X) = -Σ P(x) log P(x)

事象 X のエントロピー H(X) は、以下の式で計算されます。

• P(xi): 各事象 i が起こる確率。
• log: 対数。底が 2 なら単位はビット、e ならナッツになります。
• 負の符号: 確率は1以下なので対数はマイナスになります。全体をプラスにするためにマイナスをかけます。

情報量の単位：ビット、ナッツ、バン

エントロピーの数値は、対数の「底」を何にするかによって単位が変わります。

• 2を底とする (bits): デジタルコンピュータの世界で標準的な単位です。「ハイかイイエか」の2択が持つ情報量に相当します。
• eを底とする (nats): 自然対数を用いた単位で。、理論物理学や統計学の研究で多用されます。
• 10を底とする (decits/bans): 10進数に基づいた情報量です。

実社会での応用：パスワード強度からAIまで

シャノンエントロピーは。、目に見えない「情報のかたまり」を扱うあらゆる分野で活躍しています。

• データ圧縮 (ZIPなど): エントロピーが高いデータ（デタラメな文字列など）は圧縮しにくく。、エントロピーが低いデータ（同じ文字の繰り返しなど）は小さく圧縮できます。エントロピーの値は。、そのデータを表現するために必要な「理論上の最小ビット数」を示しています。
• パスワードの安全性： パスワードに含まれる文字種と長さから。、エントロピーを計算します。エントロピーが高いほど。、ブルートフォース攻撃（総当たり）に耐えられる時間が長くなります。
• 機械学習（ディープラーニング）： モデルが予測する確率分布と。、実際のデータの分布のズレを測るために 「交差エントロピー（Cross Entropy）」 という概念が損失関数として使われます。

テキスト解析におけるエントロピー

ある文章のシャノンエントロピーを測ることで。、その文章の言語的な特徴を記述できます。単語の出現頻度や。、特定の文字の偏りを解析することで。、その文章がどれだけ「予測可能か（冗長か）」が分かります。一般に。、自然言語（日本語や英語）は文法や単語の偏りがあるため。、完全にランダムな文字列よりもエントロピーが低くなります。

FAQ：よくある質問

Q. エントロピーがマイナスになることはありますか？

A. 離散的な事象（コイントスなど）の場合。、確率は必ず 0 から 1 の間なので。、エントロピーは必ず 0 以上になります。連続的な分布の場合（微分エントロピー）は。、マイナスになることもあります。

Q. 最大のエントロピーはどう決まりますか？

A. すべての事象が「等確率」で起こるとき。、エントロピーは最大になります。例えば6面のサイコロなら。、すべての目が 1/6 で出るときが最も不確実です。

Q. パスワードのエントロピーは何ビット必要ですか？

A. 一般的には 80ビット以上あれば。、現在の標準的な計算機能力に対しては十分に安全だとされています。128ビットあれば。、国家レベルの攻撃にも耐えうると考えられています。

まとめ

シャノンエントロピーは。、混沌としたデータの世界に「尺度」を与えました。一見複雑に見える情報も。、このツールでエントロピーを測ることで。、どれだけの価値（驚き）があるのかを客観的に捉え直すことができます。数学的な美しさと実用性を兼ね備えたエントロピーの世界を。、ぜひ探求してみてください。