熵 (統計物理學)

在經典統計力學中，由克勞修斯所早先提出的熵函數為引入概率論的統計熵；對統計熵之洞察，則於1870年由物理學家玻爾茲曼的工作導出。

吉布斯熵公式

一個系統的宏觀態是微觀態（英語：microstate (statistical mechanics)）分佈的體現。該分佈的吉布斯熵，則由以吉布斯命名的吉布斯熵公式給出。對具有離散微觀態的經典系統（即經典粒子構成的系統）而言，若設 $E_{i}$ 為第 $i$ 個微觀態的能量， $p_{i}$ 為事件「系統的能量取 $E_{i}$ 」發生的概率，則該系統的熵為

S=-k_{\text{B}}\,\sum _{i}p_{i}\ln \,p_{i}

正則狀態下的系統熵變化

一個具明確定義之溫度的系統，即與熱庫處於熱平衡狀態的系統，處於第 $i$ 個微觀態的概率由玻爾茲曼分佈給定。

外在約束之變化所引起的熵的變化為

dS=-k_{\text{B}}\,\sum _{i}dp_{i}\ln p_{i}

\,\,\,=-k_{\text{B}}\,\sum _{i}dp_{i}(-E_{i}/k_{\text{B}}T-\ln Z)

\,\,\,=\sum _{i}E_{i}dp_{i}/T

\,\,\,=\sum _{i}[d(E_{i}p_{i})-(dE_{i})p_{i}]/T

其中我們將概率的守恆性

\sum _{i}dp_{i}=0

應用了兩次。

現在，

\sum _{i}d(E_{i}p_{i})

表示系統總能量變化的期望值。

若變化之緩慢足以使系統保持於相同的微觀狀態，但是其狀態卻緩慢地（並可逆地）更改，則

\sum _{i}p_{i}dE_{i}

為系統於此可逆過程期間作功的期望值 $dw_{\text{rev}}$ 。

然而依熱力學第一定律，有

dE=\delta w+\delta q

於是

dS={\frac {\delta \langle q_{\text{rev}}\rangle }{T}}

在熱力學極限下，宏觀量的漲落相對於平均值顯得可以忽略不計；此一結果再次體現出上述給出的經典熱力學中熵的定義。

物理常數 $k_{\text{B}}$ 稱為玻爾茲曼常數，與熵類似地，有熱容量的量綱。而概率的對數是無量綱的。

此一定義對遠離平衡態的系統仍然存在意義。其它定義假定系統處於熱平衡狀態，它可以是孤立系統，又或為與環境有交換的系統。求和遍歷的微觀態的集合（與概率分佈一起）被稱為統計系綜。各類統計系綜（諸如微正則系綜、正則系綜及巨正則系綜）描述了系統與外部交換的不同組態；從孤立系統到可與環境交換能量、交換分子或改變自身體積的系統不等。對各個系綜而言，依熱力學第二定律（參見統計力學），系統的平衡態由系統與熱庫之總熵的最大化所決定。

若略去單獨粒子間狀態的相關性（或更一般地，統計不獨立性）將導致不正確的微觀態的概率分佈，從而引起熵的高估。^[1] 此種關聯乃發生於具非平凡相互作用的粒子構成的系統，即所有較理想氣體複雜的系統。

此符號 $S$ 幾乎普遍地簡稱為「熵」。它也可以用來指涉「統計熵」或「熱力學熵」而不變其涵義。注意到統計熵的上述表達式為香農熵的離散形式。馮諾依曼熵公式為吉布斯熵公式在量子力學下的擴展。

事實表明^[1]吉布斯熵等於以 $dS={\frac {\delta Q}{T}}\!$ 所表徵之經典熱機的熵。

玻爾茲曼原理

在玻爾茲曼的定義下，一個熱力學平衡系統的熵代表其可能出現的微觀狀態（或「微觀態」）的數量之測度，這些微觀狀態必須同宏觀熱力學性質（或「宏觀態」）保持一致。為求微觀態與宏觀態之理解，試考慮一容器中的氣體作為例子。在微觀尺度下，氣體由大量自由移動的原子所組成；它們偶然相互碰觸，或者與容器壁撞擊。此系統的微觀態由全體原子之位置及動量來表述；整的來說，此系統的一切物理性質由微觀態所決定。然而，因原子數量過大，故單一原子的運動細節與系統的整體行為無甚關聯。若系統處於熱力學平衡，則其可以用一些宏觀量進行充分描述；這些宏觀量稱為熱力學量，諸如總能 $E$ ，體積 $V$ ，壓強 $P$ 及溫度 $T$ 。系統的宏觀態由其熱力學量所描述。

有三點需要注意。其一，欲指定任一個微觀態，我們需要寫下一個長度不切實際的數字列表，而指定一個宏觀態只需要幾個數字（如 $E$ 、 $V$ ）。其二，然而通常的熱力學方程僅當系統處於平衡狀態時才充分描述系統的宏觀態；在非平衡的情況下，通常無法以少量變量來描述。作為一個簡單的例子，試考慮於一杯水中添加一滴食用色素。因食用色素擴散之複雜性，對這一現象的精確預測難以實踐。然而韶光易逝，該系統內各處的色彩也將趨於一致；要將其描述變得簡單得多。實際上，僅當系統處於整體熱平衡狀態時，系統的宏觀狀態才能以少量變量描述，其三，多個微觀態可以對應於單個宏觀態。實際上，對於任何給定的宏觀態，將有大量的微觀態與 $E$ 、 $V$ 等的給定值相容。

上文為熵的定義做好了準備。熵 $S$ 被定義為

S=k_{\text{B}}\ln \Omega

其中

k_{\text{B}}

為玻爾茲曼常數，以及

\Omega

為給定宏觀態對應的微觀態的數量。

當系統中所有可及的微觀態具有相同的可能性時，統計熵退化為玻爾茲曼熵。它還是在給定一組可及的微觀態（英語：microstate (statistical mechanics)）下，系統的熵最大化時所對應的組態，即信息匱乏最大化下的宏觀組態。如此一來，依熱力學第二定律，它是孤立系達到熱力學平衡時的組態。玻爾茲曼熵為正則系綜下熱力學平衡時熵的表達式。

此假設被稱為玻爾茲曼原理，被認為是統計力學——以系統組成之統計行為描述熱力學系統的學科——的基礎。結果表明， $S$ 與 $E$ 和 $V$ 同樣為熱力學量，從而成為聯繫微觀和宏觀世界的橋樑。 $S$ 的一個重要特性性質乃據其定義：因 $\Omega$ 為自然數（1,2,3,...）之故，遂 $S$ 為零或正（ $\ln 1=0$ ， $\ln \Omega \geq 0$ 。）

系綜

各類統計力學里的系綜與熵有以下聯繫：^{[需要解釋]}

S=k_{\text{B}}\ln \Omega _{\rm {mic}}=k_{\text{B}}(\ln Z_{\rm {can}}+\beta {\bar {E}})=k_{\text{B}}(\ln {\mathcal {Z}}_{\rm {gr}}+\beta ({\bar {E}}-\mu {\bar {N}}))

$\Omega _{\rm {mic}}$ 為微正則配分函數
$Z_{\rm {can}}$ 為正則配分函數
${\mathcal {Z}}_{\rm {gr}}$ 為巨正則配分函數

認識的匱乏和熱力學第二定律

我們可以視 $\Omega$ 為我們對系統狀態的認識的匱乏程度的一種量度。作為此想法的一個例子，考慮一組100枚硬幣，每枚硬幣是正面向上或反面向上。宏觀狀態由正面及反面的總數指定，而微觀狀態則由每枚單獨硬幣的正反面情況作指定。對於100枚正面或100枚反面的宏觀狀態，只有一種可能的組態，故我們對系統的認識為完整。在相反的極端情形下，如果系統的宏觀狀態為50枚正面和50枚反面，則可能有100,891,344,545,564,193,334,812,497,256（100取50）≈ 10²⁹種與之對應的微觀狀態，因此我們對這個系統的微觀狀態知之甚少。

即使系統與外部影響完全隔離，其微觀狀態也在不斷變化。氣體中的粒子不斷移動，因此在每個時刻佔據不同的位置；當它們相互碰撞或與容器壁碰撞時，它們的動量也在不斷變化。假設我們準備一個高度有序的平衡態系統。例如，將一個容器以隔板分開並在隔板的一側放置氣體，而使另一側處於真空狀態。如果我們移除隔板並觀察氣體的後續行為，我們將發現其微觀狀態根據一些混亂和不可預測的模式演變，並且就平均而論，這些微觀狀態整體將對應於比以往更加無序的宏觀狀態。氣體分子要彼此反彈以使它們保留在容器的一半中，是可能的，但是發生的概率極低。在極大可能性下，氣體會擴散並均勻地填充整個容器，達成系統新的宏觀平衡狀態。

這是一個說明熱力學第二定律的例子：

「任何孤立的熱力學系統的總熵都會隨着時間的推移而增加，接近最大值。」

自從它被發現以來，這個想法一直是大量思考的焦點，其中一些令人困惑。引起混淆的一個主要問題是第二定律僅適用於孤立的系統。例如，地球不是一個孤立的系統，因為它不斷地以陽光的形式接收能量。相比之下，宇宙可能被認為是一個孤立的系統，因此它的總熵不斷增加。（待確認。參見：熱力學第二定律#cite note-Grandy 151-21）

微觀態的計數

在經典統計力學中，由於經典系統的連續性，微觀態的數量實際上為不可數無窮大。例如，經典理想氣體的一個微觀態由全體原子的位置和動量所確定，而這些量連續地充滿於實數中間。如欲定義 $\Omega$ ，則須用將微觀態分組以致可數集之法來達成；此過程被稱為粗粒化（英語：Granularity）。在理想氣體的情況下，只要原子兩個態的位置和動量之差分別小於 $\delta x$ 和 $\delta p$ ，就計二態為同一。系 $\delta x$ 和 $\delta p$ 乃任取之故，熵並非是唯一確定的；它僅確定到相差一個常數。（正如經典熱力學定義的熵同樣確定到相差一個常數）

為避免粗粒化，可以採用H定理定義熵：^[2]

S=-k_{\rm {B}}H_{\rm {B}}:=-k_{\rm {B}}\int f(q_{i},p_{i})\,\ln f(q_{i},p_{i})\,dq_{1}dp_{1}\cdots dq_{N}dp_{N}

然而，此模糊性可以通過量子力學來解決。系統的量子態可以表示為「基」態的疊加，後者可被選擇為能量的本徵態（即量子哈密頓量的本徵態）。通常，量子態是離散的，即使它們的數量可能無限。對於具有一些指定能量 $E$ 的系統，就將 $\Omega$ 取為 $[E,E+\delta E]$ 這個宏觀小能量範圍內的能量本徵態的數量。在熱力學極限下，按上述方式定義的熵與 $\delta E$ 的選擇無關。

能斯特定理或熱力學第三定律做為一個重要的結果，表明系統在絕對零度下的熵是一個明確定義的常數。這是因為零溫度的系統處於其最低能量狀態（又稱基態），因此其熵由基態的簡併度決定。許多系統，例如晶體，具有非簡併的基態，並且（由於 $\ln 1=0$ ）這意味着它們在絕對零度下具有零熵。其他系統擁有多個最低能量狀態，並有非零的「零點熵」。例如，普通冰的零點熵為 3.41 J/(mol·K)，因為其內在晶體結構具有相同能量的多重組態（幾何不穩定性現象）。

熱力學第三定律指出絕對零度（即零開爾文）下完美晶體的熵為零。這意味着在零開爾文的完美晶體中，幾乎所有的分子運動都應該停止以達到 $\Delta S=0$ 。完美的晶體是內部晶格結構始終相同的晶體；換句話說，它是固定的和不移動的，並且沒有旋轉或振動能量。這意味着只有一種方法可以實現這種有序結構：讓結構中的每個粒子都處於適當的位置。

然而，量子諧振子方程表明即使當振動量子數為零時，分子仍然具有振動能量。這意味着無論溫度多冷，晶格都會一直振動。這符合海森堡不確定性原理，該原理指出在給定時刻無法同時準確知道粒子的位置和動量：

E_{\nu }=h\nu _{0}(n+{\begin{matrix}{\frac {1}{2}}\end{matrix}})

其中 $h$ 是普朗克常數， $\nu _{0}$ 是振動的特徵頻率，而 $n$ 是振動量子數。請注意即使 $n=0$ （零點能量）， $E_{n}$ 也不等於零。

參見

玻爾茲曼常數
構象熵（英語：Conformational entropy）
焓
混合熵
熱力學自由能
熵
熵的歷史（英語：History of entropy）
熵（經典熱力學）（英語：Entropy (classical thermodynamics)）
熵（能量擴散）（英語：Entropy (energy dispersal)）
熵（信息論）
熵（有序與無序）（英語：Entropy (order and disorder)）
Tsallis熵（英語：Tsallis entropy）
位形熵（英語：Configuration entropy）
信息論

參考文獻

^ ^1.0 ^1.1 E.T. Jaynes; Gibbs vs Boltzmann Entropies; American Journal of Physics, 391, 1965
^ E. T. Jaynes, Gibbs vs Boltzmann Entropies, American Journal of Physics 33, 391 (1965); https://doi.org/10.1119/1.1971557 （頁面存檔備份，存於互聯網檔案館）

Boltzmann, Ludwig (1896, 1898). Vorlesungen über Gastheorie : 2 Volumes - Leipzig 1895/98 UB: O 5262-6. English version: Lectures on gas theory. Translated by Stephen G. Brush (1964) Berkeley: University of California Press; (1995) New York: Dover ISBN 0-486-68455-5

[jaynes1965-1] 1.0 ^1.1 E.T. Jaynes; Gibbs vs Boltzmann Entropies; American Journal of Physics, 391, 1965

[2] E. T. Jaynes, Gibbs vs Boltzmann Entropies, American Journal of Physics 33, 391 (1965); https://doi.org/10.1119/1.1971557 （頁面存檔備份，存於互聯網檔案館）

[1]

[2]