나는 상당히 이상한 경로를 통해서 이 단어와 관계를 맺게 되었는데, 아무래도 관계가 좀 오래 지속될 것 같다.

이 개념은 1943년 양자 역학의 성립에 지대한 공헌을 한 물리학자 슈뢰딩거의 대중 과학서인 "What is life?" 라는 책에서 "negative entropy" 라는 이름으로 처음 사용되었다. 그는 책에서 생명체란 것은 살아가기 위해 negentropy를 얻어서 저장하는 것이라고 말한다. 이는 정보 이론 쪽에서 엔트로피라는 개념이 나오기 이전의 이야기이다.

1948년에 제안된 Shannon의 엔트로피 ( Σ p log(1/p) ) 라는 개념은 기본적으로 이산적인 확률 변수에 대한 것이다. 이는 통계 물리의 이산적인 분자 상태의 조합을 표현하는 데는 매우 유용하지만 좀 더 큰 스케일의 열역학에 적용하기는 미묘한 문제들이 생기고 - 이 부분에서는 아직도 학자들의 논쟁이 끝나지 않은 듯 싶다 - 따라서 연속적인 (또는 연속적으로 보이는) 변수들에 대한 엔트로피에 대응하는 개념이 필요하다. 하지만 Shannon의 개념을 바로 연속적인 변수에 적용하면 보통은 무한대의 값을 얻게 된다.

그래서 나온 것이 differential entropy라는 것이며, 간단히 이를 이해하면 Shannon의 엔트로피를 확장해 적용한 후에 거기서 무한대를 뺀 것이라고 할 수 있다. 수식적으로는 합을 그냥 적분 기호로 바꾸면 된다.

문제는 이 값이 원래 이산적인 엔트로피가 가지던 좋은 성질들을 제대로 만족하지 못한다는 것이다. 예를 들어 변수에 a라는 값을 곱하면 log|a| 만큼 변한다. 또한 음수를 가질 수도 있으며, 그 의미를 해석하는 데 상당한 문제들이 있다. 이는 연속적인 변수의 경우 그 정의역이 무한히 넓어질 수도 있고 특정 영역에서 확률 밀도 함수의 값이 1을 넘기도 한다는 데서 기인한다.

하지만 사람들은 differential entropy를 (Shannon의 entropy가 의미를 가지지만 연속 변수가 쓰이는) 다양한 공학적 분야에 그다지 그 문제점에 대해 고민하지 않고 사용하고 있다. 그냥 합을 적분으로 바꾸어서 말이다. 이는 적당히 동작하기는 하지만, 정보 이론의 근본적인 자리로 돌아가서 바라보면 넌센스라 할 수 있다.

그러면 대안이 무엇인가? 바로 negentropy이다. 정보 이론에서 negentropy의 정의는 해당 확률 변수의 differential entropy에서 그 변수와 같은 평균, 분산을 가지는 정규 분포 확률 변수의 differential entropy를 뺀 것으로 정의된다. 왜 그렇게 정의되었는지 물으면 entropy maximization 이론 쪽을 한참 헤메 다녀야 하는데, 간단하게는 같은 평균과 분산을 가지는 확률 변수들 중에서 가장 큰 differential entropy를 가지는 변수가 정규 분포이기 때문이다.

따라서 negentropy는 항상 양수이다. 또한 다양한 변수 변환에 대해 그 값이 변하지 않으며, 그 의미도 명확해서 단순히 정규 분포에서 떨어진 거리이다.

그러면 이제 다른 질문이 생긴다. Shannon의 엔트로피는 "주어진 확률 변수의 값 하나를 코딩하는 데 드는 최소한의 비트수" 라고 매우 정보스러운 의미로 해석할 수 있었다. negentropy에 대해서도 정보 이론적인 해석이 가능한가? 도대체 정규 분포에서 떨어진 거리가 어떤 의미를 가진단 말인가? 이런 질문들에 답해야 하는데, 이건 다음으로 미뤄 두려고 한다.

이쯤에서 슈뢰딩거의 정의로 되돌아가 보면 생물은 "노멀하지 않은 것을 먹고 사는 것" 으로 정의할 수 있을 것이다. 아마도 사람들이 끊임없이 새로운 것을 찾는 이유가 이것이 아닐까 싶다.