정보 엔트로피 계산 공식

정보는 매우 추상적인 개념입니다. 사람들은 흔히 정보가 많다거나 정보가 적다고 말하지만 정확히 얼마나 많은 정보가 있는지 말하기는 어렵습니다. 예를 들어, 50만 단어의 중국어 책에는 얼마나 많은 정보가 담겨 있습니까?

섀넌이 정보의 정량적 측정 문제를 해결하기 위해 "정보 엔트로피" 개념을 제안한 것은 1948년이 되어서였습니다. 정보 엔트로피라는 용어는 C입니다. 이자형. Shannon은 그것을 열역학에서 빌렸습니다. 열역학에서 열 엔트로피는 분자 상태의 무질서 정도를 나타내는 물리량입니다. Shannon은 정보 소스의 불확실성을 설명하기 위해 정보 엔트로피 개념을 사용했습니다. (추천 학습: PHP 비디오 튜토리얼)

정보 이론의 아버지인 클로드 엘우드 섀넌(Claude Elwood Shannon)은 수학적 언어를 사용하여 처음으로 확률과 정보 중복 간의 관계를 명확히 했습니다.

C. 정보 이론의 아버지인 E. Shannon은 1948년에 발표된 "A Mathematical Theory of Communication"에서 모든 정보에는 중복성이 있으며, 중복성의 크기는 각 기호(숫자, 문자 또는 기호) 단어)는 발생 가능성이나 불확실성과 관련이 있습니다.

섀넌은 열역학 개념을 끌어와 중복성을 제외한 평균 정보량을 '정보 엔트로피'라고 부르고, 정보 엔트로피를 계산하는 수식을 제시했습니다.

정보 의미

현대 정의

정보는 물질, 에너지, 정보 및 그 속성을 나타냅니다. [역위너 정보 정의]

정보는 확실성의 증가입니다. [역섀넌 정보 정의]

정보는 사물과 해당 속성 식별자의 모음입니다. 【2002년】

초기 정의

정보 이론의 창시자 중 한 명인 클로드 E. 섀넌(Claude E. Shannon)은 정보(엔트로피)를 이산적 무작위 사건이 발생할 확률로 정의했습니다.

소위 정보 엔트로피는 수학에서 다소 추상적인 개념입니다. 여기서는 정보 엔트로피를 특정 종류의 정보가 발생할 확률로 이해하는 것이 좋습니다. 정보 엔트로피와 열역학적 엔트로피는 밀접한 관련이 있습니다. Charles H. Bennett의 Maxwell의 Demon 재해석에 따르면, 정보 파괴는 되돌릴 수 없는 과정이므로 정보 파괴는 열역학 제2법칙과 일치합니다. 정보 생성은 시스템에 음(열역학적) 엔트로피를 도입하는 과정입니다. 따라서 정보 엔트로피의 부호는 열역학적 엔트로피의 부호와 반대가 되어야 합니다.

일반적으로 정보가 더 자주 등장한다는 것은 해당 정보가 더 널리 퍼지거나 더 많이 인용된다는 의미입니다. 정보 전파의 관점에서 볼 때 정보 엔트로피는 정보의 가치를 나타낼 수 있다고 생각할 수 있습니다. 이를 통해 정보의 가치를 측정할 수 있는 기준을 마련하고 지식 순환 문제에 대해 더 많은 추론을 할 수 있습니다.

계산식

H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi) ) (i=1,2,..n)

그 중 x는 확률변수를 나타내며, 이에 대응하는 가능한 모든 출력의 집합을 기호집합으로 정의하고, 확률변수의 출력은 다음과 같이 표현된다. 엑스. P(x)는 출력 확률 함수를 나타냅니다. 변수의 불확실성이 클수록 엔트로피도 커지고 이를 알아내는 데 필요한 정보의 양도 늘어납니다.

더 많은 PHP 관련 기술 기사를 보려면 PHP 그래픽 튜토리얼 칼럼을 방문하여 알아보세요!

위 내용은 정보 엔트로피 계산 공식의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!