정보량의 역사

1928년 R. 다섯. 엘. Hartley는 정보의 수량화에 대한 예비적인 아이디어를 제시했으며, 기호 값 m의 개수를 정보의 양, 즉 I=log2m으로 정의했습니다. 정보량에 대해 심도 있고 체계적으로 연구한 사람은 정보이론의 창시자인 C.였다. 이자형. 섀넌. 1948년에 Shannon은 소스에서 제공하는 기호는 무작위이며 소스에 있는 정보의 양은 소스의 정보 엔트로피로 표현되는 확률의 함수여야 함을 지적했습니다. 즉, Pi는 서로 다른 기호의 확률을 나타냅니다. 소스의 기호 유형, i= 1, 2,…,n.

예를 들어 연속 소스를 동일한 확률로 4개의 레이어, 즉 4가지 유형의 심볼로 양자화한다고 가정합니다. 이 소스의 각 기호에 의해 제공되는 정보는 Hartley의 공식 I=log2m=log24=2bit와 일치해야 합니다. 본질적으로 Hartley의 공식은 동일한 확률에 대한 Shannon의 공식의 특별한 경우입니다.

기본 내용 실제 정보 소스는 대부분 메모리 시퀀스 소스입니다. 모든 시퀀스의 확률적 특성을 숙지한 후에만 소스 내 한 심볼의 평균 엔트로피 HL(U)을 계산할 수 있습니다(L은 심볼입니다. 일반적으로 시퀀스 소스를 단순한 1차 동질적 에르고딕 마르코프 확률로 축소하면 계산이 어렵습니다. 순회 소스의 안정적인 확률 Pi를 얻을 수 있으며 Pi에서 HL(U)을 얻을 수 있습니다. Pji는 그림 1과 같습니다.

H(U|V)를 조건부 엔트로피라고 합니다. 즉, 이전 기호 V를 알 때 다음 기호 U의 불확실성입니다.

정보의 양과 정보 엔트로피 사이에는 개념적 차이가 있습니다. 수신자가 기호를 수신하기 전에 전송했는지 여부를 판단하는 것은 불가능합니다. 통신의 목적은 수신자가 이를 제거할 수 있도록 하는 것입니다. 이는 기호를 수신한 후 소스에 대한 의심(불확실성)이 0이 된다는 것을 의미합니다. 이는 수신자가 발신자의 소스로부터 정보를 얻는 양이 상대적인 양(H(U)-0)임을 나타냅니다. 정보 엔트로피는 소스 자체의 통계적 특성을 설명하는 물리량으로, 수신기 유무에 관계없이 소스에서 생성되는 기호의 평균 불확실성을 나타냅니다.

소스에 있는 다른 기호 V에서 기호 u의 정보를 얻습니다.

수량은 상호 정보로 표현될 수 있습니다. 즉,

I ( U; V) = H (U)-H(U|V)

V를 수신한 후에도 소스 기호 U에 대해 여전히 의심(불확실성)이 있음을 나타냅니다. 일반적으로 말하면

I(U;V. )≤H(U)

즉, 획득한 정보의 양은 소스에서 제공하는 정보 엔트로피보다 작습니다.

연속 소스는 무한한 값을 가질 수 있습니다. 출력 정보의 양은 무한하지만, 상호 정보는 두 엔트로피 값의 차이인 상대적인 양입니다. 이와 같이 연속적이거나 불연속적인 소스에 관계없이 수신자가 얻는 정보의 양은 여전히 ​​정보의 모든 특성을 유지합니다.

정보의 도입은 의사소통, 정보 및 관련 학문이 정량적 분석을 기반으로 하여 관련 이론의 확립과 발전을 보장합니다.