정보 측정 - 엔트로피

정보 엔트로피: 사건의 불확실성을 측정하는 데 사용됩니다. 불확실성이 클수록 엔트로피도 커집니다.

임의 변수 X에 대한 엔트로피는 다음과 같이 정의됩니다.

조건부 엔트로피: 두 개의 확률 변수 X와 Y가 있습니다. 조건부 엔트로피라고 불리는 불확실성입니다. 조건부 엔트로피의 정의는 다음과 같습니다.

상호 정보: 정보의 역할은 사건의 불확실성을 제거하는 것입니다. 상호 정보는 두 사건(X, Y) 간의 상관 관계를 측정하는 것입니다. , 사건 중 하나가 결정될 때 Y를 전제로 다른 사건 X의 불확실성을 제거하기 위해 제공되는 정보의 양입니다. 상호정보의 정의는 다음과 같습니다.

위 그림에서 빨간색 원은 사건 X의 엔트로피 H(X)를 나타내고, 파란색 원은 사건 Y의 엔트로피를 나타내며, ​​두 개의 원은 결합 엔트로피 H(X, Y)를 나타내고, 단색 부분은 조건부 엔트로피(알려진 사건으로 인한 엔트로피 감소 제외)를 나타내며, 가운데 교차점 상호 정보 I(X; Y)를 나타냅니다. 사건 X와 Y의 상관관계를 나타냅니다.

상대 엔트로피(KL 발산이라고도 함): 상대 엔트로피는 상관관계를 측정하는 데에도 사용되지만 변수의 상호 정보와는 다릅니다. 양수 값을 갖는 두 함수의 상관관계를 측정하는 데 사용됩니다. . 정의는 다음과 같습니다.

KL 발산은 비대칭입니다. 즉:

참조:

"수학의 아름다움" Wu Jun .