상호정보란 무엇인가요? 어떤 역할을 하나요?

간단한 소개

상호정보는 정보이론에서 유용한 정보측정법으로 하나의 확률변수에 포함된 다른 확률변수에 대한 정보의 양으로 간주할 수 있습니다. 다른 확률 변수에 대한 지식으로 인해 확률 변수의 불확실성이 발생합니다. 간단히 말해서 이는 두 이벤트 세트 간의 상관 관계입니다.

예를 들어 이미지 처리에서는 두 이미지의 유사성을 비교해야 하는 경우가 많습니다. 상호 정보는 가장 일반적으로 사용되는 방법 중 하나이며 그 핵심 아이디어는 엔트로피입니다.

엔트로피

엔트로피의 개념은 상호 정보에 유용합니다. 여기서는 엔트로피를 간략하게 소개합니다.

엔트로피는 원래 열역학에서 물질의 상태를 나타내는 매개변수였습니다. 물리적 의미는 시스템의 혼란 정도입니다. 모든 종류의 에너지가 공간에 고르게 분포될수록 엔트로피는 커집니다. 분포가 완전히 균일할 때 계의 엔트로피는 최대값에 도달하는데, 이는 이때의 계가 더욱 혼란스럽다는 것을 의미한다.

이벤트의 경우 모든 상태가 동일한 확률을 가질 때 엔트로피가 최대가 되며 이때 시스템은 어떤 상태를 취할 것인지에 대한 선호가 없으므로 혼돈의 정도가 최대입니다.

정보의 세계에서는 엔트로피가 높을수록 더 많은 정보를 전송할 수 있고, 엔트로피가 낮을수록 더 적은 정보를 전송할 수 있습니다. (정보의 양을 말합니다.)

정보 엔트로피

정보를 처리하는 과정에서 우리가 알고 있는 사건의 확실성이 높을수록 우리가 얻는 정보는 줄어듭니다. 예를 들어, 어떤 일이 반드시 일어날 것이라는 것을 안다면 우리는 다른 정보를 받지 못할 것입니다.

따라서 우리가 얻는 정보 내용의 척도는 확률 분포 P(x)에 따라 달라지므로 우리가 찾고자 하는 정보 내용 공식 h(x)는 확률에 따라 단조롭게 감소해야 하는 함수입니다. 그래서 여기서는

다음 그림과 같이 동일한 이벤트에 대해 여러 가능성이 있는 경우를 선택했습니다.

그런 다음 정보 엔트로피를 설명하는 데 사용할 수 있습니다.

위에서 언급한 기준은 설정되지 않았으며 2 e 10일 수 있습니다. 이는 단지 측정값을 나타낼 뿐 고정된 요구 사항이 없습니다.

상호 정보의 계산식은 정보 엔트로피 수준에서 다음과 같이 이해할 수 있습니다.

그 중 H(A, B)는 결합 엔트로피입니다.

상대 엔트로피

상대 엔트로피는 KL 발산이라고도 합니다. 동일한 확률 변수 x에 대해 두 개의 별도 확률 분포 P Q가 있는 경우 KL 발산(Kullback-Leibler(KL) ) 발산) 두 분포 간의 차이를 측정합니다. 다음은 Wikipedia의 상대 엔트로피에 대한 설명입니다.

기계 학습의 맥락에서 DKL(P"Q)는 종종 Q 대신 P를 사용하는 경우 얻을 수 있는 정보 이득이라고 합니다.

n은 사건의 모든 가능성입니다. KL 값이 작을수록 q 분포와 p 분포에 더 가까워집니다.

위 공식을 변형하세요:

교차 엔트로피: 교차 엔트로피는 실제로 더 넓은 상대 엔트로피의 특별한 형태입니다.

상호 정보

상호 정보는 실제로 더 넓은 상대 엔트로피의 특별한 형태입니다. (x, y) ~ p(x, y)인 경우 X와 Y 사이의 상호 정보 I(X; Y)는 다음과 같이 정의됩니다.

합산 법칙과 확률 곱의 법칙을 이용하여 상호 정보와 조건부 엔트로피의 관계는 다음과 같다는 것을 알 수 있습니다.

평균 상호 정보

평균 상호 정보가 두 가지를 특징짓는 정도 세트 간의 상관 관계. 다음과 같은 물리적 의미가 있습니다.

평균 상호 정보 = 이전의 평균 불확실성 – Y를 관찰한 후 유지된 X의 평균 불확실성.

평균 상호 정보 = Y를 받은 후 X의 평균 불확실성이 제거되는 정도.

평균 상호 정보 = Y를 받은 후 얻은 X에 대한 평균 정보량.

유니온 세트(X, Y)에서 상호 정보 I(a;b)의 확률 가중 평균을 평균 상호 정보로 정의합니다. 정의는 다음과 같습니다: