엔트로피 정보량 계산기

엔트로피 정보량 계산기 사용법

이 계산기는 여러 범주의 확률 분포를 바탕으로 평균적인 불확실성과 정보량을 계산합니다. 범주별 확률을 백분율로 입력하면 Shannon 엔트로피, 입력한 범주 수에서 가능한 최대 엔트로피, 그리고 최대값 대비 비율을 함께 확인할 수 있습니다.

범주를 2개만 사용하는 경우에는 범주 1과 범주 2만 입력하고 나머지는 비워 두면 됩니다. 범주별 확률의 합은 반드시 100%가 되어야 합니다.

계산 방법

각 범주의 확률을 0과 1 사이의 값으로 변환한 뒤 Shannon 엔트로피를 계산합니다. 확률이 고르게 분포할수록 엔트로피가 커지고, 한 범주에 확률이 집중될수록 엔트로피가 작아집니다.

입력한 범주 수가 $n$개라면 균등한 확률 분포에서의 최대 엔트로피는 다음과 같습니다.

현재 분포가 최대 엔트로피에 얼마나 가까운지는 다음 비율로 계산합니다.

계산 예시

• 상황 1: 네 범주의 확률이 각각 25%라면 모든 범주가 균등하므로 엔트로피는 2 bits이고 최대 엔트로피 대비 비율은 100%입니다.
• 상황 2: 세 범주의 확률이 50%, 25%, 25%라면 엔트로피는 약 1.5 bits, 최대 엔트로피는 약 1.585 bits, 최대 대비 비율은 약 94.6%입니다.
• 상황 3: 두 범주의 확률이 90%, 10%라면 한 범주에 확률이 집중되어 엔트로피는 약 0.469 bits가 됩니다.

사용 시 주의사항 및 활용 팁

• 본 계산기 결과는 확률 분포의 불확실성을 나타내는 참고용 수치입니다.
• 확률은 백분율로 입력하고 합계가 100%가 되는지 확인해 주세요.
• 최대 엔트로피는 입력한 범주 수를 기준으로 합니다. 분석 대상에 포함할 범주라면 확률이 0%여도 입력하는 것이 좋습니다.
• 데이터 분석이나 머신러닝에 적용할 때는 표본 수, 추정 오차, 범주 정의가 결과에 영향을 줄 수 있습니다.
• 엔트로피의 단위인 bits는 로그의 밑을 2로 사용했을 때의 정보량 단위입니다.