반응형 정보이론2 정보이론 : Information Theory 정보이론 : Information Theory 참조파일 : http://www.aistudy.com/control/information_theory.htmInformation Theory 정보에 관한 수학적 이론. 일상용어로서의 정보는 ＜어떤 사항에 관한 알림＞을 뜻하지만, 정보이론에서 다루는 정보는 통신·제어 시스템에서 전송·수신되는 과학이나 공학의 대상을 뜻한다. 즉 정보량이나 정보원(情報源) 에 수학적인 정의를 부여하고 통신로(通信路)의 정보전송용량, 정보원에서 발생하는 통신문(메시지)의 능률적 부호화, 예측 등을 수학적인 입장에서 연구한 것이다. 이처럼 정보를 자연과학·공학의 대상으로 연구해야 한다고 가장 먼저 제창한 사람은 Norbert Wiener 였다. 그는 제 2 차세계대전중 고사포의 제어.. 2016. 6. 8. [IT/과학] 정보이론이란 정보 이론(Information theory)은 최대한 많은 데이터를 매체에 저장하거나 채널을 통해 통신하기 위해 데이터를 정량화하는 응용 수학의 한 분야이다. 데이터의 단위인 정보 엔트로피는 보통 저장 또는 통신에 사용되는 평균적인 비트 수로 표현된다. 예를 들어 매일의 날씨 정보가 3비트의 엔트로피를 가진다면, 하루의 날씨를 평균 약 3비트로 기술할 수 있다. 정보 엔트로피는 열역학에서의 엔트로피와 크게 다르지 않은 개념으로, 정보엔트로피(정보량)가 높을수록 불확실성은 커진다. 반대로 계에서의 정보량은 불확실성의 정도이므로 불확실성이 적은 계의 정보 엔트로피(정보량)는 줄어들수 있다. 영어알파벳의 경우 모든 알파벳이 동일한 확률도 발생한다면 정보엔트로피(정보량)은 4.754887비트이지만 알파벳의 출.. 2014. 11. 22. 이전 1 다음 반응형
