ется степень неопределенности сведений о них или степень неопределенности сложившегося у него образа изучаемого объекта. Имеются статистические характеристики этой степени неопределенности. Количеством информации, содержащимся в сообщении, считается разность значений цвух степеней неопределенности: 1) до получения сообщения; 2) после тюлучения сообщения.

Цри измерениях происходит отбор, передача, обработка и воспроизведение информации непрерывного характера, т. е. количественных значений различных непрерьшных физических величин. Но чтобы понять, каким образом оценивается количество информации при передаче непрерьгоных сообщений, необходимо предварительно познакомиться с оценкой количества информации в дискретных сообщениях, т. е. в сообщениях об отдельных событиях или о дискретных состояниях объектов. Информационные характеристики, найденные для дискретных сообщений, распространяются затем на непрерывные сообщения.

Количество информации в дискретньгх сообщениях. Пусть имеется объект, способный принимать конечное число дискретных состояний, пронумерованных числами от 1 до п. Предположим, что в сообщении о том, что объект находится в каком-то конкретном состоянии (/-м), содержится тем больше количества информатщи, чем более нсспредсленньпуги были сведения об объекте до получения сообщения, т. е. чем меньше была априорно известная получателю вероятность р. того, что объект примет г-е состояние. Итак, положим, что количество информации J . в данном сообщении оГфеделяется величиной Ifp.. Далее установим, какой характер должна иметь зависимость Jj. от 11р.. Эту задачу решают на основе следующих соображений.

Если некоторое сложное сообщение эквивалентно нескольким простым, взятым вместе, то количество информации, содержащееся в сложном сообщении, должно быть равно сумме количеств информации, содержащихся в каждом из простых сообщений. Поясним зто примером. Пусть одновременно рассматриваются два взаимно независимых объекта, каждый из которых может принять любое из и состояний с равной вероятностью р = Можно говорить о комбинации состояний обоих объектов. Число возможных комбинаций равно и , а вероятность любой из них ру = l/«2. В сложном сообщении о том, что в данный момент имеет место определенная комбинация состояний двух объектов (одна из возможных), содержится столько же информации, сколько в двух сообщениях: о том, что первый объект находится в г-м состоянии, а второй - в /-м. Количество информации j.„ в , сложном сообщении определяют величиной Ijp.. = и, а количество информации пp в простом сообщении определяется величиной l/p. = = = и. Требование

npl npl (5-21)

будет соблюдено только в том случае, если принять, что Cf в каждом сообщении пропорционально логарифму от

При зтом коэффициент пропорциональности и основание логарифма могут бьггь любыми. Как будет показано далее, во многих случаях удобно пользоваться двоичными логарифмами, а коэффициент пропорциональности положить равным единице. Пока для рассматриваемого примера убедимся, что условие (5.21) соблюдается независимо от основания логарифма. Действительно,

J„ = log(l/p.p = log«

Лр1 + пр2 = = = сл-

Итак, количество информации в одиночном дискретном сообщении о событии, имеющем априорную вероятность р.,

J. = log(l/p.). (5.22)

Практически интересна не эта величина, а среднее количество информации, приходящееся на одно сообщение, т. е.

.:У= 2 р. J = 2 р log -i = - 2 p.logp.. (5.23)

/= 1 1=1 Pi 1=1

Здесь усреднение вьшолнено с учетом вероятности появления каждого из сообщений: количество информации в г-м сообщении умножено на весовой коэффитщент р.

Вьфажение в правой части (5.23) характеризует в усредненном виде неопределенность состояния данного объекта. Эта величтша называется энтропией объекта. Ее принято обозначать буквой Н:

Н = - i p.\ogp.. (5.24)

Для рассмотренного случая передачи сообщения получилось, что О = = Н. Но это равенство стфаведливо лишь в том случае, когда после получения сообщения неопределенность сведений об объекте исчезает полностью, т. е. когда каждое сообщение абсолютно достоверно. Применительно к передаче информации зто означает, что сообщения не искажаются цомехами и всегда воспринимаются получателем в таком

виде, в каком они были переданы. При зтом для получателя априорная вероятность того, что объект находится в г-м состоянии, равная р., а апостериорная вероятность зтого же события после получения сообщения равна 1.

В общем случае нужно учитывать, что любое сообщение может быть искажено помехами и позтому апостериорная вероятность пребывания объекта в г-м состоянии после получения сообщения меньше единицы. По-вццимому, получаемое при зтом количество информации меньше, чем в отсутствие помех. Обозначим передаваемые сообшения Хь Xj, .... х., ... х, а принимаемые уу, y-i, у, у (в общем случае может быть т Ф ri). Пусть было передано сообщение Xj., а принято сообщение у.. Полученное при зтом частное (индивидуальное) количество информации определим как

J(x, у = log \р (xppip (х.)], (5.25)

где p(Xj-) - вероятность того, что было передано сообщение х; p(x-\yj) - условная вероятность того, что при получении сообщения

исходной его причиной была передача сообщения х..

По теореме Байеса, вероятность совместного наступления событий Xj. и yj

piXi, yj) = P(x.\yj)p(y.) = p(yj\x.)p(x.).

С учетом этого получим другое выражение, эквивалентное (5.25): J(Xj. у.) = loE[p(yj\x.)l(p(y.)] . (5.26)

При отсутствии помех (искажений) передаче х,- всегда соответствует приемjj., аш = и. При зтомр (х) = р (к,) = Рр Р (/Ijj) = Р 0,1;;)= = 1.

Тогда

ЯХ,. Vi) = l0g(l/P;).

Следовательно, формула (5.22) является частным случаем (5.25) и (5.26).

Среднее количество информации относительно передаваемых сообщений X, содержащееся в принимаемых сообщениях у, найдем, усреднив ./ (х., yj) по всем возможным значениям г и/:

т п

Лх, у) = 2 2 Pixj, у.) jiXf, yj). (5.27)

/= 1 i = 1