Главная Об электрических измерениях. Достоинства и недостатки



Здесь весовым коэффициентом при усреднении служит вероятность совместного наступления событий х-, Ур т. е. р(х,-, yj). Проведем некоторые преобразования:

J(x, J) = 2 S р(х., v.)log =

j i P (xo

= E S y)logpix.\y.) - X-E p(x.. yMogp(x.) =

/ i j i

= 2 pO) 2 Pix.\yj)logpix.\yj) - 2p(v.)logp(x.) 2p0x.). У / i f

Сумма условньк вероятностей p(yj\x.) отвечает условию нормирования, т. е.

г рО,.х.) = 1. /

Поэтому

:/(х, у) = 1:р(ур i:p(x.\yj)\ogp(x.\yp -

- р(х)\оЕр(х.). i

Введем обозначение

Н{х\у.) = -Ъ pix\yj)\ogp(pc\yj). (5.28)

Эта величина представляет собой условную (апостериорную) энтропию передаваемых сообщений при приеме сообщения у. Усреднение ее по всем возможным значениям у. дает среднюю условную (апостериорную) энтропию

Н(х\у) = Ър(у)Н{х\у). (5.29) /

Величина

Я(х) = -2p(X;)logp(x.) (5.30)

тфедставхшег собой безусловную (априорную) энтропию передаваемых сообщений.



с учетом (5-28) - (5.30) получим

J(pc. у) = Н(рс) -Н(х\у). (5.31)

Это означает, что в общем случае среднее количество информации относительно объекта, содержащееся в принятом сообщении, равно уменьшению средней неопределенности состояния объекта, т. е. разности безусловной и условной энтропии.

Нетрудно убедиться, что в отсутствие помех (искажений) Н(х\у) = = 0. В этом случае, как показано ранее, условные вероятности равны 1. Учитывая, что logl = О, тфидем к тому, что правые части формул (5.28) и (5.29) обращаются в нуль. Тогда среднее количество информации равно энтропии передаваемого сообщения. В общем случае Н(х\у) есть величина дезинформации, вносимой шумами.

Аналогичные преобразования можно провести, приняв за основу выражение (5.26). При зтом получим соотношение, симметричное (5.31):

J(x. у) = Н(у) - Н(у\х). (5.32)

Доказано,что всегда схфаведливо неравенство

J(x, у) > о, (5.33)

т. е. среднее количество информации не может быть отрицательной величиной.

Этого нельзя сказать о частном количестве информации, получаемой в результате однократной передачи. Значение Cf (х, yj) может оказаться и отрицательным: дезинформация, внесенная помехами, может превысить информацию, которую несет переданное сообщение. Это бывает, когда передано х, принято у. и при этом условная вероятность р {x\yj) меньше вероятности р (х.

Покажем, что применение двоичных логарифмов удобно при подсчете количества информации. Пусть объект имеет два возможных состояния. Тогда для передачи сообщений о состоянии объекта можно хфименигь элементный двухпозиционный сигнал. Если вероятности обоих состояний объекта равны между собой, т. е. р- = 1/2, то тфи пользовании двоичными логарифмами энтропия источника Я = 1. Этой же величине равно количество информации J, если в канале нет помех. В данном случае один элементарный сигнал несет одну двоичную единицу информации.

С помощью к элементарных двоичных сигналов можно передать сообщения об объекте, имеющем 2 возможных состояний. Если все эти состояния равновероятны, то каждое сообщение из к символов несет количество информации, равное к двоичным единицам. Этим объясняется удобство применения двоичных логарифмов. ,



Двоичная единица информации называется битом*.

Количество информации в , непрерывных сообщениях. Рассмотрим шформационные характеристики непрерывных сообщений. Если х непрерьшна, она имеет бесконечное множество возможных значений. Введем для нее понятие знтропии с помощью предельного перехода.

Заменим бесконечное множество значений х некоторым числом Лзначений, взятых через равные интервалы:

гдех„„„ их.,„„ -начальное и конечное значениях.

НйЧ КОН

Для к-го значения измеряемой величины получим выражение Xj = = к Ах. Вероятность появления к-го значения находим из плотности распределения/(х) по формуле р(Хд.) » /(хд.)Дх.

Это выражение тем точнее, чем меньше Дх. Энтропия квантованной величины X *

Я(х *) = - Sp(x)logp (x) Е Дх/(хр1ов /(х) Дх] =

= -Д* E/(xj.)log/(x.) - logДx 2Дх/(Хд.). к к

По условию нормирования

2Дx/(xt) = 1. к

С учетом зтого

Я(х*) - Дх 2/(хр log/(x) - log Ах. к

При Дх О первое слагаемое обращается в - J/(x)log/(x)dx:, но

второе стремится к бесконечности. Таким образом, предельный переход пока не позволил нам ввести понятие энтропии непрерывного сообщения. Однако 1фи определении количества информации для случая, когда сигнал искажен шумами (помехами), нужно из безусловной энтропии Я(х) вычесть среднюю условную Я(х). В этом случае при квантованиих иу получается, что знтропии соответствующих квантованных величин Я(х*) иЯ(х**) имеют одинаковые составляющие - logДx, которые при вычитаний взаимно компенсируются. Предельный переход при Дх ->0 дает

* Bmary digit - двоичная единица, bit - соединение начала первого слова и конца второго.



0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 [91] 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114


0.0131