Главная Об электрических измерениях. Достоинства и недостатки



J(x, у) = -ifix)logfix)dx +

+ ifb)[inx\y)\ogf(x\y)dx\ dy. у X

Величину

H,,,фix) = -i f(x)logf(x)dx (5.34)

назьшают априорной (безусловной) дифференциальной энтропией непрерывной величины х, а величину

диф(1>) = -i f(y)[ifix\y)loEf(x\y)dx] dy (5.35)

- апостериорной (условной) дифференциальной энтропией.

Соответственно количество информации есть разность априорной и апостфиорной дифференциальных энтропии

( >) = диф W - диф • (5-36)

Аналогично можно получить выражение

СКр у) = диф О) - диф 01) • (5-37)

Заметим, что дифференциальная энтропия зависит от того, в каких единицах выражена переменная. Разность энтропии не зависит от этого, если только единицы одинаковы.

Вьюедем еще одно выражение для количества информации, отражающее симметричность этого критерия, т. е. то, что в величине у содержится столько же информации о величине х, сколько в величине X о величине у. Как и в предьщущем случае, возьмем за основу соотношения, полученные для объектов с дискретными состояниями. Преобразуем формулу (5.25), выражающую количество информации в одиночном сообщении при наличии помех. Умножим на p(yj) числитель и знаменатель дроби под знаком логарифма:

:Г(х.. yj) = log \р (х.Iyj)р (yj)lp (х.)р (yj)] = = log \р (х., yj)lp (х.)р (yj)].

Подставим полученное выражение в (5.27):

J(x. J) = Е Е р (X.. yj) log [р (х.. yj)lp (xj) р (yj)]. j i



Далее найденную формулу применим к непрерывным величинам х и у, подвергнув их квантованию с шагом Ах = Ау, и совершим затем предельный переход при Ах -*0. Тогда получим

у) = И (х, у)1оё [f(x. y)lf(x)f(y)] dxdy. (5.38)

Во многих случаях принимаемую (воспроизводимую) величину у можно представить как сумму передаваемой (измеряемой) величины JC и некоторой помехи s:

у = X + S, (5.39)

ттричем помеха часто не зависит от дг.

В этом случае условная дифференциальная энтропия дифО!) равна безусловной энтропии помехи H(s). Покажем это. По аналогии с (5.35)

диб01х) = - J nx)[i f(y\x)\ogf{y\x)dy] dx. (5.40)

Рассмотрим выражение в квадратньк скобках под интегралом в правой части (5.40). Заменим переменную у в соответствии с (5.39). При этом dy = ds. Будем иметь в виду, что данный интеграл вычисляется дпя фиксированного значения х:

S f(y\x)logf(y\x)dy = ifix + sx)log/(x + s\x)ds. у s

Если значение х фиксировано, то условная вероятность обращается в безусловную, т. е. f(x + s\x) = /(s). Следовательно,

Sf(pc + s\x)logfix + s\x)ds = J/(s)log/(s)* = - диф(«)-s s

Тогда

Интеграл в правой части последнего выражения равен 1, поэтому дифОМ =диф()- (5.41)

Формулу (5.37) с учетом (5.41) приведем для рассматриваемого случая к виду

•(.>) дифО) -„„ф(*)- (5-42)



Предполагаем, что при вьмислении обеих энтропии - принимаемого сигнала и помехи - величины у п s выражаются в одинаковых единицах.

Если измеряемая величина х и помеха s имеют нормальные распределения, то их сумма также имеет нормальное распределение. Дифференциальная энтропия нормально распределенной величины х, вычисленная по (5.34),

диф() = (l/2)log[2neZ)(x)],

где D(x) - дисперсия величины х. Соответственно

дифО) = (l/2)log [2neD(y)] = (1/2) log { 2пе [D(x) + Л (s)] } ; диф() = (l/2)log[277e£)(s)]. Подставив зти выражения в (5.42), получим .У(х. J) = (l/2)log[/)(x) + D(s)/Dis)] =

= (l/2)log[Z)(x)/Z)(s) + 1]. (5.43)

Как известно, дисперсия сигнала пропорциональна его средней мощности, которую обозначим Р. Среднюю мощность помехи обозначим Р. Тогда

J(x. у) = (l/2)log(P/P + 1). (5.44)

Напомним, что зта формула справедлива для случая, когда помеха является аддитивной и не зависит от сигнала, а законы их распределения - нормальные.

До сих пор не учитывалось, что х есть функция времени, между тем рассматривалась передача отдельных сообщений о значениях некоторой непрерывной величины х. При этом величина J (х, у) трактовалась как среднее количество информации, содержащееся в одном принятом значении у. Подразумевалось, что усреднение проводится по множеству всех возможных значений х к у с учетом законов распределения каждой из величин отдельно и обеих вместе.

Теперь перейдем к рассмотрению передачи случайной функции времени X (t) по каналу, в котором действует случайный шум s (/). Пусть частотный спектр процесса x(t) ограничен частотой /j,p. Согласно теореме Котельникова (см. § 5.2) указанный процесс x(t) полностью определяется последовательностью ординат, взятых с интервалом Т = = 1/2/гр.



0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 [92] 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114


0.0104