В дискретной системе связи при отсутствии помех информация на выходе канала связи (канала ПИ) полностью совпадает с информацией на его входе, поэтому скорость передачи информации численно равна производительности источника сообщений:

При наличии помех часть информации источника теряется и скорость передачи информации оказывается меньшей, чем производительность источника. Одновременно в сообщение на выходе канала добавляется информация о помехах (рис.5).

Поэтому при наличии помех необходимо учитывать на выходе канала не всю информацию, даваемую источником, а только взаимную информацию:

бит/с. (22)

На основании формулы (20) имеем

где H¢(x) - производительность источника;

H¢(x/y) - "ненадёжность" канала(потери) в единицу времени;

H¢(y) - энтропия выходного сообщения в единицу времени;

H¢(y/x) =H’(n) –энтропия помех (шума) в единицу времени.

Пропускной способностью канала связи (канала передачи информации) C называется максимально возможная скорость передачи информации по каналу

. (24)

Для достижения максимума учитываются все возможные источники на выходе и все возможные способы кодирования.

Таким образом, пропускная способность канала связи равна максимальной производительности источника на входе канала, полностью согласованного с характеристиками этого канала, за вычетом потерь информации в канале из-за помех.

В канале без помех C=max H¢(x) , так как H¢(x/y)=0 . При использовании равномерного кода с основанием k , состоящего из n элементов длительностью tэ , в канале без помех

,

при k =2 бит/c. (25)

Для эффективного использования пропускной способности канала необходимо его согласование с источником информации на входе. Такое согласование возможно как для каналов связи без помех, так и для каналов с помехами на основании двух теорем, доказанных К.Шенноном.

1-ая теорема (для канала связи без помех):

Если источник сообщений имеет энтропию H (бит на символ), а канал связи – пропускную способность C (бит в секунду), то можно закодировать сообщения таким образом, чтобы передавать информацию по каналу со средней скоростью, сколь угодно близкой к величине C, но не превзойти её.

К.Шеннон предложил и метод такого кодирования, который получил название статистического или оптимального кодирования. В дальнейшем идея такого кодирования была развита в работах Фано и Хаффмена и в настоящее время широко используется на практике для “cжатия сообщений”.

2-ая теорема (для каналов связи с помехами):

Если пропускная способность канала равна C, а производительность источника H’(x)C, то можно закодировать источник таким образом, что ненадёжность будет меньше, чем H’(x)-C+e, где e. – сколь угодно малая величина.

Не существует способа кодирования, обеспечивающего ненадёжность, меньшую, чем H"(x)-C.

К сожалению, теорема К.Шеннона для каналов с шумами(помехами) указывает только на возможность такого кодирования, но не указывает способа построения соответствующего кода. Однако известно, что при приближении к пределу, устанавливаемому теоремой Шеннона, резко возрастает время запаздывания сигнала в устройствах кодирования и декодирования из-за увеличения длины кодового слова n . При этом вероятность ошибки на выходе канала стремится к величине

. (26)

Cледовательно, имеет место “обмен” верности передачи на скорость и задержку передачи.

1. Что такое пропускная способность канала связи, как она определяется?
2. Чему равна пропускная способность канала связи без помех?
3. Как влияют помехи на величину пропускной способности?
4. Что утверждает теорема Шеннона для канала связи без помех?
5. Что утверждает теорема Шеннона для канала связи с помехами?

В любой системе связи через канал передается информация. Скорость передачи информации была определена в § 2.9. Эта скорость зависит не только от самого канала, но и от свойств подаваемого на его вход сигнала и поэтому не может характеризовать канал как средство передачи информации. Попытаемся найти способ оценки способности канала передавать информацию. Рассмотрим вначале дискретный канал, через который передаются в единицу времени символов из алфавита объемом При передаче каждого символа в среднем по каналу проходит следующее количество информации [см. (2.135) и (2.140)]:

где случайные символы на входе и выходе канала. Из четырех фигурирующих здесь энтропий -собственная информация передаваемого символа - определяется источником дискретного сигнала и не зависит от свойств канала. Остальные три энтропии в общем случае зависят как от источника сигнала, так и от канала.

Представим себе, что на вход канала можно подавать символы от разных источников, характеризуемых различными распределениями вероятностей (но, конечно, при тех же значениях . Для каждого такого источника количество информации, переданной по каналу, принимает свое значение. Максимальное количество переданной информации, взятое по всевозможным

источникам входного сигнала, характеризует сам канал и называется пропускной способностью канала. В расчете на один символ

где максимизация производится по всем многомерным распределениям вероятностей Можно также определить пропускную способность С канала в расчете на единицу времени (секунду):

Последнее равенство следует из аддитивности энтропии. В дальнейшем везде, где это особо не оговорено, будем под пропускной способностью понимать пропускную способность в расчете на секунду.

В качестве примера вычислим пропускную способность симметричного канала без памяти, для которого переходные вероятности заданы формулой (3.36). Согласно (3.52) и (3.53)

Величина в данном случае легко вычисляется, поскольку условная переходная вероятность принимает только два значения: , если еслн Первое из этих значений возникает с вероятностью а второе с вероятностью К тому же, поскольку рассматривается канал без памяти, результаты приема отдельных символов независимы друг от друга. Поэтому

Следовательно, не зависит от распределения вероятности В, а определяется только переходными вероятностями канала. Это свойство сохраняется для всех моделей канала с аддитивным шумом.

Подставив (3.56) в (3.55), получим

Поскольку в правой части только член зависит от распределения вероятностей то максимизировать необходимо его. Максимальное значение согласно (2.123) равно и реализуется оно тогда, когда все принятые символы равновероятны и независимы друг от друга. Легко убедиться, что это условие удовлетворяется, еслн входные символы равновероятны и независимы, поскольку

При этом и

Отсюда пропускная способность в расчете на секунду

Для двоичного симметричного канала пропускная способность в двоичных единицах в секунду

Зависимость от согласно (3.59) показана на рис. 3.9.

При пропускная способность двоичного канала поскольку при такой вероятности ошибки последовательность выходных двоичных символов можно получить, совсем не передавая сигналы по каналу, а выбирая их наугад (например, по результатам бросания монеты), т. е. при последовательности на выходе и входе канала независимы. Случай называют обрывом канала. То, что пропускная способность при в двоичном канале такая же, как при (канал без шумов), объясняется тем, что при достаточно все выходные символы инвертировать (т. е. заменить 0 на 1 и 1 на 0), чтобы правильно восстановить входной сигнал.

Рис. 3.9. Зависимость пропускной способности двоичного симметричного канала без памяти от вероятности ошибочного приема символа

Пропускная способность непрерывного канала вычисляется аналогично. Пусть, например, канал имеет ограниченную полосу пропускания шириной Тогда сигналы на входе и выходе канала по теореме Котельникова определяются своими отсчетами, взятыми через интервал и поэтому информация, проходящая по каналу за некоторое время равна сумме количеств информации, переданных за каждый такой отсчет. Пропускная способность канала на один такой отсчет

Здесь случайные величины - сечения процессов на входе и выходе канала и максимум берется по всем допустимым входным сигналам, т. е. по всем распределениям .

Пропускная способность С определяется как сумма значений Сотсч» взятая по всем отсчетам за секунду. При этом, разумеется, дифференциальные энтропии в (3.60) должны вычисляться с учетом вероятностных связей между отсчетами.

Вычислим, например, пропускную способность непрерывного канала без памяти с аддитивным белым гауссовским шумом, имеющим полосу пропускания шириной если средняя мощность сигнала (дисперсия не превышает заданной величины Мощность (дисперсию) шума в полосе обозначим Отсчеты входного и выходного сигналов, а также шума связаны равенством

н так как имеет нормальное распределение с нулевым математическим ожиданием, то и условная плотность вероятности при фиксированном и будет также нормальной - с математическим ожиданием и и дисперсией Найдем пропускную способность на один отсчет:

Согласно (2.152) дифференциальная энтропия нормального распределения не зависит от математического ожидания и равна Поэтому для нахождения нужно найти такую плотность распределения при которой максимизируется Из (3.61), учитывая, что независимые случайные величины, имеем

Таким образом, дисперсия фиксирована, так как заданы. Согласно (2.153), при фиксированной дисперсии максимальная дифференциальная энтропия обеспечивается нормальным распределением. Из (3.61) видно, что при нормальном одномерном распределении распределение будет также нормальным и, следовательно,

Переходя к пропускной способности С в расчете на секунду, заметим, что информация, переданная за несколько отсчетов, максимальна в том случае, когда отсчеты сигналов независимы. Этого можно достичь, если сигнал выбрать так, чтобы его спектральная плотность была равномерной в полосе Как было показано в отсчеты, разделенные интервалами, кратными взаимно некоррелированны, а для гауссовских величин некоррелированность означает независимость.

Поэтому пропускную способность С (за секунду) можно найти, сложив пропускные способности (3.63) для независимых отсчетов:

Она реализуется, если гауссовский процесс с равномерной спектральной плотностью в полосе частот (квазибелый шум).

Из формулы (3.64) видно, что если бы мощность сигнала не была ограничена, то пропускная способность была бы бесконечной. Пропускная способность равна нулю, если отношение сигнал/шум в канале равно нулю. С ростом этого отношения пропускная способность увеличивается неограниченно, однако медленно, вследствие логарифмической зависимости.

Соотношение (3.64) часто называют формулой Шеннона. Эта формула имеет важное значение в теории информации, так как определяет зависимость пропускной способности рассматриваемого непрерывного канала от таких его технических характеристик, как ширина полосы пропускания и отношение сигна/шум. Формула Шеннона указывает на возможность обмена полосы пропускания на мощность сигнала и наоборот. Однако поскольку С зависит от линейно, а от по логарифмическому закону, компенсировать возможное сокращение полосы пропускания увеличением мощности сигнала, как правило, нецелесообразно. Более эффективным является обратный обмен мощности сигнала на полосу пропускания.

5.1. Скорость передачи информации в дискретной системе связи

В дискретной системе связи при отсутствии помех информация на выходе канала связи (канала ПИ) полностью совпадает с информацией на его входе, поэтому скорость передачи информации численно равна производи­тельности источника сообщений:

При наличии помех часть информации источника теряется и скорость пере­дачи информации оказывается меньшей, чем производительность источ­ника. Одновременно в сообщение на выходе канала добавляется информация о помехах (рис.12).

Поэтому при наличии помех необходимо учитывать на выходе канала не всю информацию, даваемую источником, а только взаимную информа­цию:

бит/с. (5.2)

На основании формулы (5.1) имеем

где H  (x )  производительность источника;

H  (x / y )  ненадёжность “ канала(потери) в единицу времени;

H  (y )  энтропия выходного сообщения в единицу времени;

H  (y / x ) =H ’(n ) –энтропия помех (шума) в единицу времени.

Пропускной способностью канала связи (канала передачи информации) C называется максимально возможная скорость передачи информации по каналу

. (5.4)

Для достижения максимума учитываются все возможные источники на выходе и все возможные способы кодирования.

Таким образом, пропу­скная способность канала связи равна максимальной производительности источника на входе канала, полностью согласованного с характеристиками этого канала, за вычетом потерь информации в канале из-за помех.

В канале без помех C = max H  (x ) , так как H  (x / y )=0 . При использовании равномерного кода с основанием k , состоящего из n элементов длительностью  э , в канале без помех

,

при k =2
бит/c. (5.5)

Для эффективного использования пропускной способности канала необходимо его согласование с источником информации на входе. Такое согласование возможно как для каналов связи без помех, так и для каналов с помехами на основании двух теорем, доказанных К.Шенноном.

1-ая теорема (для канала связи без помех):

Если источник сообщений имеет энтропию H (бит на символ), а канал связи – пропу­скную способность C (бит в секунду), то можно закодировать сообще­ния таким образом, чтобы передавать информацию по каналу со средней скоростью, сколь угодно близкой к величине C , но не превзойти её.

К.Шеннон предложил и метод такого кодирования, который получил название статистического или оптимального кодирования. В дальнейшем идея такого кодирования была развита в работах Фано и Хаффмена и в настоящее время широко используется на практике для “cжатия сообщений”.

5.2. Пропускная способность однородного симметричного канала связи

В однородном канале связи условные(переходные) вероятности p (y 1 / x 1 ) не зависят от времени. Граф состояний и переходов однородного двоичного канала связи приведен на рис. 13.

На этом рисунке x 1 и x 2 – сигналы на входе канала связи, y 1 и y 2 – сиг­налы на выходе. Если передавался сигнал x 1 и принят сигнал y 1 , это озна­чает, что первый сигнал (индекс 1) не исказился. Если передавался первый сигнал (x 1), а принят второй сигнал (y 2), это означает, что произошло иска­жение первого сигнала. Вероятности переходов указаны на рис. 13. Если канал симметричный, то вероятности переходов попарно равны.

Обозначим: p (y 2 / x 1 )= p (y 1 / x 2 )= p э – вероятности искажения элемента сигнала, p (y 1 / x 1 )= p (y 2 / x 2 )=1- p э – вероятности правильного приёма элемента сигнала.

В соответствии с формулами (5.1) и (5.3)

.

Если сигналы x 1 и x 2 имеют одинаковую длительность  э , то
. Тогда пропускная способность канала будет равна

. (5.7)

В этой формуле maxH (y )= logk . Для двоичного канала (k= 2) maxH (y )= 1 и формула (5.4) примет вид

. (5.8)

Остаётся определить условную энтропию H (y / x ) . Для двоичного источника имеем

Подставив это значение условной энтропии в (5.8), получим оконча­тельно

. (5.9)

Для канала связи с k >2

бит/c.

На рис. 14 построен график зависимости пропускной способности двоичного канала от вероятности ошибки.

Для канала связи с k >2 пропускная способность определяется почти аналогичной формулой:

В заключении рассмотрим один пример. Пусть имеется двоичный источник с производительностью
бит/c.

Если вероятность искажения p э = 0,01, то из этого следует, что из 1000 элементов сигнала, переданных за одну секунду, в среднем 990 элементов будут приняты без искажений и только 10 элементов будут искажены. Казалось бы, пропускная способность в этом случае будет составлять 990 бит в секунду. Однако вычисление по формуле (5.9) даёт нам величину, значительно меньшую (C = 919 бит/с). В чём здесь дело? А дело в том, что мы получили бы C = 990 бит/с, если бы точно знали, какие именно элементы сообщения искажены. Незнание этого факта (а это практически знать невозможно) приводит к тому, что 10 искажённых элементов настолько сильно снижают ценность принимаемого сообщения, что пропускная способность резко уменьшается.

Другой пример. Если p э = 0,5, то из 1000 переданных элементов 500 не будут искажены. Однако теперь уже пропускная способность будет составлять не 500 бит/с, как можно было бы предполагать, а формула (5.9) даст нам величину C = 0. Действительно при p э = 0,5 сигнал по каналу связи фактически уже не проходит и канал связи просто эквивалентен генератору шума.

При p э  1 пропускная способность приближается к максимальной величине. Однако в этом случае сигналы на выходе системы связи необходимо инвертировать.

Лекция №2

Каналы передачи данных. Качество и эффективность ТВС.

Вопросы:

Типы и сравнительные характеристики линий и каналов связи.

Пропускная способность каналов связи.

Качество и эффективность ТВС.

Цели и задачи изучения темы : получение представления о типах и сравнительных характеристиках линий и каналов связи, задачах физической передачи данных по линиям связи, основных качественных показателях систем передачи информации, пропускной способности, достоверности и надежности работы ТВС.

Изучив тему, студент должен:

знать понятие классификации каналов связи, пропускной способности, достоверности и надежности работы ТВС

иметь представление о каналах и линиях связи и их физической природе, их преимуществах и недостатках, пропускной способности и скорости передачи информации по каналу, надежности работы и достоверности передачи данных

Изучая тему, необходимо акцентировать внимание на следующих понятиях: линия связи, канал связи, канал передачи данных, симплексные, дуплексные, полудуплексные, коммутируемые, некоммутируемые каналы, коаксиальный кабель, волоконно-оптический кабель, витая пара, канал радиосвязи, пропускная способность канала связи, надежность ТКС, достоверность передачи данных

2.1. Типы и сравнительные характеристики линий и каналов связи.

Среда передачи данных – совокупность линий передачи данных и блоков взаимодействия (т.е. сетевого оборудования, не входящего в абонентские системы).предназначенных для передачи данных между абонентскими станциями. Среды передачи данных могут быть общего пользования или выделенные для конкретного пользователя.

Линия и канал связи это не одно и то же.

Линия связи (ЛС) – это физическая среда, по которой передаются информационные сигналы.

Канал связи (КС) – средства односторонней передачи данных по линии связи.

Канал передачи данных – состоит из линий связи, по которым передается сигнал и аппаратуры передачи данных, преобразующие данные в сигналы, соответствующие типу линии связи.

Классификация каналов связи показана на рис. 2.1

Рис 2.1. Классификация каналов связи

По физической природе ЛС и КС на их основе делятся на:

механические – используются для передачи материальных носителей информации;

акустические – передают звуковой сигал;

оптические – передают световой сигнал;

электрические – передают электрический сигнал.

Электрические и оптические КС могут быть:

проводными , использующими для передачи сигналов проводниковые линии связи (электрические провода, кабели, световоды и т. д.);

беспроводными (радиоканалы, инфракрасные каналы и т.д.), использующими для передачи сигналов электромагнитные волны, распространяющиеся по эфиру.

По форме представления передаваемой информации КС делятся на:

аналоговые - по аналоговым каналам передается информация, представленная в непрерывной форме, то есть в виде непрерывного ряда значений какой либо физической величины;

цифровые – по цифровым каналам передается информация, в виде цифровых сигналов.

В зависимости от возможных направлений передачи информации различают:

симплексные КС - когда передатчик и приемник соединяются одной линией связи, по которой информация передается только в одном направлении (это характерно для телевизионных сетей связи);

полудуплексные КС- когда два узла связи соединены так же одной линией, по которой информация передается попеременно то в одном направлении то в противоположном;

дуплексные КС - когда два узла связи соединены двумя линиями, по которым информация одновременно передается в противоположных направлениях.

По пропускной способности каналы КС можно разделить на:

низкоскоростные – скорость передачи информации в которых от 50 до 200 бит/сек; это телеграфные КС, как коммутируемые так и некоммутируемые;

среднескоростные - – скорость передачи информации в которых от 300 до 9600 бит/сек; это аналоговые (телефонные) КС;

высокоскоростные (широкополосные) КС, обеспечивают скорость передачи информации выше 56000 бит\сек.

Каналы связи могут быть:

коммутируемые ;

некоммутируемые .

Коммутируемые каналы создаются из отдельных участков только на время передачи по ним информации; по окончании передачи такой канал ликвидируется.

Некоммутируемые (выделенные) каналы создаются на длительное время и имеют постоянные характеристики по длине, пропускной способности, помехозащищенности.

Физической средой передачи информации в низкоскоростных и среднескоростных КС обычно являются проводные линии связи.

Для организации широкополосных КС используются различные кабели, в частности:

неэкранированные витые пары;

экранированные витые пары;

коаксиальные;

волоконно-оптические.

Неэкранированная витая пара – это изолированные проводники, попарно свитые между собой для уменьшения перекрестных наводок между проводниками.

Экранированная витая пара – это изолированные проводники, попарно свитые между собой и помещенные в экранированную проводящую оплетку, которую положено заземлять.

Коаксиальный кабель представляет собой медный проводник, покрытый диэлектриком и окруженный защитной экранирующей оболочкой.

Основу волоконно-оптического кабеля составляют стеклянные или пластиковые волокна диаметром от 5 до 100 микрон окруженные твердым заполнителем и помещенные в защитную оболочку.

Непрерывный канал передачи информации содержит совокупность средств для передачи непрерывных сигналов, при этом вместо кодирующих и декодирующих устройств используются различного рода преобразователи (модуляция и т.д.). Входные и выходные сигналы в непрерывном канале связи представляют ансамбли непрерывных функций с соответствующими плотностями распределений вероятности.
Если на вход непрерывного канала связи поступает непрерывный сигнал X(t) длительностью T, то вследствие воздействия помех f(t) выходной сигнал Y(t) будет отличаться от входного. При этом количество информации в сигнале Y(t) о сигнале X(t) равно:
. (13)
Непрерывный сигнал, можно рассматривать как дискретный при . Он может быть представлен в виде решетчатой функции, при этом на приемной стороне по отдельным взятым отсчетам через интервал Dt может быть восстановлен исходный непрерывный сигнал.
Шаг квантования Dt = T/n , где n – число точек отсчета. В соответствии с теоремой Котельникова Dt = 1/2f c , где f c - частота среза а n = 2Tf c – база сигнала.
При этом в выражении (13) для взаимной информации вместо разности энтропии можно записать разности соответствующих дифференциальных энтропий отдельных отсчетов
.

Пропускная способность непрерывного канала связи
(14)
Для дискретного канала связи максимальное значение скорости передачи соответствует равновероятным символам алфавита. Для непрерывного канала связи, когда заданной является средняя мощность сигнала, максимальная скорость обеспечивается при использовании нормальных центрированных случайных сигнала.
Если сигнал центрированный (m x = 0 ) т.е. без постоянной составляющей при этом мощность покоя равна нулю (P 0 = 0 ). Условие центрированности обеспечивает максимум дисперсии при заданной средней мощности сигнала
Если сигнал имеет нормальное распределение, то априорная дифференциальная энтропия каждого отсчета максимальна.
Поэтому при расчете пропускной способности непрерывного канала считаем, что по каналу передается непрерывный сигнал с ограниченной средней мощностью – P c и аддитивная помеха (y = x+f ) также с ограниченной средней мощностью – P n типа белого (гауссова) шума. Так как помеха аддитивна, то дисперсия выходного сигнала равна
.
Для того, чтобы энтропия была максимальна для сигнала с ограниченной мощностью, он должен быть гауссовым, при этом
.
Для того чтобы помеха была максимальна, она тоже должна быть гауссова
.
При этом пропускная способность непрерывного канала должна быть равна пропускной способности сигнала
. (15)
Таким образом, скорость передачи информации с ограниченной средней мощностью максимальна, если и сигнал, и помеха являются гауссовыми, случайными процессами.
Пропускную способность канала можно изменять, меняя ширину спектра сигнала – f c его мощность – P c . Но увеличение ширины спектра увеличивает мощность помехи – P n , поэтому соотношение между полосой пропускания канала и уровнем помех выбирается компромиссным путем.
Если распределение f(x) источника непрерывных сообщений отличается от нормального, то скорость передачи информации – С будет меньше. Используя, функциональный преобразователь, можно получать сигнал с нормальным законом распределения.
Обычно p c /p п >>1 , при этом пропускная способность непрерывного канала равна С п = F к D к. Связь между емкостью и пропускной способностью канала связи имеет вид V к = T к F к D к = T к С п.
Теорема Шеннона для непрерывного канала с шумом. Если энтропия источника непрерывных сообщений сколь угодно близка к пропускной способности канала, то существует метод передачи, при котором все сообщения источника будут переданы со сколь угодно высокой верностью воспроизведения.

Пример. По непрерывному каналу связи, имеющим полосу пропускания F k = 1 кГц, передается полезный сигнал X(t) , представляющий собой нормальный случайный процесс с нулевым математическим ожиданием и дисперсией = 4 мВ. В канале действует независимый от сигнала гауссов шум F(t) с нулевым математическим ожиданием и дисперсией = 1 мВ.
Определить:
– дифференциальную энтропию входного сигнала;
– дифференциальную энтропию выходного сигнала;
– условную дифференциальную энтропию;
– количество информации в одном непрерывном отсчете процесса Y(t) относительно отсчета X(t) ;
– скорость передачи информации по непрерывному каналу с дискретным временем;
– пропускную способность непрерывного канала связи;
– определить емкость канала связи, если время его работы T = 10 м ;
– определить количество информации, которое может быть передано за 10 минут работы канала;
– показать, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность. Решение:
Дифференциальная энтропия входного сигнала

= 3,05 бит/отсчет.
Дифференциальная энтропия выходного сигнала
=3,21 бит/отсчет.
Условная дифференциальная энтропия
= 2,05 бит/отсчет.
Количество информации в одном непрерывном отсчете процесса Y(t) относительно отсчета X(t) определяется по формуле
I (X, Y) = h(x) – h (x/y) = h(y) – h (y/x) = 3,21–2,05 = 1,16 бит/отсчет.
Скорость передачи информации по непрерывному каналу с дискретным временем определяется по формуле
=
= 2×10 3 × = 2320 бит/с
Пропускная способность непрерывного канала с помехами определяется по формуле

=2322 бит/с.
Докажем, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность.
Математическое ожидание для симметричного равномерного распределения

Средний квадрат для симметричного равномерного распределения

Дисперсия для симметричного равномерного распределения

При этом, для равномерно-распределенного процесса .
Дифференциальная энтропия сигнала с равномерным распределением
.
Разность дифференциальных энтропий нормального и равномерно распределенного процесса не зависит от величины дисперсии
= 0,3 бит/отсч.
Таким образом, пропускная способность и емкость канала связи для процесса с нормальным распределением выше, чем для равномерного.
Определим емкость (объем) канала связи
V k = T k C k = 10×60×2322 = 1,3932 Мбит.
Определим количество информации, которое может быть передано за 10 минут работы канала
10× 60× 2322=1,3932 Мбит.

Задачи

1. В канал связи передаются сообщения, составленные из алфавита x 1, x 2 и x 3 с вероятностями p(x 1)=0,2; p(x 2) =0,3 и p(x 3)=0,5 .
Канальная матрица имеет вид:
при этом .
Вычислить:
1. Энтропию источника информации H(X) и приемника H(Y) .
2. Общую и условную энтропию H (Y/X).
3. Потери информации в канале при передаче к символов (к = 100 ).
4. Количество принятой информации при передаче к символов.
5. Скорость передачи информации, если время передачи одного символа t = 0,01 мс .
2. По каналу связи передаются символы алфавита x 1 , x 2 , x 3 и x 4 с вероятностями . Определить количество информации принятой при передаче 300 символов, если влияние помех описывается канальной матрицей:
.
3. Определить потери информации в канале связи при передаче равновероятных символов алфавита, если канальная матрица имеет вид

.
t = 0,001 сек.
4.Определить потери информации при передаче 1000 символов алфавита источника x 1 , x 2 и x 3 с вероятностями p =0,2; p =0,1 и p()=0,7 , если влияние помех в канале описывается канальной матрицей:
.
5. Определить количество принятой информации при передаче 600 символов, если вероятности появления символов на выходе источника X равны: а влияние помех при передаче описывается канальной матрицей:
.
6. В канал связи передаются сообщения, состоящие из символов алфавита , при этом вероятности появления символов алфавита равны:
Канал связи описан следующей канальной матрицей:

.
Определить скорость передачи информации, если время передачи одного символа мс .
7.По каналу связи передаются сигналы x 1 , x 2 и x 3 с вероятностями p =0,2; p =0,1 и p()=0,7. Влияние помех в канале описывается канальной матрицей:
.
Определить общую условную энтропию и долю потерь информации, которая приходится на сигнал x 1 (частную условную энтропию).
8. По каналу связи передаются символы алфавита x 1 , x 2 , x 3 и x 4 с вероятностями .
Помехи в канале заданы канальной матрицей
.
Определить пропускную способность канала связи, если время передачи одного символа t = 0,01 сек.
Определить количество принятой информации при передаче 500 символов, если вероятности появления символов на входе приемника Y равны: , а влияние помех при передаче описывается канальной матрицей:

Список литературы
1 Гринченко А.Г. Теория информации и кодирование: Учебн. пособие. – Харьков: ХПУ, 2000.
2 Куприянов М.С., Матюшкин Б.Д. – Цифровая обработка сигналов: процессоры, алгоритмы, средства проектирования. – СПб: Политехника, 1999.
3 Хемминг Р.В. Цифровые фильтры: Пер. с англ. / Под ред. А.М. Трахтмана. – М.: Сов. радио, 1980.
4 Сиберт У.М. Цепи, сигналы, системы: В 2-х ч. / Пер. с англ. – М.: Мир, 1988.
5 Скляр Б. Цифровая связь. Теоретические основы и практическое применение: Пер. с англ. – М.: Издательский дом «Вильямс», 2003. – 1104 с.
6 Kalinin, V.I. Microwave & Telecommunication Technology, 2007. CriMiCo 2007. 17th International Crimean ConferenceVolume, Issue, 10–14 Sept. 2007 Page(s):233 – 234
7 Феер К. Беспроводная цифровая связь. Методы модуляции и расширения спектра. Пер. с англ. – М.: Радио и связь, 2000.
8 Игнатов В.А. Теория информации и передачи сигналов: Учебник для вузов. – 2-е изд., перераб. и доп. – М.: Радио и связь, 1991;