Урок№4

Урок № 3 «Формулы Хартли и Шеннона»

Задача1. Сколько бит информации несет сообщение о том, что:

А) из колоды в 32 карты достали даму пик?

Б) из колоды карт достали карту красной масти.

Решение:

А)Случайный выбор карты –события равновероятные. Воспользуемся формулой Хартли: 2^I=32, I=5бит

Б) 1 бит, так как красных и черных карт одинаковое количество, т. Е. может произойти 2 события. Достанем черную или достанем красную карту.

Задача2.

Проводится 2 лотереи «4 из 32» и «5 из 64». Сообщение о результатах какой из лотерей несет больше информации?

Решение

«4 из 32»

Вытаскивание любого номера из лотерейного барабана – события равновероятные. Надо воспользоваться формулой Хартли для нахождения I. НО….

Выбор каждого шара в лотерее производится для разного общего количества шаров. В первом розыгрыше первый шар выбирается из 32 шаров, второй из 31 шара, третий – из 30 шаров и т.д.

Используем таблицу 1.1 Количество информации в сообщении об одном из N равновероятных событий.

«4 из 32»

Для первого номера I=5 бит

Для второго номера (из 31) I=4,95420

Для третьего номера (из 30) I=4,90689

Для четвертого номера (из 29) I=4,85798

В сумме получаем 19, 71907

«5 из 64»

Аналогично:

Для первого номера I=6 бит

Для второго номера (из 63) I=5,97728

Для третьего номера (из 62) I=5,95420

Для четвертого номера (из 61) I=5,93074

Для пятого номера (из 60) I=5,90689

В сумме получаем 29,76911

Вывод: сообщение о результатах второй лотереи несет больше информации.

Сказать ребятам, что если бы мы не брали во внимание тот факт, что число шаров уменьшается при каждом вытаскивании, а находили I из формулы:

2^I=32 и 2^I=64, то в первом случае для одного шара I=5, для четырех шаров I=20, во втором случае для одного шара I=6, а для пяти шаров I=30. Расхождения невелики, но все же первый способ решения наиболее точный.

1. Решение задач.

Задача1.

Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 32 символа, второй – мощностью 64 символа. Во сколько раз отличается количество информации в этих текстах.

Решение: Мощность алфавита – число символов входящих в алфавит. Один знак алфавита несет количество информации, которое можно рассчитать из формулы 2^I=N (N принимаем как мощность алфавита), если считать появление каждого символа равновероятным. Если же символы будут встречаться разное количество раз, то следует применить формулу Шеннона:I=- Р_ilog₂P_i

Ясно, чем больше мощность алфавита, тем больше количество информации, которое несет один символ.

Количество информации в сообщении, закодированном с помощью знаковой системы равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении. Предположим, что все символы в сообщении встречаются равновероятно.

Обозначим:

информационный объём текста 1 за I₁_,

информационный объем текста 2 за I₂_..

количество символов в сообщениях одинаково К.

вес символа в первом алфавите i₁₌5 бит,

вес символа во втором алфавите i₂₌6 бит

I₁= К* i₁= К*5 бит

I₂= К* i₂= К*6 бит

I₂: I₂=6/5=1,2 раза больше количество информации во втором тексте.

Задача 2

Объём сообщения, содержащего 1024 символа составил 1/512 Мбайта. Каков размер (мощность) алфавита, с помощью которого записано сообщение?

Решение:

Переведем информационный объем сообщения из мегобайт в биты:

I = 1/512*1024*1024*8=16384 бит.

К=1024 символа в сообщении, на один символ приходится:

i=I/К=16384/1024=16 бит.

Мощность (размер) использованного алфавита равна 2¹⁶=65536 символов.

Замечу, что именно такой алфавит стал международным стандартом для представления символьной информации в компьютере ( кодировка Unicode- юникоде), когда на кодировку одного символа отводится не один байт, а два, и поэтому с его помощью можно закодировать не 256 символов, а 65536. В скором времени полная спецификация стандарта Unicode будет включать в себя все существующие, вымершие и искусственно созданные алфавиты мира (Китайский -3000 символов, искусственно созданные азбука Брайля для слепых), а также множество математических. музыкальных, химических и прочих символов.

Переход к повсеместному использованию системы Unicode носит постепенный характер. Его сдерживает документальная база и необходимость в высоком уровне развития вычислительной техники.

Самостоятельная работа

Решить задачи.

1 вариант

1. Сообщение содержит информационный объем равный 1,5 Кб, в сообщении 3072 символа. Сколько бит содержит один символ? Сколько символов содержит алфавит, с помощью которого записано данное сообщение? (2 балла)

2. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили? (1 балл)

3. В пруду живут 8 карасей, 2 щуки и 4 пескаря. Рассчитайте вероятность попадания на удочку каждого из видов рыб. Какое количество информации получит рыбак, выловив 1 рыбу? (2 балла)

2 вариант

1. Для передачи текста размером 50 символов потребовалось 300 бит. Какова предельная мощность алфавита? (1 балл)

2. Проводится две лотереи «5 из 40» и «3 из 20». Сообщение о результатах какой из лотерей несет больше информации. Ответ обоснуйте. (2 балла)

3. Черно-белый рисунок размером 256х192 точки представлен в 16 тонах серого цвета. Какой объем данных будет получен при записи такого рисунка? Ответ дать в Кбайтах.(2 балла)

Вариант№3

Сережа за несколько лет учебы получил по математике 100 оценок по математике: 60 пятерок, 30 четверок, 8 троек и 2 двойки. Допуская, что такое распределение оценок может сохраниться и в дальнейшем, вычислите вероятность получения каждой из оценок. Какое количество информации несет в себе получение оценки по математике? (2 балла)
Племя Мульти пишет письма, пользуясь 32-символьным алфавитом. Пульти пользуется 64 символьным алфавитом. Вожди племени обменялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти – 70 символов. Сравнить объем информации, содержащейся в письмах. (2 балла)
При угадывании целого числа в диапазоне от1 до N было получено 7 бит информации. Чему равно N? (1 балл)

Решение:

1 вариант

1. Сообщение содержит информационный объем равный 1,5 Кб, в сообщении 3072 символа. Сколько бит содержит один символ?

Решение:

Переведем информационный объем сообщения в биты:

I=1,5*1024*8= 12288 бит

Один символ содержит бит информации: 12288:3072=4 бит, 2⁴=16 символов содержит алфавит с помощью которого записано данное сообщение.

2. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

Решение: После желтого мог загореться либо зеленый либо красный свет. Всего два события могли произойти равновероятно. Получено 1 бит информации.

3. В пруду живут 8 карасей, 2 щуки и 4 пескаря. Рассчитайте вероятность попадания на удочку каждого из видов рыб. Какое количество информации получит рыбак выловив 1 рыбу?

Решение: Всего в пруду живут 14 рыб. Вероятность попадания на удочку карася равна 8/14=0,57, щуки-2/14=0,14, пескаря -4/14=0,29. Применим формулу Шеннона:

I=-(0,57log₂0,57+0,14 log₂0,14+0,29 log₂0,29) бит=

2 вариант

1. Для передачи текста размером 50 символов потребовалось 300 бит. Какова предельная мощность алфавита?

Решение:

На один символ приходится 300/50=6 бит. Предельная мощность алфавита составляет 2⁶=64 символа.

2. Проводится две лотереи «5 из 40» и «3 из 20». Сообщение о результатах какой из лотерей несет больше информации. Ответ обоснуйте.

Решение:

«5 из 40»

Для первого номера I=5, 32193 бит

Для второго номера (из 39) I=5,28540

Для третьего номера (из 38) I=5.24793

Для четвертого номера (из 37) I=5,20945

Для пятого номера (из 36) I=5,16993

В сумме получаем 26,23464 бит

«3 из 20»

Аналогично:

Для первого номера I=4,32193 бит

Для второго номера (из 19) I=4,24793

Для третьего номера (из 18) I=4,16993

В сумме получаем 12,73979

Вывод: сообщение о результатах первой лотереи несет больше информации.

3. Черно-белый рисунок размером 256х192 точки представлен в 16 тонах серого цвета. Какой объем данных будет получен при записи такого рисунка? Ответ дать в Кбайтах.

Решение: Для представления 16 цветовых тонов потребуется 4 бита. Объем одной точки равен 4 бита, двух точек -8 бит или 1 байт. Узнаем сколько всего точек в изображении:256*192= 49152 точек, разделив это число на 2, найдем объем рисунка 24576 байт. Переведем в Кб: 24576 байт: 1024=24 Кб

Вариант№3

Сережа за несколько лет учебы получил по математике 100 оценок по математике: 60 пятерок, 30 четверок, 8 троек и 2 двойки. Допуская, что такое распределение оценок может сохраниться и в дальнейшем, вычислите вероятность получения каждой из оценок. Какое количество информации несет в себе получение оценки по математике? (2 балла)

Решение: р₅=60/100=0,6 р₄=30/100=0,3 р₃=8/100=0,08 р₂=2/100=0,02

Применим формулу Шеннона:

I=-(0,6log₂0,6+0,3log₂0,3+0,08 log₂0,08+0,02 log₂0,02) бит=

Племя Мульти пишет письма, пользуясь 32-символьным алфавитом. Пульти пользуется 64 символьным алфавитом. Вожди племени обменялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти – 70 символов. Сравнить объем информации, содержащейся в письмах. (2 балла)

Решение:

1 символ племени Мульти несет в себе 5 бит информации, а племени Пульти -6 бит информации. Объем информации племени Мульти равен 5*80=400 бит, племени Пульти-70*6=420 бит. Письмо племени Пульти содержит больше информации.

При угадывании целого числа в диапазоне от1 до N было получено 7 бит информации. Чему равно N? (1 балл)

Решение:

N=128

1 вариант

2 вариант

1. Для передачи текста размером 50 символов потребовалось 300 бит. Какова предельная мощность алфавита? (1 балл)

Вариант№3

Сережа за несколько лет учебы получил по математике 100 оценок по математике: 60 пятерок, 30 четверок, 8 троек и 2 двойки. Допуская, что такое распределение оценок может сохраниться и в дальнейшем, вычислите вероятность получения каждой из оценок. Какое количество информации несет в себе получение оценки по математике? (2 балла)
Племя Мульти пишет письма, пользуясь 32-символьным алфавитом. Пульти пользуется 64 символьным алфавитом. Вожди племени обменялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти – 70 символов. Сравнить объем информации, содержащейся в письмах. (2 балла)
При угадывании целого числа в диапазоне от1 до N было получено 7 бит информации. Чему равно N? (1 балл)