Количество информации как мера уменьшения неопределенности знаний.

Цель:

Повторить понятия информации и её свойств, различные подходы к измерению информации. Пояснить суть алфавитного и содержательного подходов к понятию информации с помощью ре задач по теме.

Понятие информации.

Информация - базовое понятие, нет определения. Так же как «точка» в геометрии. Это общенаучное понятие. «Иформация» используется в различных науках.

В физике как мера беспорядка, хаоса для термодинамической системы является энтропия системы, а «антиэнтропия», т.е информация – мера упорядоченности и сложности системы. Увеличивается, усложняется система –уменьшается величина энтропии.

Биология: информация связана с поведением живых организмов, получая информацию об окружающей среде. Генетическая информация передается по наследству и хранится во всех клетках живых организмов. Это позволило проводить научные эксперименты по клонированию: созданию точных копий организмов из 1 клетки.

В кибернетике (науке об управлении) информация связана с процессами управления в сложных системах (живых организмах или технических устройствах). Процессы управления включают в себя: получение, хранение, преобразование, передачу информации.

 Социальная значимость информации (свойства):

1.        Понятность

2.        Полезность

3.        Достоверность

4.        Актуальность

5.        Полнота

6.        Точность

2. Что позволяет сделать научный подход к информации как мере уменьшения неопределенности знаний? Приведите примеры. Почему такой подход к измерению информации называют содержательным (вероятностным подходом)?

Количество информации как мера уменьшения неопределенности знаний

Человек получает информацию от органов чувств, обрабатывает её с помощью мышления и хранит в памяти. Полученная информация, обрабатываясь образует знание (факты, научные теории и т.д).

Древнегреческое изображение процесса познания: накопление информации в форме знаний.

Каким образом уменьшить незнание или неопределенность знаний?

С помощью информации. Информация –мера уменьшения неопределенности наших знаний. Сообщение об оценке за экзамен содержит информацию, снимает неопределенность.

Измерять информацию чрезвычайно важно для информатики.

Пример1.

С равной вероятностью произойдет одно из двух возможных событий: либо «орел», либо «решка». Говорят, что эти события равновероятны. После броска неопределенность наших знаний уменьшается в 2 раза. Как измерить полученную информацию? За минимальную единицу измерения информации и приняли бит- количество информации, уменьшающее неопределенность в 2 раза.

В случае с монетой полученное количество информации равно 1 биту.

3. Какая формула связывает между собой  количество возможных событий и количество информации? Как зависит количество информации от количества возможных событий?

Существует формула, которая связывает между собой количество возможных событий N и количество информации I.  N=2^I.

4. Чем больше количество возможных событий, тем большее количество информации будет содержать сообщение о результатах опыта. Ответьте на вопросы письменно, см. опорный конспект.

1. В случае броска восьмигранной  пирамиды какое количество информации мы получим за один бросок?

________________________________________________________________________________________________

2. Если мы получаем 4 бита информации, то какое количество возможных событий при этом может быть?

_________________________________________________________________________________________________

3. Какое количество информации получает второй игрок, играющий в крестики-нолики на поле 8x8 после хода первого игрока?

________________________________________________________________________________________________

4. Как зависит количество информации от количества возможных событий?

________________________________________________________________________________________________

5.В чем заключается алфавитный подход к определению количества информации.

Для человека количество информации определяется на основе уменьшения неопределенности наших знаний, а компьютер не понимает содержание и новизну. Информация рассматривается им как последовательность букв, цифр, кодов цветов точек изображения и т.д. Это важно для хранения и передачи информации техническими устройствами.

 5. Сколько битов информации несет одна буква русского алфавита? Считать появление символов в сообщении равновероятным.______________________________________________________________________________________

6. Как подсчитать количество информации в слове записанном на русском языке?

_____________________________________________________________________________________________________

6.Единицы измерения информации.

Так как «алфавит компьютера» (число символов на клавиатуре) составляет примерно 256 символов, то 1 символ составляет 8 бит информации (2⁸=256).

Более крупные единицы измерения информации:

1 байт=2³=8 бит

1Кбайт (килобайт)=2¹⁰ байт=1024 байт

1Мбайт (мегабайт)=2¹⁰ Кбайт=1024 Кбайт=2²⁰ байт

1Гбайт (гигабайт)=2¹⁰ Мбайт=1024 Мбайт=2³⁰ байт

1Тбайт (терабайт)=2¹⁰  Гбайт=1024 Гбайт=2⁴⁰ байт

1Пбайт (петабайт)=2¹⁰ Тбайт=1024 Тбайт=2⁵⁰ байт

Итак, количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество знаков в сообщении.

7. Пусть две книги на русском и китайском языках содержат одинаковое количество знаков. В какой книге содержится большее количество информации с точки зрения алфавитного подхода?

____________________________________________________________________________________________________

II.                   Решение задач. Вероятностный подход к определению количества информации.

Пример 2.

Как определить полученное количество информации за один бросок игрального кубика?

У куба 6 граней, значит требуется решить показательное уравнение 2^I =6. Это можно сделать используя понятие логарифма.

Log₂6 ≈2,6 бит. Значит за один бросок мы получим 2,6 бит информации.

Существуют множества ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета не симметрична (одна сторона тяжелее другой), то при её бросании вероятности выпадения «орла» и «решки» будут различаться.

Формулу для вычисления количества информации в случае различных вероятностей событий предложил К.Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

p_i  log ₂ p_{i ,} где I –количество информации, N –количество возможных событий, p_i –вероятности отдельных событий. Вероятность события p_{i =1/N}.  Для равновероятных событий I =log₂ N

Пример3.

Пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий будут равны:

P₁ =1/2

P₂ =1/4

P₃ = 1/8

P₄ =1/8

Тогда, количество информации, которое мы получим после реализации одного из событий можно рассчитать по формуле:

I= - (1/2•log₂1/2 + 1/4•log₂1/4 + 1/8•log₂1/8 + 1/8•log₂1/8) = (1/2 + 2/4  + 3/8 + 3/8) битов =14/8 битов »1,75 бита.

Этот подход к определению количества информации называется вероятностным. Выполнить задания №8,9 ОК.

8.       Сравните количество получаемой информации при бросании симметричной пирамидки и несимметричной.

_______________________________________________________________________________________________

_______________________________________________________________________________________________

9.  Какое количество информации получит второй игрок в игре «Угадай число», если первый загадал число: 32, 128?___________________________________________________________________________________________

Итак, количество информации, которое мы получаем достигает максимального значения, если события равновероятны.

III. Практическая работа:

Вычислить с помощью электронного калькулятора Wise Calkulator количество информации, которое будет получено:

v       При бросании симметричного шестигранного кубика;

v       При игре в рулетку с 72 секторами;

v       При игре  в шахматы игроком за черных после первого хода белых, если считать все ходы равновероятными.

v       При игре в шашки.