Навигация по странице:
|
Тема 1 Определение количества информации. Формула Хартли
Модуль 2. Измерение информации. Количество информации.
Тема 2.1 Определение количества информации. Формула Хартли.
Основные понятия: количество информации, аддитивная мера Хартли.
Условные обозначения:
 - задания до чтения текста
|
 - задания во время чтения
|
 - задания после чтения
|
|
Вспомните, как часто вам приходилось слышать: «Это невозможно измерить!», «Есть вещи, которые не могут быть подвержены количественной оценке!». Как вы считаете, эти люди правы? А можно ли измерить информацию?
|
|
Прочитайте текст. Во время чтения делайте пометки на полях:
«!» - важно,
«?» - не понятно, есть вопросы
|
|
|
|
|
Чтобы измерить количество информации, содержащееся в сообщении или сигнале, можно воспользоваться так называемой аддитивной мерой Хартли. Введем понятия глубины сообщения и длины сообщения.
Глубина сообщения q – количество различных элементов (символов, знаков), принятых для представления сообщений. В каждый момент времени реализуется только один какой-либо элемент.
Длина сообщения n – количество позиций, необходимых и достаточных для представления сообщений заданной величины.
При заданных глубине и длине сообщения количество всех возможных сообщений (N), которое можно представить:
N = q n.
Задача 1. Подсчитать количество всех трехбуквенных русских слов.
Решение
Всего трехбуквенных русских слов N = 323 = 32768. Заметим, что в это количество включены и «совершенно невозможные» слова, например «ааа» или «ььы», но, подчеркнем, что при описываемом подходе смысл (семантика) сообщения не рассматривается.
Ответ: 32768 слов.
Определим логарифмическую меру, позволяющую вычислять количество информации в битах. Такую информационную емкость (I) называют мерой Хартли:
I = log 2 N = n log 2 q .
Другими словами количество информации, полученное при выборе одного предмета из N равнозначных предметов, равно log 2 N. То есть именно такое количество информации необходимо для устранения неопределенности из N равновозможных вариантов.
Задача 2. Чему равно количество информации для трехбуквенных русских слов?
Решение
Для трехбуквенных русских слов I = 3 log2 32 = 15 (бит).
Ответ: 15 бит.
Значение I – количество двоичных разрядов. Оно не может быть дробным, поэтому в случае получения дробного значения, необходимо округлить результат.
Итак, 1 бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации удобна тем, что она позволяет оперировать мерой как числом. Количество информации при этом эквивалентно количеству двоичных символов 0 или 1.
Закон аддитивности информации: при наличии нескольких источников информации общее количество информации равно
I = I 1 + I 2 + … + I k =
где Ii – количество информации от источника i. Всего источников – k.
Задача 3. Используя закон аддитивности и формулу Хартли, подсчитайте, какое количество информации несет достоверный прогноз погоды.
Решение.
Предположим, что прогноз погоды на следующий день заключается в предсказании дневной температуры (обычно выбор делается из 16 возможных для данного сезона значений) и одного из четырех значений облачности (солнечно, переменная облачность, пасмурно, дождь). Получаемое при этом количество информации равно
I = log216 + log24 = 4 + 2 = 6 (бит)
Ответ: 6 бит.
Логарифмическая мера информации позволяет измерить количество информации и используется на практике.
Задача 4. Определить, какое количество информации в битах содержит книга, написанная на русском языке, содержащая 200 страниц (каждая страница содержит приблизительно 2000 символов).
Решение
Для решения воспользуемся мерой Хартли:
I = n log 2 q = 200 ∙ 2000 ∙ log 2 32 = 2000000 бит. Здесь n – длина сообщения в знаках: n = 200 страниц ∙ 2000 знаков/страница = 400000 знаков.
Ответ: 2000000 бит.
|
|
|
Заполните таблицу:
Обсудите заполненную таблицу с другими студентами группы.
Как вы теперь ответите на вопрос: «Можно ли измерить информацию? Если да, то как?». Существуют ли ситуации, когда количественное выражение информации не позволяет определить ее значимость для человека, общества?
|
|
|
Решите следующие задачи:
-
В корзине лежат 16 шаров. Все шары разного цвета и среди них есть красный. Сколько информации несет сообщение о том, что из корзины достали красный шар?
В корзине лежат 8 черных и 8 белых шаров. Сколько информации несет сообщение о том, что из корзины достали белый шар?
В корзине лежат 16 шаров. Среди них 4 белых, 4 черных, 4 красных и 4 зеленых. Сколько информации несет сообщение о том, что из корзины достали красный шар?
При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?
Какое количество информации содержит один символ алфавита, состоящего из 1024 символов?
Сколько бит несет слово «ИНФОРМАЦИЯ»?
В алфавите некоторого языка две буквы «А» и «Б». Все слова на этом языке состоят из 11 букв. Каков словарный запас этого языка, т.е. сколько слов он содержит?
Информационное сообщение объемом 1,5 килобайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
Алфавит первого племени содержит N символов, алфавит второго – в два раза больше. Племена обменялись приветствиями, каждое по 100 символов. Приветствие какого племени содержит больше информации (в битах) и на сколько?
В процессе преобразования растрового графического файла количество всех возможных цветов было уменьшено с 1024 до 32. Как и во сколько раз изменился размер файла?
|
|
|
|
Скачать 61 Kb.
