Лекция № 2 «Структурная мера информации» по Информатике (Федоренко Н. М.)

Кирилл Николоев вс, 10.04.2016 18:43

Структурная мера информации Информация всегда представляется в виде сообщения. Элементарная единица сообщений — символ. Символы, собранные в группы, - слова. Сообщение, оформленное в виде слов или отдельных символов, всегда передается в материально-энергетической форме (электрический, световой, звуковой сиг. и т. д.).

Различают информацию непрерывную и дискретную. Функция х(t), изображенная на рисунке. может быть представлена в непрерывном и дискретном видах . В непрерывном виде эта функция может принимать любые вещественные значения в данном диапазоне изменения аргумента т.е. множество значений непрерывной функции бесконечно. В дискретном виде функция х(t) может принимать вещественные значения только при определенных значениях аргумента. Какой бы малый интервал дискретности (т.е. расстояние между соседними значениями аргумента) не выбирался, множество значений дискретной функции для заданного диапазона изменений аргумента (если он не бесконечный) будет конечно (ограничено).

При использовании структурных мер информации учитывается только дискретное строение сообщения, количество содержащихся в нем информационных элементов, связей между ними. При структурном подходе различаются:

· геометрическая, ·комбинаторная ·аддитивная меры информации. Геометрическая мера предполагает измерение параметра геометрической модели информационного сообщения (длины, площади, объема и т. п.) в дискретных единицах.

Максимально возможное количество информации в заданных структурах определяет информационную емкость модели (системы), которая определяется как сумма дискретных значений по всем измерениям (координатам).

В комбинаторной мере количество информации определяется как число комбинаций элементов (символов). Возможное количество информации совпадает с числом возможных сочетаний, перестановок и размещений элементов. Комбинирование символов в словах, состоящих только из 0 и 1, меняет значения слов. Рассмотрим две пары слов 1001 10 и 001101, 011101 и 111010. В них проведена перестановка крайних разрядов (изменено местоположение знакового разряда в числе — перенесен слева направо).

Аддитивная мера (мера Хартли) Аддитивная мера (мера Хартли), в соответствии с которой количество информации измеряется в двоичных единицах — битах, - наиболее распространена. Вводятся понятия глубины q и длины п числа.

Глубина q числа — количество символов (элементов), принятых для представления информации, В каждый момент времени реализуется только один какой-либо символ. (попозже понятие глубины числа будет трансформировано в понятие основания системы счисления).

Длина п числа — количество позиций, необходимых и достаточных для представления чисел заданной величины. При заданных глубине и длине числа количество чисел, которое можно представить, N = qn. Величина N не удобна для оценки информационной емкости. Введем логарифмическую меру, позволяющую, вычислять количество информации, — бит:

I(g ) = log2 N = nIog 2 q. (1.1) Следовательно, 1 бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации удобна тем, что она обеспечивает возможность оперировать мерой как числом. Количество информации при этом эквивалентно количеству двоичных символов 0 или 1. При наличии нескольких источников информации общее количество информации

I(q],q2,,qk) = I(q]) + I(q2) + + I(qk), (1.2) где I(qk ) — количество информации от источника k. Логарифмическая мера информации позволяет измерять количество информации и используется на практике.

СЕМАНТИЧЕСКАЯ МЕРА ИНФОРМАЦИИ Вычислительные машины обрабатывают и преобразуют информацию разного содержания — от числовых данных до сочинения музыки и стихов. Вся эта информация изображается соответствующими символами. Оценка содержания разнохарактерной информации — весьма сложная проблема.

Среди семантических мер наиболее распространены: · содержательность, · логическое количество, · целесообразность, · существенность информации. Содержательность события i выражается через функцию меры m(i) — содержательности его отрицания. Оценка содержательности осно-вана на математической логике, в которой логические функции истинности m(i) и ложности имеют формальное сходство с функциями вероятностей события p(i) и антисобытия q(i) в теории вероятностей.

Как и вероятность, содержательность события изменяется в пределах 0 £ m(i) £ 1. Логическое количество информации Inf , сходное со статистическим количеством информации, вычисляется по выражению: Отличие статистической оценки от логической состоит в том, что в первом случае учитываются вероятности реализации тех или иных событий, что приближает к оценке смысла информации.

Скачать файлы

Похожие документы