Подходы к измерению информации

Слайд 1. Подходы к измерению информации

Алфавитный подход. Информатика, 10 класс

Слайд 2. Зачем измерять информацию?

В повседневной жизни мы воспринимаем информацию через смысл. Но для компьютера текст — это просто последовательность символов. Чтобы хранить и передавать данные, нам нужно точно знать их объем в битах и байтах, независимо от того, что именно написано в сообщении.

Слайд 3. Два основных подхода

Связан с уменьшением неопределенности знаний. Важен смысл сообщения для конкретного человека. Субъективен: одна и та же новость для одного — новость, для другого — шум.

Связан только с техническими параметрами текста: количеством символов и размером алфавита. Объективен: объем текста одинаков для любого технического устройства.

Слайд 4. Суть алфавитного подхода

Сообщение — это последовательность символов определенного алфавита.

Все символы одного алфавита считаются равновероятными.

Информационный объем зависит только от длины текста и мощности алфавита.

Смысловое содержание текста полностью игнорируется.

Слайд 5. Мощность алфавита

Мощность алфавита ($N$)— это полное количество символов, которые используются для записи сообщения.

Например:

— Двоичный алфавит: $N=2$ (0 и 1).

— Русский алфавит: $N=33$ (с буквой Ё).

— Компьютерный алфавит (ASCII): $N=256$.

Слайд 6. Информационный вес символа

Информационный вес одного символа ($i$) — это количество информации, которое несет один знак алфавита.

Вычисляется из уравнения: $2^i=N$.

Если $N$ является степенью двойки ($2,4,8,\mathrm{16...}$), то $i$ — целое число.

Единица измерения веса символа — бит.

Слайд 7. Таблица мощностей и весов

Слайд 8. Главная формула объема информации

$I$ — информационный объем всего сообщения (в битах, байтах и т.д.).

$K$ — количество символов в сообщении (длина строки, включая пробелы и знаки препинания).

$i$ — информационный вес одного символа (зависит от мощности используемого алфавита).

Слайд 9. Единицы измерения информации

1 Бит

1 Байт

1 Кбайт

1 Мбайт

Минимальная единица (0 или 1)

8 бит. Достаточно для 1 символа ASCII

1024 байта ($2^{10}$ байт)

1024 Кбайта ($2^{20}$ байт)

Слайд 10. Алгоритм решения задач

1. Определить мощность алфавита $N$ (сколько всего разных знаков).

2. Найти информационный вес одного символа $i$ из уравнения $2^i=N$.

3. Подсчитать общее количество символов в тексте $K$.

4. Вычислить итоговый объем по формуле $I=K\cdot i$.

Слайд 11. Пример задачи

Условие: Текст набран на компьютере (алфавит 256 символов) и содержит 2 страницы по 32 строки, в каждой строке 64 символа. Какой объем памяти он займет?

Решение:

1) $N=256\Rightarrow i=8$ бит (1 байт).

2) $K=2\cdot 32\cdot 64=4096$ символов.

3) $I=4096\cdot 1$ байт = 4 Кбайта.

Слайд 12. Информация — это не то, что вы говорите, а то, что остается в памяти после того, как вы это сказали. Но для машины информация — это просто вес её символов.

— Адаптация принципов теории информации

Слайд 13. Быстрая проверка

Вопрос: Каков информационный вес одного символа в алфавите мощностью 64 знака? (Правильный ответ: 6 бит, так как $2^6=64$)

Слайд 14. Подведем итоги

Алфавитный подход объективен и не зависит от смысла сообщения.

Главные параметры: мощность алфавита $N$ и длина сообщения $K$.

Связующее звено — вес одного символа $i$ ($2^i=N$).

Информационный объем вычисляется как $I=K\cdot i$.

Для хранения символов ASCII обычно используется 8 бит (1 байт).