Теория информации

Общая информация

Лектор: Никита Колесников

Практика: Никита Колесников

Лекции: Четверг 10.10-11.40 в 217 ауд.

Практика: Четверг 11.50-13:20 в 217 ауд.

Зачёт: Четверг 22.12.2022 г. 18:50 в 217 ауд.

О курсе: изучаются свойства информации с вероятностной точки зрения. Рассматриваются вопросы сжимающего и помехоустойчивого кодирования.

Литература

Расписание

Дата Тема Практика Домашнее задание
8.09 Тема 1. Предмет теории и понятие теории информации. Энтропия. [Лекция] Практика №1 #5, [Che] #1.8
15.09 Тема 2. Энтропия и ее свойства. Совместная и условная энтропия [Лекция] Практика №2 См. задания
29.09 Практика №2 См. задания
6.10 Тема 3. Взаимная информация и условная взаимная информация [Лекция] Практика №3 Из практики #2, #5
13.10 Тема 4. Энтропия и ее свойства. Совместная и условная энтропия [Лекция] -
20.10 Тема 5. Дискретные источники сообщений. Стационарные источники сообщений и их энтропия. [Лекция] -
27.10 Практика №4. Стационарные источники сообщений.
10.11 Тема 6. Кодирование дискретных источников [Лекция] -
17.11 Тема 6. Кодирование ДИС. Неравенство Крафта и теорема макМиллана. [Лекция] Стационарные марковские источники [Практика]
24.11 Тема 7. Оптимальное кодирование. [Лекция] Кодирование ДИС [Практика]
1.12 Тема 8. Построение оптимальных кодов по алгоритму Хаффмана. [Лекция] Оптимальное кодирование [Практика]
8.12 Тема 9. Дискретные каналы связи. [Лекция] [Che] #4.1 (б, в) [Che] #4.1 (т), 4.2
15.12 Тема 10. Симметричные каналы. [Лекция] [Che] #4.3 [Che] #4.7