Процесс преобразования информации часто требует представлять буквы одного алфавита средствами (буквами, словами) другого. Такое представление и называется кодированием. Процесс обратного преобразования информации относительно ранее выполненного кодирования называется декодированием.
Кодирование может производится без потери и с потерями информации. Так, преобразование принципиально различных видов информации – непрерывной в дискретную (аналого-цифровое преобразование, т.е. АЦП) и дискретной в непрерывную (цифро-аналоговое преобразование, т.е. ЦАП) – возможно только с потерей информации. Под дискретным источником сообщений понимается источник сообщений, обладающий конечным алфавитом, а под непрерывным — обладающий бесконечным алфавитом.
Сжатие без потерь применяется в тех случаях, когда информацию нужно восстановить с точностью до бита. Такой подход является единственно возможным при сжатии, например, текстовых данных. В некоторых случаях, однако, не требуется точного восстановления информации и допускается использовать алгоритмы, реализующие сжатие с потерями, которое, в отличие от сжатия без потерь, обычно проще реализуется и обеспечивает более высокую степень архивации.
Сжатие с потерями применяется, в основном, для сжатия аналоговых данных — звука, изображений. В таких случаях распакованный файл может очень сильно отличаться от оригинала на уровне побитного сравнения, но практически неотличим для человеческого уха или глаза в большинстве практических применений. При сжатии без потерь данные восстанавливаются с точностью до бита, что не приводит к каким-либо потерям информации, однако сжатие без потерь показывает обычно худшие степени сжатия.
К кодированию можно отнести и сжатие (архивацию) информации. Сжатие – это устранение избыточности информации, например, за счет упрощения кодов путем исключения из них постоянных битов.
Другой разновидностью кодирования является криптографическое преобразование информации (шифрование). В настоящей работе далее будет рассматриваться только сжатие без потерь.

Купить

Одним из наиболее значимых применений математической теории информации является создание способов записи информации, близких к оптимальному кодированию. Кодирование по Хаффману и арифметическое кодирование, рассмотренные выше, демонстрируют такие способы. Определение сложности объекта или явления по Колмогорову позволяет понять основы всех современных алгоритмов сжатия, а теория информации в целом объясняет, почему невозможно без потери некоторой доли информации сжать тот или иной файл до размера, меньше определенной величины. Таким образом, становится ясно, что эффективное хранение звуковой, графической и видеоинформации, широко распространенное в настоящее время (форматы MPEG, JPEG и т.п.), невозможно организовать без некоторой потери качества.
Основным недостатком алгоритмов префиксного кодирования является специфическое влияние помех на достоверность декодирования, которое проявляется в том, что одиночная ошибка в кодовой комбинации может перевести ее в другую кодовую комбинацию, не равную ей по длительности. Это может привести к неверному декодированию ряда последующих комбинаций. Существенным недостатком является также сложность технической реализации систем оптимального кодирования, которые должны включать в себя буферные устройства и устройства накопления. Использование этих устройств вызвано тем, что длина кодовых комбинаций различна, а каналы связи эффективно работают только в том случае, если символы поступают на них с постоянной скоростью. Кроме этого, при кодировании блоками необходимо накапливать символы, прежде чем присвоить их совокупности какую-либо кодовую комбинацию.

Купить