Программы, обрабатывающие большие массивы данных, т.е. объемы данных, превышающие размеры оперативной памяти, активно используют дисковую подсистему для хранения информации о промежуточных вычислениях и результатах своей работы. Примерами задач, требующих хранения таких объемов данных, могут служить задачи численного моделирования статических и динамических систем, задачи биоинформатики, системы хранения и анализа протоколов работы и другие. Во многих случаях требуется произвольный доступ к отдельным участкам данных на чтение и изменение.
Применение сжатия способно уменьшить требуемые объемы дискового пространства для хранения данных (например, в операционных системах семейства GNU/Linux широко применяется модуль ядра zram для сжатия данных процессов в памяти). Однако, прямое применение библиотек сжатия и архиваторов не всегда удобно, так как использование подобных инструментов требует освоения пользователем их интерфейсов и учета особенностей работы каждой из программ.
Более удобное решение представит собой библиотеку, обеспечивающую сохранение данных в сжатом виде, но имеющую при этом привычный для используемого языка программирования (аналогичный стандартной библиотеке языка) интерфейс файлового ввода-вывода.
Данная работа посвящена реализации библиотеки файлового ввода- вывода с произвольным доступом к данным, обеспечивающей прозрачные для пользователя (программиста) сжатие и распаковку сохраняемых в файл данных, для языка программирования СИ с интерфейсом, аналогичным интерфейсу программирования приложений библиотеки stdio. Библиотека должна представлять собой обертку над реализациями алгоритмов сжатия данных, предоставляемых библиотеками, выбираемыми программистом.
В ходе работы реализован функционал, обеспечивающий хранение данных в виде независимо сжимаемых блоков, произвольный доступ к данным на чтение и изменение. Также была проведена оптимизация операций чтения и записи с помощью реализации механизма кеширования блоков данных. Пользователю предоставлена возможность конфигурирования работы библиотеки. Были проведены тесты производительности ввода-вывода и сделан вывод о применимости полученного решения на практике.
В ходе проведения данной работы была реализована библиотека файлового ввода-вывода, обеспечивающая прозрачное для пользователя (программиста) сжатие и распаковку сохраняемых в файл данных, для языка программирования Си.
Были решены следующие задачи:
1. Реализован интерфейс программирования приложений (API), обеспечивающий произвольный доступ к данным, в который вошли следующие аналоги функций стандартной библиотеки:
• cFILE* cfopen(const char*, const char*, cCONFIG*);
• int cfclose(cFILE*);
• int cfseek(cFILE*, long int, int);
• long int oftell(cFILE*);
• void crewind(cFILE*);
• size_t cfread(void*, size_t, size_t, cFILE*);
• size_t cfwrite(void*, size_t, size_t, cFILE*);
• int cfsync(cFILE*).
2. Реализован механизм кэширования блоков.
3. Пользователю предоставлена возможность конфигурирования работы библиотеки.
4. Выполнено тестирование производительности файлового ввода- вывода и сделан вывод о пригодности реализованной библиотеки ввода-вывода для использования в задачах, требующих произвольного доступа к данным на чтение и изменение.
Исходный код библиотеки можно найти на github-репозитории: https://github.com/rousewayse/compressedio
