Уровень сжатия как глобальная переменная улучшает читабельность кода при сжатии строк: UnZSTD(ZSTD('Hello World')) вместо UnZSTD(ZSTD('Hello World', 20)), но thread safety действительно требует внимания.

Delphi , Синтаксис , Шифрование

ZSTD сжатие и декомпрессия в Lazarus/FPC: баланс между читабельностью и потокобезопасностью

В современных приложениях, особенно тех, которые работают с большими объемами данных, эффективное сжатие становится критически важным. Zstandard (ZSTD) – это современный алгоритм сжатия, разработанный Facebook, отличающийся высокой скоростью и отличным коэффициентом сжатия. В последнее время активно развивается поддержка ZSTD в Lazarus и Free Pascal Compiler (FPC), что открывает новые возможности для разработчиков на Delphi/Pascal.

В данной статье мы рассмотрим реализацию ZSTD сжатия и декомпрессии в Lazarus/FPC, основанную на библиотеке, представленной на GitHub (https://github.com/Xelitan/ZSTD-compression-decompression-for-Delphi-Lazarus). Мы обсудим как текущую реализацию, так и потенциальные улучшения, касающиеся потокобезопасности.

Текущая реализация и примеры использования

Текущая реализация ZSTD для Lazarus/FPC предоставляет функции ZSTD для сжатия и UnZSTD для декомпрессии. Особенностью реализации является использование глобальной переменной ZSTD_COMPRESSION для определения уровня сжатия. Это позволяет упростить код при сжатии строк, делая его более читабельным.

Рассмотрим примеры использования:

Сжатие файла:

var
  F, P: TFileStream;
  Size: Integer;
begin
  ZSTD_COMPRESSION := 10; // Уровень сжатия (1-22)
  F := TFileStream.Create('test.txt', fmOpenRead);
  P := TFileStream.Create('test.zstd', fmCreate);
  ZSTD(F, P);
  Size := F.Size;
  F.Free;
  P.Free;
end;

Декомпрессия файла:

var
  F, P: TFileStream;
  Size: Integer;
begin
  F := TFileStream.Create('test.zstd', fmOpenRead);
  P := TFileStream.Create('test2.txt', fmCreate);
  UnZSTD(F, P, Size);
  F.Free;
  P.Free;
end;

В этих примерах ZSTD_COMPRESSION определяет уровень сжатия. Значение 1 обеспечивает быструю компрессию с большим размером выходного файла, в то время как значение 22 обеспечивает максимальное сжатие, но требует больше времени. Значения между 1 и 22 являются оптимальными, а отрицательные значения приводят к непрактически большим файлам.

Сжатие строки:

uses
  System.SysUtils;

begin
  ZSTD_COMPRESSION := 5;
  S := ZSTD('Hello World');
  UnZSTD(S);
end;

Здесь видно, насколько лаконичнее выглядит код при использовании глобальной переменной ZSTD_COMPRESSION. Вместо передачи уровня сжатия в функцию ZSTD, мы просто вызываем её, полагаясь на текущее значение глобальной переменной.

Проблема потокобезопасности

Основной недостаток текущей реализации – использование глобальной переменной ZSTD_COMPRESSION. В многопоточных приложениях это может привести к гонкам данных и непредсказуемому поведению. Если несколько потоков одновременно изменяют ZSTD_COMPRESSION или используют её для сжатия/декомпрессии, результаты могут быть неверными.

Как справедливо отметил PascalDragon, необходимо решить проблему потокобезопасности.

Альтернативное решение: локальное состояние сжатия

Предлагаемое альтернативное решение заключается в создании структуры (или записи) для хранения состояния сжатия, включая уровень сжатия. Эта структура передается в функции ZSTD и UnZSTD в качестве параметра.

type
  TZSTDState = record
    CompressionLevel: Integer;
  end;

function ZSTD(InputStream: TFileStream; OutputStream: TFileStream; const State: TZSTDState): Integer;
// ... реализация ZSTD с использованием State.CompressionLevel ...

function UnZSTD(InputStream: TFileStream; OutputStream: TFileStream; Size: Integer; const State: TZSTDState): Integer;
// ... реализация UnZSTD с использованием State.CompressionLevel ...

begin
  TZSTDState.CompressionLevel := 10;
  ZSTD(F, P, TZSTDState);
  UnZSTD(F, P, Size, TZSTDState);
end;

Этот подход позволяет каждому потоку иметь собственное состояние сжатия, исключая гонки данных и обеспечивая потокобезопасность. Он также более гибкий, поскольку позволяет каждому потоку использовать свой уровень сжатия, не влияя на другие потоки.

Заключение

ZSTD сжатие и декомпрессия в Lazarus/FPC предоставляют мощный инструмент для оптимизации производительности приложений, работающих с большими объемами данных. Использование глобальной переменной ZSTD_COMPRESSION упрощает код при сжатии строк, но создает проблемы с потокобезопасностью. Предлагаемое альтернативное решение – создание локального состояния сжатия – позволяет решить эту проблему и повысить надежность приложения в многопоточной среде. Разработчикам рекомендуется рассмотреть возможность внедрения этого решения для обеспечения максимальной безопасности и гибкости.

Создано по материалам из источника по ссылке.

Статья посвящена реализации алгоритма Zstandard (ZSTD) сжатия и декомпрессии в Lazarus/FPC, включая обсуждение текущей реализации, примеров использования и проблем с потокобезопасностью, предлагая альтернативное решение с локальным состоянием сжатия.

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: Шифрование ::