Как использовать TFDBatchMove для синхронизации таблиц SQLite: решение проблем с обновлением и вставкой записей в Delphi и FireDAC

Delphi , Компоненты и Классы , TBatchMove

Использование TFDBatchMove для синхронизации таблиц SQLite в Delphi

В этой статье мы рассмотрим, как использовать компонент TFDBatchMove в Delphi для синхронизации данных между двумя таблицами SQLite. Мы разберём распространённые ошибки и предложим альтернативные решения для эффективной синхронизации.

Проблема синхронизации данных между таблицами

Пользователь Jasonjac2 столкнулся с необходимостью периодической синхронизации данных между двумя базами данных (изначально между SQLite и Firebird). Он попытался использовать TFDBatchMove, но столкнулся с рядом проблем:

1. Ошибка "Not Implemented" при попытке обновления записей.
2. Ошибка "Exact update affected [0] rows, while [1] was requested".
3. Проблемы с использованием вычисляемых полей.
4. Сложности при работе с разными структурами таблиц.

Решение с TFDBatchMove

После экспериментов пользователь обнаружил, что установка свойства Direct в False для TFDBatchMoveDataSetWriter решает проблему обновления:

FDBatchMoveDataSetWriter1.Direct := False;

Пример настройки TFDBatchMove

// Настройка соединений
FDConnectionSQLiteSrc := TFDConnection.Create(nil);
FDConnectionSQLiteSrc.DriverName := 'SQLite';
FDConnectionSQLiteSrc.Params.Values['Database'] := 'source.db';

FDConnectionSQLiteDest := TFDConnection.Create(nil);
FDConnectionSQLiteDest.DriverName := 'SQLite';
FDConnectionSQLiteDest.Params.Values['Database'] := 'destination.db';

// Настройка таблиц
tblsrcWebUsers := TFDTable.Create(nil);
tblsrcWebUsers.Connection := FDConnectionSQLiteSrc;
tblsrcWebUsers.TableName := 'WEB_USERS';

tbldestWebUsers := TFDTable.Create(nil);
tbldestWebUsers.Connection := FDConnectionSQLiteDest;
tbldestWebUsers.TableName := 'WEB_USERS';

// Настройка BatchMove
FDBatchMove1 := TFDBatchMove.Create(nil);
FDBatchMove1.Reader := FDBatchMoveDataSetReader1;
FDBatchMove1.Writer := FDBatchMoveDataSetWriter1;
FDBatchMove1.Mode := dmAppendUpdate;
FDBatchMove1.Options := [poIdentityInsert, poSkipUnmatchedDestFields, poUseTransactions];

FDBatchMoveDataSetReader1 := TFDBatchMoveDataSetReader.Create(nil);
FDBatchMoveDataSetReader1.DataSet := tblsrcWebUsers;

FDBatchMoveDataSetWriter1 := TFDBatchMoveDataSetWriter.Create(nil);
FDBatchMoveDataSetWriter1.DataSet := tbldestWebUsers;
FDBatchMoveDataSetWriter1.Direct := False; // Ключевой параметр!

// Запуск синхронизации
try
  FDBatchMove1.Execute;
finally
  // Очистка ресурсов
end;

Ограничения TFDBatchMove

1. Отсутствие поддержки вычисляемых полей в источнике
   Если в исходном наборе данных есть вычисляемые поля, они не будут автоматически включены в процесс синхронизации.

2. Проблемы с производительностью при больших объемах данных
   Алгоритм поиска совпадающих записей может быть неэффективным для тысяч записей.

3. Ограниченная гибкость при работе с разными структурами таблиц
   Требуется точное соответствие первичных ключей и дополнительная настройка маппинга.

Альтернативные решения

1. Ручная синхронизация с использованием "лестничного" алгоритма

procedure SyncTables(Source, Dest: TFDQuery);
var
  SrcID, DestID: Integer;
begin
  Source.Open;
  Dest.Open;

  Source.First;
  Dest.First;

  while not (Source.EOF and Dest.EOF) do
  begin
    if Source.EOF then
    begin
      // Удаление лишних записей в назначении
      Dest.Delete;
      Continue;
    end;

    if Dest.EOF then
    begin
      // Вставка новых записей из источника
      Dest.Append;
      // Копирование полей...
      Dest.Post;
      Source.Next;
      Continue;
    end;

    SrcID := Source.FieldByName('ID').AsInteger;
    DestID := Dest.FieldByName('ID').AsInteger;

    if SrcID < DestID then
    begin
      // Вставка новой записи
      Dest.Insert;
      // Копирование полей...
      Dest.Post;
      Source.Next;
    end
    else if SrcID > DestID then
    begin
      // Удаление устаревшей записи
      Dest.Delete;
    end
    else
    begin
      // Обновление существующей записи
      Dest.Edit;
      // Копирование измененных полей...
      Dest.Post;
      Source.Next;
      Dest.Next;
    end;
  end;
end;

2. Использование триггеров в SQLite (если базы на одном сервере)

-- Пример триггера для синхронизации
CREATE TRIGGER sync_after_insert AFTER INSERT ON source_table
BEGIN
  INSERT OR REPLACE INTO destination_table (id, username, role)
  VALUES (NEW.id, NEW.username, NEW.role);
END;

3. Использование FireDAC без TFDBatchMove

procedure DirectSync(Source, Dest: TFDQuery);
begin
  Dest.SQL.Text := 'DELETE FROM web_users';
  Dest.ExecSQL;

  Source.Open;
  while not Source.EOF do
  begin
    Dest.SQL.Text := 'INSERT INTO web_users (id, username, role) ' +
                     'VALUES (:id, :username, :role)';
    Dest.ParamByName('id').AsInteger := Source.FieldByName('id').AsInteger;
    Dest.ParamByName('username').AsString := Source.FieldByName('username').AsString;
    Dest.ParamByName('role').AsString := Source.FieldByName('role').AsString;
    Dest.ExecSQL;

    Source.Next;
  end;
end;

Заключение

TFDBatchMove может быть полезен для простых сценариев синхронизации, но имеет ряд ограничений. Для более сложных случаев лучше рассмотреть:

1. Ручную реализацию алгоритма синхронизации.
2. Использование триггеров на уровне базы данных.
3. Создание специализированных компонентов для конкретной задачи.

Выбор метода зависит от объема данных, частоты синхронизации и требований к производительности. Для небольших таблиц TFDBatchMove с Direct=False может быть достаточным решением, но для промышленного использования рекомендуется разработать более надежное решение.

Создано по материалам из источника по ссылке.

Использование компонента TFDBatchMove в Delphi для синхронизации данных между таблицами SQLite с описанием проблем и альтернативных решений.

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: TBatchMove ::