Проблема с HTTPS загрузками в FPHHTPClient при использовании тетеринга на телефон

Delphi , Интернет и Сети , Интернет

В данной статье мы рассмотрим проблему, с которой столкнулся пользователь Gustavo 'Gus' Carreno при использовании компонента FPHTTPClient из библиотеки Free Pascal для загрузки файлов по HTTPS при подключении к интернету через тетеринг телефона. Проблема заключается в том, что загрузка преждевременно обрывается примерно на 74%, и это происходит только при использовании HTTPS, только при тетеринге и только для файлов больше 10MB.

Описание проблемы:

• HTTPS загрузки обрываются на ~74% при использовании FPHTTPClient и тетеринга телефона.
• Проблема возникает только при использовании HTTPS, HTTP загрузки работают нормально.
• Проблема проявляется только для файлов размером более 10MB.
• Другие инструменты (aria2c, wget, cURL, Go, Zig) загружают файлы без проблем.
• FPHTTPClient не генерирует исключений, и возвращает код 200 OK, даже если загрузка не завершена.

Возможные причины и предложенные решения:

1. MTU (Maximum Transmission Unit) и фрагментация пакетов:

   • Описание: MTU определяет максимальный размер пакета данных, который может быть передан по сети. При тетеринге телефона, оператор может использовать туннелирование, что приводит к нестандартному MTU. Если размер пакета превышает MTU, он фрагментируется. Проблема может возникать из-за некорректной обработки фрагментированных пакетов на уровне ssockets или sockets, что приводит к обрыву соединения.
   • Решение: Предложено уменьшить MTU. Это может быть сделано на уровне операционной системы, но, как выяснилось, Ubuntu не всегда корректно отрабатывает установку MTU. Более правильным решением было бы изменение MTU непосредственно в коде, использующем сокеты. Для этого потребуется модификация TInetSocket.
   • Альтернативное решение: Вместо изменения MTU, можно попробовать настроить PMTUD (Path MTU Discovery). PMTUD - это механизм, который позволяет автоматически определять минимальный MTU на пути между двумя хостами. Однако, как было отмечено, PMTUD может не всегда работать корректно.

2. Проблемы с SSL/TLS:

   • Описание: Хотя FPHTTPClient не генерирует исключений, проблема может быть связана с SSL/TLS рукопожатием или разрывом соединения на уровне SSL. Возможно, SSL слой некорректно обрабатывает обрыв соединения и не передает информацию об ошибке на уровень Pascal.
   • Решение: В коде, предоставленном dbannon, показано, как обрабатывать различные исключения, связанные с SSL/TLS, такие как EInOutError (Could not initialize OpenSSL library) и ESSL (openssl problem, maybe FPC cannot work with libopenssl). Необходимо добавить обработку этих исключений в код Gustavo.

   try
SomeString := Client.Get(URL);
except on E: EHTTPClient do
begin
// Обработка ошибок HTTP, например, File Not Found
end;
on E: ESocketError do
begin
// Обработка ошибок сокетов, например, timeout
end;
on E: EInOutError do
begin
// Обработка ошибок ввода/вывода, например, проблемы с OpenSSL
end;
on E: ESSL do
begin
// Обработка ошибок SSL, например, проблемы с версией OpenSSL
end;
on E: Exception do
begin
// Обработка всех остальных исключений
end;
end;

   • Альтернативное решение: Попробовать использовать другую библиотеку для работы с HTTPS, например, Indy или Synapse. Однако, как было отмечено, при использовании этих библиотек могут возникнуть проблемы с версиями OpenSSL.

3. Chunked Transfer Encoding:

   • Описание: Возможно, сервер использует chunked transfer encoding для передачи данных. В этом случае, данные передаются небольшими "кусками" (chunks). Проблема может быть связана с некорректной обработкой этих "кусков" в FPHTTPClient.
   • Решение: Убедиться, что FPHTTPClient корректно обрабатывает chunked transfer encoding. Можно попробовать отключить chunked transfer encoding на стороне сервера (если это возможно).
   • Альтернативное решение: Использовать другой компонент для загрузки файлов, который более надежно обрабатывает chunked transfer encoding.

4. Ошибки на уровне провайдера:

   • Описание: При тетеринге телефона, данные проходят через сеть мобильного оператора. Возможно, проблема связана с ошибками на уровне оператора, например, потеря пакетов или обрыв соединения.
   • Решение: Протестировать загрузку файлов через другую сеть (например, Wi-Fi) и сравнить результаты.
   • Альтернативное решение: Связаться с оператором и сообщить о проблеме.

Как отладить проблему:

1. Включить логирование: Добавить логирование в код FPHTTPClient, чтобы отслеживать процесс загрузки, размер полученных данных, и любые ошибки.
2. Использовать отладчик: Использовать отладчик Lazarus для пошагового выполнения кода FPHTTPClient и анализа значений переменных.
3. Анализировать сетевой трафик: Использовать инструменты анализа сетевого трафика, такие как Wireshark, для отслеживания пакетов данных, передаваемых между клиентом и сервером.

Пример кода для изменения MTU (требует модификации TInetSocket):

К сожалению, в стандартной библиотеке FPC нет прямого способа изменить MTU для TInetSocket. Потребуется внести изменения в исходный код компонента. Пример (не тестировался):

unit ModifiedInetSocket;

interface

uses
  Sockets;

type
  TModifiedInetSocket = class(TInetSocket)
  private
    FMTU: Integer;
  protected
    procedure SetMTU(const Value: Integer);
  public
    property MTU: Integer read FMTU write SetMTU;
  end;

implementation

uses
  SysUtils;

procedure TModifiedInetSocket.SetMTU(const Value: Integer);
var
  SocketHandle: TSocket;
  ResultCode: Integer;
begin
  FMTU := Value;
  SocketHandle := GetSocket; // Получаем хэндл сокета

  // Здесь необходимо использовать специфичные для операционной системы вызовы
  // для установки MTU.  Пример для Linux:
  {$IFDEF UNIX}
  ResultCode := setsockopt(SocketHandle, IPPROTO_IP, IP_MTU, @FMTU, SizeOf(FMTU));
  if ResultCode <> 0 then
  begin
    RaiseLastOSError; // Выбрасываем исключение в случае ошибки
  end;
  {$ENDIF}

  // Добавьте код для других операционных систем (Windows, macOS)
  // используя соответствующие API для установки MTU.
end;

end.

Важно: Данный код является лишь примером и требует доработки и тестирования. Необходимо учитывать особенности каждой операционной системы при установке MTU.

Заключение:

Проблема, с которой столкнулся Gustavo, является сложной и может быть вызвана несколькими факторами. Предложенные решения и методы отладки помогут локализовать проблему и найти оптимальное решение. Учитывая, что проблема возникает только при тетеринге телефона, наиболее вероятной причиной является нестандартный MTU. Однако, необходимо также учитывать возможные проблемы с SSL/TLS и chunked transfer encoding. Надеемся, что данная статья поможет Gustavo и другим разработчикам, использующим FPHTTPClient, решить подобные проблемы.

Создано по материалам из источника по ссылке.

Статья описывает проблему обрыва HTTPS загрузок в FPHHTPClient при использовании тетеринга телефона и предлагает возможные причины и решения, включая MTU, SSL/TLS, chunked transfer encoding и ошибки на уровне провайдера.

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: Интернет ::