Загрузка веб-страниц: компонент URL (AI Flowi Workflow)

Загрузка веб-страниц в URL описана в каталоге так: «Получение содержимого одной или нескольких веб-страниц с рекурсивным переходом по ссылкам». Планируйте подключение следующего узла через порт Extracted Pages типа Table или порт Raw Content типа Message.

URL описан в каталоге; Ai Flowi не проверяла его в производственной среде.

Автор: Ai Flowi · Опубликовано

Сведения из каталога

Для URL в data_source.URLComponent из AI Flowi Workflow 1.9.2 указаны одиннадцать настроек и два выходных порта разных типов; выгрузка сделана 9 октября 2026. Весь перечень компонентов представлен в каталоге компонентов.

Входные параметры

В выгрузке все входные параметры URL необязательны, включая urls. Названия логических параметров указывают на соответствующие настройки, но значения по умолчанию и подробное поведение не приведены; список вариантов указан только для format. На мобильном устройстве прокрутите таблицу входных параметров URL по горизонтали, чтобы увидеть столбец с пояснениями.

Входные параметры URL из каталога
ИмяТипОбязательныйДопустимые типы входных данныхПояснение
autoset_encodingboolНетНе указаныСудя по названию, настройка автоматической установки кодировки. Правила определения кодировки и значение по умолчанию не документированы.
check_response_statusboolНетНе указаныНастройка проверки статуса ответа; проверяемые коды и поведение при сбое не указаны.
continue_on_failureboolНетНе указаныНастройка продолжения работы при сбое. В выгрузке не указано, на какие сбои она распространяется.
filter_text_htmlboolНетНе указаныНастройка фильтрации HTML/текста; правила фильтрации в выгрузке отсутствуют.
formatstrНетНе указаныУказанные варианты формата содержимого: Text, HTML или Markdown.
headerstableНетDataFrame, TableНастройка заголовков, принимающая DataFrame или Table. Необходимые столбцы таблицы не указаны.
max_depthsliderНетНе указаныНастройка глубины рекурсии в виде ползунка; диапазон и начальный уровень не указаны.
prevent_outsideboolНетНе указаныСудя по названию, настройка запрета перехода по внешним ссылкам; применяемая граница здесь не определена.
timeoutintНетНе указаныЦелочисленная настройка времени ожидания; единица измерения, диапазон и значение по умолчанию не документированы.
urlsstrНетMessageВходной параметр адреса веб-страницы, принимающий Message. В описании не указано, как разделять несколько адресов.
use_asyncboolНетНе указаныСудя по названию, настройка асинхронного выполнения. Условия параллельного выполнения и порядок выдачи результатов не описаны.

Доступные варианты

  • format: Text, HTML, Markdown.

Выходные порты

Выходные порты URL в выгрузке
Отображаемое имяИмяТип
Extracted Pagespage_resultsTable
Raw Contentraw_resultsMessage

Тип page_results — Table, а тип raw_results — Message. При настройке следующих узлов сверяйтесь с имеющимися справочниками Parser и Loop, а не считайте эти два порта взаимозаменяемыми.

Когда использовать URL

Выберите URL, если адреса страниц известны и нужно получить их содержимое с описанным в каталоге рекурсивным переходом по ссылкам. Если следующий шаг принимает таблицу, изучите Parser или Loop и проверьте извлечённые строки перед подключением.

Когда выбрать другой компонент

Используйте Web Search, если отправная точка — поисковый запрос. Для адреса ленты подходит RSS Reader; для настройки метода исходящего HTTP-запроса или его тела изучите API Request.

Минимальная конфигурация

пример конфигурации, а не зафиксированный тест

{
  "urls": "https://example.com/",
  "format": "Text"
}

Поместите адрес из примера в urls и выберите Text в format. Здесь используется один адрес, чтобы не придумывать разделитель для нескольких URL. Перед увеличением объёма сбора проверьте настройки max_depth и prevent_outside в редакторе, затем проверьте page_results и raw_results; для этого примера загрузка не выполнялась.

Ограничения

  • В описании указана рекурсивная загрузка, но пределы max_depth в выгрузке отсутствуют, а для prevent_outside не определены границы домена или пути. Ни одна из этих настроек не задаёт подтверждённого максимального объёма обхода.
  • В описании нет гарантий браузерного рендеринга, работы с сеансом входа в систему или выполнения JavaScript, поэтому извлечение данных с динамических страниц и страниц, требующих входа в систему, не подтверждено.
  • Для continue_on_failure и check_response_status не документированы строки с ошибками, повторные попытки или отдельный порт ошибок. Обработку частичных результатов нужно проверить при запуске настроенного компонента.
  • Для format перечислены Text, HTML и Markdown, но правила преобразования и пример результата отсутствуют. Структура таблицы заголовков, единицы времени ожидания и порядок асинхронных результатов также не указаны.

Механизмы подключения и работы с учётными данными описаны в руководстве по подключениям; в этой записи URL не указан элемент выбора сохранённой учётной записи.

Расход токенов при запуске узлов

Для расчёта бюджета загрузки страниц изучите тарифы рабочих процессов и руководство по стоимости автоматизации.

Web Search · RSS Reader · API Request · Parser · Loop