Webページ取得：URLコンポーネント（AI Flowi Workflow）
Webページ取得を行うURLは、カタログでは「リンクを再帰的にたどり、1つ以上のWebページからコンテンツを取得する」と説明されています。次の接続は、Table型のExtracted Pagesポート、またはMessage型のRaw Contentポートのいずれかに合わせて設計します。
URLはカタログに記載されていますが、Ai Flowiによる本番環境でのテストは行われていません。
執筆：Ai Flowi · 公開日
カタログの参照情報
2026年10月9日にエクスポートされたAI Flowi Workflow 1.9.2の data_source.URLComponent には、URLの11の設定と、型が異なる2つの出力ポートが記載されています。 コンポーネントカタログ では、より広範なコンポーネントの一覧を確認できます。
入力
エクスポートされたデータでは、urlsを含むURLのすべての入力が任意となっています。真偽値の設定名から各機能を識別できますが、既定値や詳しい動作は示されていません。選択肢が記載されているのはformatだけです。モバイル端末でURLの設定を確認する場合は、入力表の中を横にスクロールすると説明列を表示できます。
| 名前 | 型 | 必須 | 接続可能な入力型 | 説明 |
|---|---|---|---|---|
autoset_encoding | bool | いいえ | 記載なし | 名前が示す機能は文字エンコーディングの自動設定です。検出規則や既定値は記載されていません。 |
check_response_status | bool | いいえ | 記載なし | 応答ステータスを確認する設定です。確認対象のコードや失敗時の動作は記載されていません。 |
continue_on_failure | bool | いいえ | 記載なし | 失敗時に処理を続行する設定です。対象となる失敗は、エクスポートされたデータでは特定されていません。 |
filter_text_html | bool | いいえ | 記載なし | HTML／テキストのフィルタリング設定です。フィルタリング規則はエクスポートされていません。 |
format | str | いいえ | 記載なし | コンテンツ形式の選択肢として、Text、HTML、Markdownが記載されています。 |
headers | table | いいえ | DataFrame, Table | DataFrameまたはTableを受け付けるヘッダーの設定です。必要な表の列は示されていません。 |
max_depth | slider | いいえ | 記載なし | スライダーで指定する再帰の深さの設定です。範囲や開始レベルは記載されていません。 |
prevent_outside | bool | いいえ | 記載なし | 名前からは、範囲外のリンクをたどるのを防ぐ設定だと読み取れます。どの範囲を境界とするかは、ここでは定義されていません。 |
timeout | int | いいえ | 記載なし | タイムアウトを整数で指定する設定です。単位、範囲、既定値は記載されていません。 |
urls | str | いいえ | Message | Messageを受け付けるWebページのアドレス入力です。複数のアドレスを区切る方法は記載されていません。 |
use_async | bool | いいえ | 記載なし | 名前が示す機能は非同期処理の利用です。同時実行や順序に関する仕様は示されていません。 |
記載されている選択肢
format:Text,HTML,Markdown。
出力
| 表示名 | 名前 | 型 |
|---|---|---|
| Extracted Pages | page_results | Table |
| Raw Content | raw_results | Message |
page_resultsはTable型、raw_resultsはMessage型です。後続ステップを設定する際は、2つのポートを同じように使えると考えず、既存のParserとLoopのリファレンスを参照してください。
URLを使用する場合
ページのアドレスが分かっていてコンテンツを取得する必要がある場合に、URLを選択します。カタログには、リンクを再帰的にたどる機能が記載されています。次のステップが表形式のデータを受け取る場合は、 Parser または Loop を読み、抽出された行を確認してから接続してください。
別のコンポーネントを選ぶ場合
検索クエリから始める場合は、 Web Search を使用します。フィードのアドレスには RSS Readerが適しています。送信するHTTPメソッドやリクエスト本文を設定する場合は、 API Requestを参照してください。
最小構成
設定例です。実施記録のあるテストではありません
{
"urls": "https://example.com/",
"format": "Text"
}例示用のアドレスをurlsに入力し、formatからTextを選択します。複数URLの区切り方法を推測で補わないように、この例ではアドレスを1つだけ使用しています。収集範囲を広げる前に、エディターでmax_depthとprevent_outsideを確認し、page_resultsとraw_resultsの両方を調べてください。この例では実際の取得は行っていません。
制限事項
- 説明には再帰的な取得が記載されていますが、max_depthの範囲はエクスポートされておらず、prevent_outsideにもドメインやパスの境界の定義がありません。いずれの設定も、クロール規模の上限を保証するものではありません。
- この項目には、ブラウザーによる描画、ログインセッション、JavaScriptの実行に関する仕様がありません。そのため、動的なページや認証が必要なページから抽出できるとは断定できません。
- continue_on_failureとcheck_response_statusには、エラー行、再試行の動作、個別のエラーポートの記載がありません。一部だけ取得できた結果の扱いは、設定を行ったうえで実行して確認する必要があります。
- formatの選択肢としてText、HTML、Markdownが記載されていますが、変換規則や出力例はありません。ヘッダー表の構成、タイムアウトの単位、非同期処理の結果の順序も未記載です。
接続と認証情報の仕組みは、 接続ガイドで説明されています。このURLの項目には、保存済みアカウントの選択機能は記載されていません。
ノードの使用量
ページ取得の予算については、 ワークフローの料金 と 自動化の費用ガイドを参照してください。
関連コンポーネント
Web Search · RSS Reader · API Request · Parser · Loop