ページングインターフェイスを使用したループ読み取りの最適なソリューションは何ですか?

現在、サードパーティのインターフェイスデータを読み取る必要があるため、データ量が比較的大きいため、サードパーティはページングを使用し、ループ内でcurl読み取りインターフェイスメソッドを呼び出して、 json データを配列に追加する際、配列を結合するときにデータのフィルタリングとウェアハウス操作が実行されますが、サードパーティのインターフェイスが不安定なため、読み取りに失敗する可能性があります。もっと良い解決策はありますか?

返信内容:

現在、サードパーティのインターフェイスデータを読み取る必要があります。データ量が比較的大きいため、サードパーティはページングを使用して、ループ内でカール読み取りインターフェイスメソッドを呼び出すことです。その後、json を追加します。データは配列に変換され、配列が結合され、データがフィルタリングされてデータベースに保存されます。ただし、サードパーティのインターフェイスが不安定なため、読み取りが失敗する可能性があります。もっと良い解決策はありますか?

データの量が多い場合は、スケジュールされたスクリプトを使用してデータを取得できます。
プルするときは、ページングデータの変更の問題を避けるために、最初に自動インクリメントIDなどのフィールドに従って並べ替えます。
その後、スクリプトの実行時またはループの終了時に最大の ID を書き留め、次回実行時にこの値より大きい条件をもたらします。

その後、スクリプトの実行時にインターフェース呼び出しが失敗した場合は、何度かプルを試みて失敗した場合は、スクリプトの実行を停止し、ID を書き留めて、早期警告メッセージを表示して手動介入を行うことができます。 。
そうですね、簡単なアイデアです

1. 単一のデータキャプチャの一意性を確保するために、クロール元のデータベースを確立することをお勧めします
2. インターフェイスが不安定で、カールの失敗の処理。データキャプチャが成功するように最善を尽くしてください
3. 1 に基づいて、データが繰り返し処理されないように準備してください

上記が最適です。ページング インターフェイスを使用したループ読み取りのソリューション、その他 関連コンテンツについては、PHP 中国語 Web サイト (m.sbmmt.com) に注目してください。