Müssen die Flatfiles dasselbe JSON-Format haben?

Question

Sie können die verschiedenen Antworten der API sehen

Anleitung: Im oben geteilten Screenshot habe ich zwei verschiedene Dateien verglichen. Links sind die Daten Seitennummer 1, und rechts erhalte ich Daten für Seitennummer 1080. Sie können sehen, dass ich auf Seite 1 die Sendung in Form des Arrays [ ] erhalten habe, das leer ist, während ich auf Seite 1080 die Sendung in Form des Objekts {} erhalten habe. Außerdem erhalte ich in diesem Objekt ein Array von pd-option [ ]

Dies wird Ihnen helfen, die gelieferten Arrays und Objekte zu verstehen

Meine Frage ist also: Muss das Dateiformat in ADF das gleiche sein, mit dem ich 1700 Dateien in die Reduzierung konvertieren möchte, oder nicht? Wie können wir dann in Azure ADF verschiedene Formate bereitstellen, um die Dateien zu reduzieren?

P粉543344381 · Answer

要拼合文件，您需要使文件具有相同的格式。您可以使用 Azure 数据流来展平数据或任何与数据相关的操作。
如果数据的格式不同，您也可以使用转换将它们转换为相同的格式。
以下是相同的示例。假设 file1.json 中有以下数据：

{
    "id":"A1",
    "shipment":[]
}

file2.json 具有以下数据：

{
    "id":"A1",
    "shipment":{ "id": 171700, "order_print_process_id": 170541 }
}

您不能使用相同的逻辑来拼合此处的文件，因为它们的类型不同。当您读取 file1.json 时，您可以看到该文件的投影：

由于发货属性值不同，file2.json 的投影将与 file1.json 不同。

您可以展平 file1.json，但需要使用不同的逻辑才能从 file2.json 中提取货件。使用如下所示的选择转换来提取属性。

因此，您需要根据货件价值处理这些文件。对这两个文件使用相同的逻辑是行不通的。