使用 Go 处理大型 CSV-Golang-PHP中文网

想法是：

给定一个大型虚拟 CSV（100 万行）包含客户数据样本，并按照以下目标进行处理：

从 CSV 中提取数据

计算有多少数据/行

对每个城市的客户数量进行分组

按客户数量从高到低对城市进行排序

计算处理时间

客户的 CSV 示例可以在此处下载 https://github.com/datablist/sample-csv-files

加载和提取数据

显然 Go 有用于 CSV 处理的标准库。我们不再需要第三方依赖来解决我们的问题，这很好。所以解决方案非常简单：

  // open the file to a reader interface
  c, err := os.Open("../data/customers-1000000.csv")
  if err != nil {
    log.Fatal(err)
  }
  defer c.Close()

  // load file reader into csv reader
  // Need to set FieldsPerRecord to -1 to skip fields checking
  r := csv.NewReader(c)
  r.FieldsPerRecord = -1
  r.ReuseRecord = true
  records, err := r.ReadAll()
  if err != nil {
    log.Fatal(err)
  }

登录后复制

从给定路径打开文件
将打开的文件加载到 csv 阅读器
将所有提取的 csv 记录/行值保存到记录切片中以供以后处理

FieldsPerRecord 设置为 -1，因为我想跳过对行的字段检查，因为每种格式的字段或列数可能不同

在此状态下，我们已经能够从 csv 加载和提取所有数据，并准备好进入下一个处理状态。我们还可以使用函数 len(records) 知道 CSV 中有多少行。

将总客户分组到每个城市

现在我们可以迭代记录并创建包含城市名称和总客户的地图，如下所示：

["Jakarta": 10, "Bandung": 200, ...]

登录后复制

csv 行中的城市数据位于第 7 个索引，代码如下所示

  // create hashmap to populate city with total customers based on the csv data rows
  // hashmap will looks like be ["city name": 100, ...]
  m := map[string]int{}
  for i, record := range records {
    // skip header row
    if i == 0 {
    continue
    }
    if _, found := m[record[6]]; found {
      m[record[6]]++
    } else {
      m[record[6]] = 1
    }
  }

登录后复制

如果城市地图不存在，则创建新地图并将客户总数设置为1。否则只需增加给定城市的总数。

现在我们的地图 m 包含城市的集合以及其中有多少客户。至此我们已经解决了每个城市有多少客户的分组问题。

对总客户数进行排序

我试图找到标准库中是否有任何函数可以对地图进行排序，但不幸的是我找不到它。排序仅适用于切片，因为我们可以根据索引位置重新排列数据顺序。所以，是的，让我们从当前的地图中切出一个切片。

// convert to slice first for sorting purposes
dc := []CityDistribution{}
for k, v := range m {
  dc = append(dc, CityDistribution{City: k, CustomerCount: v})
}

登录后复制

现在我们如何按 CustomerCount 从最高到最低排序？最常见的算法是使用气泡空头。虽然它不是最快的，但它可以完成这项工作。

冒泡排序是最简单的排序算法，如果相邻元素的顺序错误，它的工作原理是重复交换相邻元素。该算法不适合大型数据集，因为其平均和最坏情况时间复杂度相当高。

参考：https://www.geeksforgeeks.org/bubble-sort-algorithm/

使用我们的切片，它将循环数据并检查索引的下一个值，如果当前数据小于下一个索引，则交换它。详细算法可以在参考网站查看。

现在我们的排序过程可能是这样的

  // open the file to a reader interface
  c, err := os.Open("../data/customers-1000000.csv")
  if err != nil {
    log.Fatal(err)
  }
  defer c.Close()

  // load file reader into csv reader
  // Need to set FieldsPerRecord to -1 to skip fields checking
  r := csv.NewReader(c)
  r.FieldsPerRecord = -1
  r.ReuseRecord = true
  records, err := r.ReadAll()
  if err != nil {
    log.Fatal(err)
  }

登录后复制

循环结束时，最后的切片将为我们提供排序后的数据。

计算处理时间

计算处理时间非常简单，我们获取执行程序主进程之前和之后的时间戳并计算差值。在 Go 中，方法应该足够简单：

["Jakarta": 10, "Bandung": 200, ...]

登录后复制

结果

使用命令运行程序

  // create hashmap to populate city with total customers based on the csv data rows
  // hashmap will looks like be ["city name": 100, ...]
  m := map[string]int{}
  for i, record := range records {
    // skip header row
    if i == 0 {
    continue
    }
    if _, found := m[record[6]]; found {
      m[record[6]]++
    } else {
      m[record[6]] = 1
    }
  }

登录后复制

打印出来的是行数、排序数据和处理时间。像下面这样：

Large CSV Processing Using Go