golang - go-sql-driver/mysql for rows.Next()的性能问题
天蓬老师
天蓬老师 2017-04-17 15:19:56
0
2
871

1.当查询出来的记录过万时,遍历Rows的时间过长,达到1分钟甚至更多

程序代码:

rows, err := p.conn.Query(sqlStr, params...)
if err != nil {
    log.Println("mysql query error", err.Error())
    return nil, err
}
log.Println("conn结束:", goutil.GetCurrentTime())
//延时关闭Rows
defer rows.Close()
//获取记录列
if columns, err := rows.Columns(); err != nil {
    return nil, err
} else {
    //拼接记录Map
    values := make([]sql.RawBytes, len(columns))
    scans := make([]interface{}, len(columns))

    for i := range values {
        scans[i] = &values[i]
    }
    //此处遍历在3W记录的时候,长达1分钟甚至更多
    for rows.Next() {
        _ = rows.Scan(scans...)
        each := map[string]interface{}{}
        for i, col := range values {
            each[columns[i]] = string(col)
        }
        rowMaps = append(rowMaps, each)
    }
    return rowMaps, nil
}
天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

全員に返信(2)
小葫芦

複数のゴルーチンを作成して、セグメント内のデータをクエリできます。反復のためにスレッド内のクエリ構造を取得するには、channl を使用します。

いいねを押す +0
伊谢尔伦

これは golang のパフォーマンスの問題ではなく、他のプログラミング言語も同様です。一度に 30,000 件のレコードを取得するのは無理な要求です。ページングによって解決する必要があり、一度に数十から数百件のレコードを取得するだけです。

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート