objektif-c - Bagaimana untuk mempercepatkan membaca 50 juta data dari fail dan menyimpannya dalam vektor menggunakan C++?

Question

Saya perlu membaca 50 juta data berganda daripada fail txt dan menyimpannya dalam vektor Saya pada mulanya berpendapat bahawa fail io mungkin terlalu perlahan, jadi saya menggunakan pemetaan memori fail untuk membaca kandungan fail ke dalam memori sebagai blok, dan kemudian. push_back ke dalam vektor satu demi satu, tetapi terus dari fail...

漂亮男人 · Answer

Tidak masuk akal untuk dijalankan dalam mod nyahpepijat Apabila saya menggunakan kod anda untuk dijalankan dalam mod keluaran, ia hanya mengambil masa kira-kira 14 saat.

Untuk menyelesaikan masalah, cari masalah dahulu saya ubah suai kod seperti ini dan ketahui dahulu di mana masa dihabiskan

.

std::cout << "Start" << std::endl;
    auto n1 = ::GetTickCount();
    auto n2 = 0;
    auto n3 = 0;
    auto n4 = 0;

    while (ss_sim.good())
    {
        auto n = ::GetTickCount();
        ss_sim >> fVecSim;
        n2 += (::GetTickCount() - n);

        n = ::GetTickCount();
        auto v = atof(fVecSim.c_str());
        n3 += (::GetTickCount() - n);

        n = ::GetTickCount();
        vec_similarity.push_back(v);
        n4 += (::GetTickCount() - n);
    }
    n1 = ::GetTickCount() - n1;

    std::cout << "ss_sim >> fVecSim：" << n2 << "ms" << std::endl;
    std::cout << "atof：" << n3 << "ms" << std::endl;
    std::cout << "push_back：" << n4 << "ms" << std::endl;
    std::cout << "Total：" << n1 << "ms" << std::endl;

Jadi kesesakan terletak pada ayat "ss_sim >> fVecSim". atof cukup pantas.

Jadi kesimpulan saya ialah: penyelesaian pengoptimuman muktamad adalah untuk memulakan dengan format storan dan menyimpan data anda sebagai binari dan bukannya rentetan, dengan itu mengelakkan overhed rentetan IO dan fungsi penukaran benar-benar dalam beberapa saat .

phpcn_u1582 · Answer

Cara paling berkesan pada masa ini ialah menggunakan strim, dan ia boleh dilihat daripada pelaksanaan kod anda: anda membaca semua kandungan fail ke dalam penimbal sekaligus, yang bukan cara terbaik. Adalah disyorkan untuk membaca penimbal[1024] secara purata setiap kali, iaitu 1K atau nilai lain. Selepas membaca, penunjuk bergerak ke baris seterusnya dan meneruskan bacaan sehingga tamat kedudukan EOF

天蓬老师 · Answer

1. Jika tiada pergantungan antara data, anda boleh mencuba bacaan berbilang benang dalam blok
2 Selain itu, ingatan vektor adalah berterusan. agak ramai.

天蓬老师 · Answer

Anda boleh bertukar kepada gaya C scanf cuba

Wah, kenapa awak layan jawapan saya begini? Netizen yang melaporkan saya ingin bertanya, kenapa ada yang tidak kena dengan jawapan ini?