So fügen Sie zig Millionen Daten in eine MySQL-Schleife ein

Wie implementiert MySQL das zirkuläre Einfügen von zig Millionen Daten?

1. Erstellen Sie eine Tabelle:

CREATE TABLE `mysql_genarate` (  
`id` int(11) NOT NULL AUTO_INCREMENT,  
`uuid` varchar(50) DEFAULT NULL,  
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5990001 DEFAULT CHARSET=utf8

2. Erstellen Sie eine gespeicherte Prozedur zum Einfügen einer Schleife

create procedure test_two1()
     begin
        declare i int default 0;       while i < 3000 do
            INSERT into mysql_genarate(uuid) VALUES(UUID());            set i = i + 1;
        end while;
    end #

Verwenden Sie den Aufruf test_two1();, um den 3000-Datenverbrauch zu testen Es dauert 74 Sekunden, wenn es zig Millionen Daten gibt, ist diese Geschwindigkeit unerträglich.

Also habe ich im Internet nach Optimierungsmethoden gesucht und festgestellt, dass ich stapelweise eingefügte SQL-Anweisungen zusammenführen kann und die Geschwindigkeit erheblich verbessert wird

3. Optimierte gespeicherte Prozedur

Der Aufruf von call insertPro(3000) dauert einige Zehntelsekunden, was akzeptabel ist.

rief dann call insertPro(30000000) ; auf, um das Einfügen von 30 Millionen Daten zu testen. Das Ergebnis dauerte 1824,203 Sekunden (30 Minuten). Diese Geschwindigkeit eines Personalcomputers ist in Ordnung.

Darüber hinaus dauert es 336 Sekunden, um 30 Millionen Daten einzufügen, und 336 Sekunden, um 100 einzufügen, wenn Java-Multithreading verwendet wird, um SQL gleichzeitig zu spleißen und alle 10.000 Elemente zu übermitteln, wobei 8 Threads gleichzeitig ausgeführt werden Millionen Daten.

Verwandte Referenzen: MySQL-Tutorial

Das obige ist der detaillierte Inhalt vonSo fügen Sie zig Millionen Daten in eine MySQL-Schleife ein. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!