Die Bildvorverarbeitungsbibliothek CV-CUDA ist Open Source, wodurch der Vorverarbeitungsengpass überwunden und der Inferenzdurchsatz um mehr als das Zwanzigfache erhöht wird.

Vollständige Vor- und Nachbearbeitung auf der GPU, wodurch der CPU-Engpass im Bildverarbeitungsteil erheblich reduziert wird.

GPU Bildverarbeitungsbeschleunigungsbibliothek: CV-CUDA

Als auf CUDA basierende Vor-/Nachbearbeitungs-Operatorbibliothek können sich Algorithmeningenieure am meisten auf drei Dinge freuen: schnell genug, vielseitig genug , und ausreichend einfach zu bedienen. CV-CUDA, gemeinsam entwickelt von NVIDIA und dem Team für maschinelles Lernen von ByteDance, kann genau diese drei Punkte erfüllen. Es nutzt die parallele Rechenleistung der GPU, um die Bedienergeschwindigkeit zu verbessern, richtet die OpenCV-Betriebsergebnisse so aus, dass sie vielseitig genug sind, und ist einfach zu verwenden mit der C++/Python-Schnittstelle.

CV-CUDADie Geschwindigkeit von

CV-CUDA spiegelt sich zunächst in der effizienten Operatorimplementierung wider. Schließlich muss der CUDA-Parallel-Computing-Code einer viel Optimierung. Zweitens unterstützt es Batch-Operationen, die die Rechenleistung des GPU-Geräts voll ausnutzen können. Im Vergleich zur seriellen Ausführung von Bildern einzeln auf der CPU sind Batch-Operationen definitiv viel schneller. Dank der GPU-Architekturen wie Volta, Turing und Ampere, an die CV-CUDA angepasst ist, wird schließlich die Leistung auf der CUDA-Kernel-Ebene jeder GPU stark optimiert, um die besten Ergebnisse zu erzielen. Mit anderen Worten: Je besser die von Ihnen verwendete GPU-Karte ist, desto übertriebener sind ihre Beschleunigungsfähigkeiten. Wie im vorherigen Diagramm zum Beschleunigungsverhältnis des Hintergrundunschärfe-Durchsatzes gezeigt, erhöht sich der Durchsatz des gesamten Inferenzprozesses um mehr als das Zwanzigfache, wenn CV-CUDA als Ersatz für die Vor- und Nachbearbeitung von OpenCV und TorchVision verwendet wird. Unter anderem führt die Vorverarbeitung Vorgänge wie Größenänderung, Auffüllung und Image2Tensor für das Bild aus, und die Nachverarbeitung führt Vorgänge wie Tensor2Mask, Crop, Resize und Denoise für die Vorhersageergebnisse aus.

Für die Leistung eines einzelnen Operators haben die Partner von NVIDIA und ByteDance auch Leistungstests durchgeführt. Der Durchsatz vieler Operatoren auf der GPU kann das Hundertfache des CPU-Durchsatzes erreichen.

Die Bildgröße beträgt 480*360, die CPU-Auswahl ist Intel(R) Core(TM) i9-7900X, die BatchSize-Größe beträgt 1 und die Anzahl der Prozesse beträgt 1

Obwohl viele Vor-/ Nachbearbeitungsoperatoren sind nicht vorhanden. Um die oben erwähnte effiziente Leistung für einfache Matrixmultiplikationen und andere Operationen zu erreichen, hat CV-CUDA tatsächlich viele Optimierungen auf Operatorebene durchgeführt. Beispielsweise wird eine große Anzahl von Kernel-Fusionsstrategien übernommen, um die Zugriffszeit beim Kernel-Start zu verkürzen, und der globale Speicherzugriff wird optimiert, um die Effizienz beim Lesen und Schreiben von Daten zu verbessern. Alle Operatoren werden asynchron verarbeitet, um die Zeit des synchronen Wartens zu verkürzen . Die Vielseitigkeit und Flexibilität von

CV-CUDA

Die Stabilität der Berechnungsergebnisse ist zu wichtig für tatsächliche Projekte wie gängige Größenänderungsvorgänge, OpenCV, OpenCV-gpu und Torchvision Die Implementierung Die Methoden sind unterschiedlich, sodass von der Schulung bis zur Bereitstellung viel mehr Arbeit erforderlich ist, um die Ergebnisse abzugleichen.
Zu Beginn des Entwurfs von CV-CUDA wurde davon ausgegangen, dass viele Ingenieure es gewohnt sind, die CPU-Version von OpenCV in der aktuellen Bildverarbeitungsbibliothek zu verwenden. Daher gilt beim Entwerfen von Operatoren, ob es sich um Funktionsparameter oder Bildverarbeitungsergebnisse handelt. Richten Sie die OpenCV-CPU-Version so weit wie möglich an den Bediener aus. Daher sind bei der Migration von OpenCV zu CV-CUDA nur wenige Änderungen erforderlich, um konsistente Rechenergebnisse zu erhalten, und das Modell muss nicht neu trainiert werden.
Darüber hinaus wird CV-CUDA auf Bedienerebene entwickelt, sodass es unabhängig vom Vor-/Nachbearbeitungsprozess des Modells frei kombiniert werden kann und eine hohe Flexibilität aufweist.
Das Team für maschinelles Lernen von ByteDance gab an, dass im Unternehmen viele Modelle trainiert werden und die erforderliche Vorverarbeitungslogik ebenfalls vielfältig ist und viele maßgeschneiderte Anforderungen an die Vorverarbeitungslogik aufweist. Die Flexibilität von CV-CUDA kann sicherstellen, dass jedes OP den Eingang von Stream-Objekten und Videospeicherobjekten (Puffer- und Tensorklassen, die Videospeicherzeiger intern speichern) unterstützt, sodass entsprechende GPU-Ressourcen flexibler konfiguriert werden können. Bei der Konzeption und Entwicklung jeder einzelnen Operation berücksichtigen wir nicht nur die Vielseitigkeit, sondern stellen bei Bedarf auch maßgeschneiderte Schnittstellen bereit, die verschiedene Anforderungen an die Bildvorverarbeitung abdecken.

CV-CUDAEinfach zu verwenden

Vielleicht denken viele Ingenieure, dass CV-CUDA den zugrunde liegenden CUDA-Operator beinhaltet, also sollte es schwieriger zu verwenden sein? Dies ist jedoch nicht der Fall, selbst wenn es nicht auf APIs höherer Ebene angewiesen ist, stellt die unterste Ebene von CV-CUDA selbst Strukturen wie und die Allocator-Klasse bereit, sodass es nicht mühsam ist, sie in C++ anzupassen. Darüber hinaus bietet CV-CUDA auf der oberen Ebene Datenkonvertierungsschnittstellen für PyTorch, OpenCV und Pillow, sodass Ingenieure Bediener schnell austauschen und auf vertraute Weise anrufen können.
Da CV-CUDA außerdem über eine C++-Schnittstelle und eine Python-Schnittstelle verfügt, kann es sowohl in Trainings- als auch in Servicebereitstellungsszenarien verwendet werden. Die Python-Schnittstelle wird verwendet, um die Modellfunktionen während des Trainings schnell zu überprüfen, und die C++-Schnittstelle wird für verwendet Effizientere Vorhersagen während der Bereitstellung. CV-CUDA vermeidet den umständlichen Prozess der Ergebnisausrichtung vor der Verarbeitung und verbessert die Effizienz des Gesamtprozesses.

C++-Schnittstelle von CV-CUDA für die Größenänderung während der ausbildung prozess schnittstelle, Tatsächlich ist die Verwendung sehr einfach. Es sind nur wenige einfache Schritte erforderlich, um alle Vorverarbeitungsvorgänge, die ursprünglich auf der CPU ausgeführt wurden, auf die GPU zu migrieren. Nehmen Sie als Beispiel die Bildklassifizierung. Im Grunde müssen wir das Bild in der Vorverarbeitungsphase in einen Tensor dekodieren und es zuschneiden, um es an die Modelleingabegröße anzupassen. Nach dem Zuschneiden müssen wir den Pixelwert in einen Gleitkomma-Datentyp konvertieren und führen Sie nach der Transformation eine Normalisierung durch, die dann zur Vorwärtsweitergabe an das Deep-Learning-Modell übergeben werden kann. Im Folgenden werden wir anhand einiger einfacher Codeblöcke erleben, wie CV-CUDA Bilder vorverarbeitet und mit Pytorch interagiert.

Der Vorverarbeitungsprozess der herkömmlichen Bilderkennung unter Verwendung von CV-CUDA vereinheitlicht den Vorverarbeitungsprozess und die Modellberechnung auf der GPU.

Wie folgt: Nach Verwendung der Torchvision-API zum Laden des Bildes auf die GPU kann der Torch-Tensor-Typ über as_tensor direkt in das CV-CUDA-Objekt nvcvInputTensor konvertiert werden, sodass die API des CV-CUDA-Vorverarbeitungsvorgangs ausgeführt werden kann Wird direkt aufgerufen, um die Bildverarbeitung in der GPU verschiedener Transformationen abzuschließen.

Die folgenden Codezeilen verwenden CV-CUDA, um den Vorverarbeitungsprozess der Bilderkennung in der GPU abzuschließen: Bild zuschneiden und Pixel normalisieren. Unter anderem konvertiert resize() den Bildtensor in die Eingabetensorgröße des Modells. Convertto() wandelt den Pixelwert in einen Gleitkommawert mit einfacher Genauigkeit um das Modell.
Die Verwendung verschiedener Vorverarbeitungsvorgänge in CV-CUDA unterscheidet sich nicht wesentlich von denen in OpenCV oder Torchvision. Es handelt sich lediglich um eine einfache Anpassung der Methode, und die Berechnungen sind bereits auf der dahinter liegenden GPU abgeschlossen.

Mit Hilfe verschiedener APIs von CV-CUDA wurde nun die Vorverarbeitung der Bildklassifizierungsaufgabe abgeschlossen, die das parallele Rechnen auf der GPU effizient abschließen und problemlos in PyTorch integrieren kann Modellierungsprozess gängiger Deep-Learning-Frameworks. Im Übrigen müssen Sie nur das CV-CUDA-Objekt nvcvPreprocessedTensor in den Typ Torch Tensor konvertieren, um es dem Modell zuzuführen. Auch dieser Schritt ist sehr einfach. Die Konvertierung erfordert nur eine Codezeile:

Anhand dieses einfachen Beispiels lässt sich leicht erkennen, dass CV-CUDA tatsächlich problemlos in die normale Modelltrainingslogik eingebettet werden kann. Wenn Leser weitere Nutzungsdetails erfahren möchten, können sie dennoch die oben genannte Open-Source-Adresse von CV-CUDA überprüfen.

CV-CUDAVerbesserung des tatsächlichen Geschäftsbetriebs

CV-CUDA wurde tatsächlich im tatsächlichen Geschäftsbetrieb getestet. Bei visuellen Aufgaben, insbesondere bei Aufgaben mit relativ komplexen Bildvorverarbeitungsprozessen, kann die Nutzung der enormen Rechenleistung der GPU für die Vorverarbeitung die Effizienz des Modelltrainings und der Inferenz effektiv verbessern. CV-CUDA wird derzeit in mehreren Online- und Offline-Szenarien innerhalb der Douyin Group verwendet, wie z. B. multimodale Suche, Bildklassifizierung usw.
Das maschinelle Lernteam von ByteDance gab an, dass die interne Verwendung von CV-CUDA die Leistung von Training und Inferenz erheblich verbessern kann. In Bezug auf das Training ist Bytedance beispielsweise eine videobezogene multimodale Aufgabe. Der Vorverarbeitungsteil umfasst die Dekodierung von Multi-Frame-Videos und viele Datenverbesserungen, was diesen Teil der Logik sehr kompliziert macht. Die komplexe Vorverarbeitungslogik führt dazu, dass die Multi-Core-Leistung der CPU während des Trainings immer noch nicht mithalten kann. Daher wird CV-CUDA verwendet, um die gesamte Vorverarbeitungslogik auf der CPU auf die GPU zu migrieren, wodurch eine Beschleunigung der gesamten Trainingsgeschwindigkeit um 90 % erreicht wird . Beachten Sie, dass dies eine Steigerung der gesamten Trainingsgeschwindigkeit darstellt, nicht nur im Vorverarbeitungsteil.

Bei Bytedance OCR und multimodalen Videoaufgaben kann durch die Verwendung von CV-CUDA die Gesamttrainingsgeschwindigkeit um das 1- bis 2-fache erhöht werden (Hinweis: Es handelt sich um eine Erhöhung der Gesamttrainingsgeschwindigkeit von Dasselbe gilt für den Inferenzprozess. Das ByteDance-Team für maschinelles Lernen gab an, dass nach der Verwendung von CV-CUDA in einer multimodalen Suchaufgabe der gesamte Online-Durchsatz doppelt so hoch war wie bei Verwendung der CPU für die Vorverarbeitung. Es ist erwähnenswert, dass die CPU-Basisergebnisse hier bereits stark für Multi-Core optimiert sind und die Vorverarbeitungslogik für diese Aufgabe relativ einfach ist, der Beschleunigungseffekt jedoch nach der Verwendung von CV-CUDA immer noch sehr offensichtlich ist. Es ist effizient genug in Bezug auf die Geschwindigkeit, um den Vorverarbeitungsengpass bei visuellen Aufgaben zu überwinden, und es ist außerdem einfach und flexibel zu verwenden. CV-CUDA hat bewiesen, dass es die Modellbegründung und Trainingseffekte in tatsächlichen Anwendungsszenarien erheblich verbessern kann. Wenn also Leser Vision-Aufgaben auch durch die Vorverarbeitungseffizienz eingeschränkt sind, versuchen Sie es mit dem neuesten Open-Source-CV-CUDA.