1 MB magische KI erkennt Millionen von Dateien mit einer Genauigkeit von 99 %!

Bei der Webentwicklung ist die Erkennung des Dateityps vor dem Hochladen von Dateien auf den Server von entscheidender Bedeutung. Dieser Schritt kann nicht nur die Sicherheit des Servers und der Benutzer gewährleisten, mögliche schädliche Dateien abfangen, sondern auch sicherstellen, dass die hochgeladenen Dateien vollständig sind und den Erwartungen entsprechen, wodurch die Datenkonformität verbessert wird. Gleichzeitig kann es durch die Bereitstellung von zeitnahem Feedback und Anleitung für Benutzer auch die Benutzererfahrung verbessern und unnötige Verwirrung vermeiden.

Bruder A Bao hat zuvor vorgestellt: „Wie erkennt JavaScript den Dateityp?“ Jetzt, da wir in die KI-Ära eingetreten sind, müssen wir mit der Zeit gehen. Als nächstes stellt Bruder Abao vor, wie man das Open-Source-Tool Magika[1] von Google verwendet, um eine genaue Dateityperkennung zu erreichen.

Bilder

Magika-Einführung

Magika+ ist ein neuartiges Tool zur Dateiklassifizierung mit künstlicher Intelligenz, das auf der neuesten Deep-Learning-Technologie basiert, um eine genaue Erkennung zu ermöglichen. Es verwendet ein hochoptimiertes benutzerdefiniertes Keras-Modell, das nur etwa 1 MB wiegt und eine genaue Dateiidentifizierung in Millisekunden ermöglicht, selbst wenn es auf einer einzelnen CPU ausgeführt wird.

Bei Auswertungen von über 1 Million Dateien und über 100 Inhaltstypen (die Binär- und Textdateiformate abdecken) erreichte Magika eine Präzision und einen Rückruf von über 99 %. Magika wird in großem Umfang eingesetzt, um die Sicherheit von Google-Nutzern zu gewährleisten, indem Gmail-, Drive- und Safe Browsing-Dateien an die entsprechenden Sicherheits- und Inhaltsrichtlinienscanner weitergeleitet werden.

Funktionen von Magika

• Unterstützt die Erkennung von mehr als 100 Dateitypen.
• Unterstützt mehrere Verwendungsmethoden wie Python-Befehlszeile, Python-API und experimentelle TFJS-Version.
• Nachdem das Modell geladen wurde (dies ist ein einmaliger Mehraufwand), beträgt die Inferenzzeit ca. 5 ms pro Datei.
• Nahezu konstante Inferenzzeit, unabhängig von der Dateigröße. Magika verwendet nur eine begrenzte Teilmenge der Dateibytes.
• Unterstützt Stapelverarbeitung: Unterstützt das gleichzeitige Senden mehrerer Dateien an die Befehlszeile und API. Magika verwendet Stapelverarbeitung, um die Inferenzzeit zu beschleunigen.
• Geschult anhand eines Datensatzes von über 25 Millionen Dateien in über 100 Inhaltstypen.
• Nach einer umfassenden Evaluierung erreichten Magikas durchschnittliche Präzision und Erinnerung über 99 % und übertrafen damit bestehende Methoden.
• Magika verwendet für jeden Inhaltstyp ein Schwellenwertsystem, um zu bestimmen, ob den Vorhersagen eines Modells „vertrauen“ oder ob eine generische Bezeichnung wie „Generisches Textdokument“ oder „Unbekannte Binärdaten“ zurückgegeben werden soll.
• Unterstützt drei verschiedene Vorhersagemodi zur Anpassung der Fehlertoleranz: hohes Vertrauen, mittleres Vertrauen und beste Schätzung. Leistung von Magika liegen etwa 20 % höher. Aufgeschlüsselt nach Dateityp sehen wir größere Leistungsverbesserungen für Textdateien, einschließlich Codedateien und Konfigurationsdateien, bei deren Verarbeitung andere Tools möglicherweise Probleme haben.

Magika Online-Beispiel

Bilder

[1]Magika: https://github.com/google/magika[2]Webdemo: https://google.github.io/magika/

[3]Magika: KI-gesteuert schnelle und effiziente Dateitypidentifizierung: https://opensource.googleblog.com/2024/02/magika-ai-powered-fast-and-efficient-file-type-identification.html