ZTE bringt „Nebula R&D Big Model' auf den Markt: KI-Programmierassistent, 100 Milliarden Token geben schockierendes Debüt

IT House berichtete, dass ZTE während der China Mobile Global Partner Conference vom 11. bis 13. Oktober 2023 sein „Nebula R&D Large Model“ vorführte, das Entwickler bei der Durchführung von Bedarfsanalysen und Produktdesign, Programmierung, Tests und Versionsbereitstellung unterstützen soll. usw.

Berichten zufolge unterstützt das „Nebula R&D Large Model“ einen Whitelist-Mechanismus, der den Nutzungsumfang effektiv steuern kann. Gleichzeitig kann es durch die Codemerkmalswerterkennung auch sensible Codefragmente effektiv identifizieren und sensible Inhalte durch den Erkennungsmechanismus für sensible Wörter in Echtzeit überwachen und abfangen. Darüber hinaus verfügt das Modell auch über einen Hintergrund-Audit-Mechanismus, der Sicherheitsereignisse vollständig zurückverfolgen kann

ZTE gab an, dass im April 2023 das „Nebula R&D Large Model“ auf den Markt gebracht wurde. Die Anzahl der täglich aktiven Benutzer hat derzeit 12.000 erreicht, die Code-Akzeptanzrate hat 40 % bis 45 % erreicht und die Codierungseffizienz ist gestiegen 30 % und die gesamte F&E-Effizienz ist um 10 % gestiegen.

Laut der offiziellen Ankündigung erfuhr IT Home, dass ZTE Domänendaten, Wissensakkumulation, eine große Anzahl technischer Dokumente im Kommunikationsbereich und 100 Milliarden Wireless-/Kernnetzwerk-/Cloud-Code-Korpora in groß angelegte Modelle zur inkrementellen Vorbereitung integrieren wird -Schulung und Einführung eines parallelen Schulungsrahmens

ZTE behauptet: „Unsere selbst entwickelte Bereitstellungslösung nutzt eine dynamische Stapelverarbeitungsstrategie und PagedAttention-Technologie, kombiniert mit verlustfreier Modellquantifizierung, was den Durchsatz einer einzelnen GPU (A800) erheblich verbessert, und zwar bei nur vier GPUs.“ Karten (A800) können den Bedarf von mehr als tausend Menschen decken. Im Vergleich zum herkömmlichen Einsatzschema in der Branche wurde der Durchsatz einer einzelnen GPU um mehr als das Zehnfache und gleichzeitig um mehr als das Zwanzigfache erhöht In Kombination mit der int4-Quantisierungstechnologie werden die Modellgröße und die Videospeichernutzung um die Hälfte reduziert, ohne die Modellgenauigkeit zu beeinträchtigen

Das obige ist der detaillierte Inhalt vonZTE bringt „Nebula R&D Big Model' auf den Markt: KI-Programmierassistent, 100 Milliarden Token geben schockierendes Debüt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!