Highlights der 3D Live Virtual Camp-Technologie des Taobao Creation Festival 2022 enthüllt

Am 24. August 2022 findet das Taobao Maker Festival statt! Um die nächste Generation des immersiven Internet-Einkaufserlebnisses zu erkunden, wurde bei diesem Creation Festival neben dem Bau eines 20.000 Quadratmeter großen Panorama-„Future Camp“ in der Offline-Ausstellungshalle der Canton Fair auch erstmals ein virtueller interaktiver Raum online eröffnet „3D Crazy“, das Zehntausende Menschen gleichzeitig online aufnehmen kann.

Im virtuellen 3D-Camp können Benutzer hochauflösende Spieltexturen auf einfache Weise erleben und als virtuelle Charaktere in die Welt von „3D People and Goods Yard“ eintauchen, mit Spielern und 3D-Produkten interagieren, um die neue Generation von Verbrauchern zufrieden zu stellen . Die Anforderungen der Gruppe, die gerne spielt und kreativ ist, bringen mit innovativer Technologie ein neues Verbrauchererlebnis.

Werfen wir einen Blick auf die Erfahrung und die technischen Highlights des virtuellen 3D-Live-Camps:

Leichtes 3D-„Real-Life-Spiel“ mit bloßem Auge

Sobald Ihnen ein 3D-Spiel gefallen hat und der Client mehrere Gigabyte heruntergeladen hat und wollte es spielen. Ich muss das neue Spiel deinstallieren, weil es zu viel Speicher beansprucht! Im virtuellen Camp des Creation Festivals können Sie schnell ein 3D-, interaktives, hochauflösendes Live-Streaming-„Spiel“ mit bloßem Auge laden, das Sie sogar kaufen können, und Ihre Taobao-App „ist überhaupt nicht größer geworden.“ .“ Wird auf Ihr Telefon geladen. Die Geschwindigkeit ist „rauschend“~

▐ Technische Highlights: Die Herausforderung der Cloud-Kosten

Die traditionelle Entwicklung von 3D-Spielanwendungen auf der mobilen Seite erfordert oft die Integration von Dutzenden oder Hunderten von M-Spielen Motoren am Ende, und außerdem müssen mehrere Gigabyte an Materialressourcen heruntergeladen werden, was in der Taobao-App derzeit unrealistisch ist. Die Verwendung von Cloud-Rendering kann dieses Problem sehr gut lösen. Mit Hilfe einer leistungsstarken GPU in der Cloud können Benutzer keine großen Ressourcendateien herunterladen oder Inhalte installieren um gerenderten Medienfluss in Echtzeit abzuspielen.

Das größte Problem hierbei sind jedoch die Kosten für Cloud-Rendering-Maschinen. Um die Kosten für Cloud-Rendering-Maschinen zu senken, führen wir zusätzlich zum Cloud-Rendering auch Strategien zur Leistungsoptimierung durch, z. B. Modelloberflächenreduzierung, DP-Zusammenführung, Texturoptimierung und Reduzierung der Videomaterialauflösung. Im Hinblick auf die Maschinenplanung wurde eine zeitbasierte dynamische Expansions- und Kontraktionsstrategie basierend auf Geschäftsszenarien entwickelt, um die Maschinenauslastung zu maximieren.

3D-Menschen und 3D-Produkte treffen sich zum ersten Mal in der virtuellen 3D-Welt

3D-Benutzer, die einst in „Taobao Life“ verkleidet waren, „gingen“ zum ersten Mal aus ihren Häusern und kamen zum virtuellen Live-3D-Camp von das Schöpfungsfest. Hier können Sie frei springen, Lagerfeuer anzünden, 3D-Produkte ansehen, Live-Übertragungen von Verkäufern ansehen und mit Spielern interagieren. 3D-Menschen, 3D-Produkte und 3D-Umgebungen werden kombiniert, um Ihnen ein beeindruckendes und wunderbares Camp-Abenteuererlebnis zu bieten.

▐ Technische Highlights: Aufbau und Interaktion von Menschen und Güterbahnhof

Interaktion zwischen Menschen. Um die 3D-Charaktere in Taobao Life zunächst in der virtuellen 3D-Welt zu platzieren, sind bestimmte Asset-Konvertierungs- und Rendering-Kosten erforderlich. Das Herumlaufen des Benutzers im Lager erfordert eine Echtzeitsynchronisierung des Standorts des Benutzers. Für das Echtzeit-Roaming der Benutzer verwenden wir die Frame-Synchronisierungstechnologie, um die Standortinformationen der Benutzer mit einer festen Frequenz zu aktualisieren. Im Idealfall werden Benutzer nicht das Gefühl haben, festzustecken, aber eine Netzwerküberlastung führt zwangsläufig zu Jitter zwischen Frames. es wird einen Sprung verursachen. Um diesen Mangel auszugleichen, verwenden wir beim Rendern von Zeichen einen Bewegungskompensationsalgorithmus. Einfach ausgedrückt: Er verwendet eine Algorithmussimulation, um den Übergang der Benutzerpositionsbewegung reibungsloser zu gestalten. Gleichzeitig wird im Hinblick auf die Synchronisierung interaktiver Daten der AOI-Rasteralgorithmus verwendet, um das Problem der Datensynchronisierung mehrerer Personen auf demselben Bildschirm zu lösen. Auf diese Weise laufen 3D-Charaktere in der virtuellen Welt reibungsloser.

Interaktion zwischen Menschen und Produkten. Für Benutzer ist es nicht einfach, die Details von 3D-Produkten in einer virtuellen Szene frei anzuzeigen. Wir haben zwei Optionen zur Auswahl: eine ist mobiles Rendering und die andere ist Cloud-Rendering. Mobile Rendering verfügt auch über relativ ausgereifte Lösungen in Taobao. Leider sind die mobile Rendering-Engine und die Cloud-Rendering-Engine nicht identisch, sodass nicht dasselbe Produktmodell verwendet werden kann. Gleichzeitig ist das dynamische Herunterladen des Modells und die Oberflächenreduzierung möglich Optimierung usw. müssen ebenfalls berücksichtigt werden. Um diese Nachteile zu vermeiden, haben wir uns dennoch für die Cloud-Rendering-Lösung entschieden, indem wir die Kameraperspektive dynamisch wechseln und in Echtzeit auf die interaktiven Anweisungen des Benutzers reagieren und Zoomen, um 3D-Produkte anzusehen.

1080P-Auflösung und coole High-Definition-Qualität

Sobald Sie das Seiten-Minispiel in der mobilen App ausprobiert haben, war es so verschwommen wie ein Mosaik. Sie rannten und sprangen und ließen Frames fallen. Das neue virtuelle 3D-Camp des Creation Festival bietet hochauflösende Bilder, sanfte Effekte und die Bühnenbeleuchtung kann Sie dynamisch als „Star“ verfolgen~

▐ Technische Highlights: Inhaltsproduktion und Echtzeitübertragung von Cloud-Rendering

In der Cloud verwenden wir die Unreal Engine zum Rendern von Echtzeitbildern und kombinieren dynamische Spiegelbewegung, dynamische Bühnenbeleuchtung, Multi-View-Charaktere, Partikeleffekte usw andere Technologien, um das Bild für Benutzer cooler und interaktiver aussehen zu lassen. Um hochauflösende Bilder auf die Mobiltelefone der Benutzer zu übertragen, müssen wir das Gleichgewicht zwischen Bildqualität, Verzögerung und Verzögerung mithilfe des von Taobao und Alibaba Cloud gemeinsam aufgebauten GRTN-Übertragungsnetzwerks umfassend berücksichtigen Durch die Entwicklung von Kodierungs- und Dekodierungsalgorithmen können wir die Klarheit der Bildqualität maximieren.

Interaktiver virtueller Bildschirm ohne Verzögerung

Sobald Sie im Live-Übertragungsraum von Taobao waren, zählten Sie „3, 2, 1, fangen Sie an zu schnappen!“ und spürten den Nervenkitzel der Flash-Verkäufe mit extrem geringer Latenz. Sie können jedoch außerhalb des Bildschirms nicht durch Interaktion direkt in das Geschehen des Moderators im Live-Übertragungsraum eingreifen. Im virtuellen 3D-Camp können Sie tanzen und Hallo sagen, auf die 3D-Produkte der Händler klicken und sich die Erklärungen Ihrer Lieblingsanker ansehen. Sie können wirklich „im selben Rahmen mit den Händlern und Ankern kommunizieren“.

▐ Technische Highlights: Vollständige Verbindung mit extrem niedriger Latenz

Im Gegensatz zur störungsfreien Bildübertragung müssen wir den Upstream und Downstream der Benutzeranweisungen vervollständigen, um ein reibungsloses Erlebnis mit extrem niedriger Latenz unter interaktiven Bedingungen zu erreichen Innerhalb von 100 Millisekunden wird das Bild in Echtzeit gerendert und an das Mobiltelefon des Benutzers zurückgegeben. Zunächst müssen die Maschinen-, Netzwerk- und Zugriffspunktbedingungen des Benutzers umfassend berücksichtigt werden, um dynamisch den Push-Knoten auszuwählen, der dem Benutzer am nächsten liegt, und dadurch die Cloud-Push-Strategie anzupassen (einschließlich Definition und Auswahl der Kodierungsmethode). Zweitens müssen während des Übertragungsprozesses schwache Netzwerksteuerungsstrategien wie Echtzeit-Bandbreitenrückmeldung, FEC und dynamische Puffer verwendet werden, um Netzwerk-Jitter zu bekämpfen, damit die gesamte Verbindungsverzögerung eine vernünftige Position erreicht und letztendlich eine Interaktion im Netzwerk erreicht wird virtuelle Welt. Sorgen Sie für ein reibungsloses interaktives Erlebnis.

Fazit

Dieses virtuelle 3D-Camp des Creation Festival ist der erste Online-Versuch der „3D Crazy City“-Reihe des virtuellen interaktiven Raums von Taobao. Im nächsten Schritt werden wir Cloud-Echtzeit-Rendering und XR/CG-Technologie kombinieren, um die Anpassung virtueller Szenen zu realisieren, eine umfassendere Benutzerinteraktion in Echtzeit zu unterstützen und den Verbrauchern ein immersiveres interaktives Erlebnis zu bieten.

Das obige ist der detaillierte Inhalt vonHighlights der 3D Live Virtual Camp-Technologie des Taobao Creation Festival 2022 enthüllt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!