


Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!
0. Was bewirkt dieser Artikel?
Vorgeschlagenes DepthFM: Ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren.
Lassen Sie uns diese Arbeit gemeinsam lesen~
1. Papierinformationen
Titel: DepthFM: Fast Monocular Depth Estimation with Flow Matching
Autoren: Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer
Institution: MCML
Originallink: https://arxiv.org/abs/2403.13788
Code-Link: https://github.com/ CompVis/ Depth -fm
Offizielle Homepage: https:// Depthfm.github.io/
2. Zusammenfassung
ist für viele nachgelagerte Besichtigungsaufgaben und -anwendungen von entscheidender Bedeutung. Aktuelle Unterscheidungsmethoden für dieses Problem sind durch verwischende Artefakte eingeschränkt, während generative Methoden auf dem neuesten Stand der Technik aufgrund ihrer SDE-Natur unter einer langsamen Geschwindigkeit der Trainingsproben leiden. Anstatt mit Rauschen zu beginnen, suchen wir nach einer direkten Zuordnung vom Eingabebild zum Tiefenbild. Wir beobachten, dass dies durch Flussanpassung effizient konstruiert werden kann, da seine gerade Flugbahn im Lösungsraum für Effizienz und hohe Qualität sorgt. Unsere Studie zeigt, dass vorab trainierte Bilddiffusionsmodelle als ausreichendes Vorwissen für Deep-Flow-Matching-Modelle verwendet werden können. Bei Benchmarks komplexer Naturszenen zeigt unser leichtgewichtiger Ansatz modernste Leistung bei vorteilhaft niedrigem Rechenaufwand, obwohl er nur auf einer kleinen Menge synthetischer Daten trainiert wird.
3. Effektdemonstration
DepthFM ist ein schnelles Inferenzfluss-Matching-Modell mit starker Zero-Shot-Generalisierungsfähigkeit, das starkes Vorwissen nutzen und leicht auf unbekannte reale Bilder verallgemeinern kann. Nach dem Training mit synthetischen Daten lässt sich das Modell gut auf unbekannte reale Bilder verallgemeinern und passt Tiefenbilder genau an.
Im Vergleich zu anderen hochmodernen Modellen erhält DepthFM mit nur einer Funktionsauswertung deutlich klarere Bilder. Die Tiefenschätzung von Marigold dauert doppelt so lange wie die von DethFM, kann jedoch keine Tiefenkarten mit derselben Granularität erstellen.
4. Hauptbeiträge
(1) Vorgeschlagenes DepthFM, ein hochmodernes, vielseitiges und schnelles monokulares Tiefenschätzungsmodell. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie Tiefeninpainting und tiefenkonditionierter Bildsynthese.
(2) demonstriert die erfolgreiche Übertragung starker Bild-Prioritäten von Diffusionsmodellen auf Flow-Matching-Modelle, wobei die Abhängigkeit von Trainingsdaten gering ist und keine Bilder aus der realen Welt erforderlich sind.
(3) zeigt, dass das Flow-Matching-Modell effizient ist und Tiefenkarten innerhalb eines einzigen Inferenzschritts synthetisieren kann.
(4) Obwohl DepthFM nur auf synthetische Daten trainiert wurde, schneidet es bei Benchmark-Datensätzen und natürlichen Bildern gut ab.
(5) Verwenden Sie den Oberflächennormalverlust als Hilfsziel, um eine genauere Tiefenschätzung zu erhalten.
(6) Zusätzlich zur Tiefenschätzung kann auch die Zuverlässigkeit seiner Vorhersage zuverlässig vorhergesagt werden.
5. Was ist das konkrete Prinzip?
Trainingspipeline. Das Training ist durch Flussanpassung und Oberflächennormalverlust begrenzt: Für Flussanpassung wird datenabhängiges Flussanpassung verwendet, um das Vektorfeld zwischen der Grundwahrheitstiefe und dem entsprechenden Bild zurückzubilden. Darüber hinaus wird geometrischer Realismus durch einen Oberflächennormalenverlust erreicht.
Datenbezogener Flussabgleich: DepthFM regressiert das geradlinige Vektorfeld zwischen der Bildverteilung und der Tiefenverteilung unter Verwendung von Bild-zu-Tiefen-Paaren. Dieser Ansatz fördert effizientes mehrstufiges Denken ohne Einbußen bei der Leistung.
Feinabstimmung von Diffusion Priors: Die Autoren demonstrieren die erfolgreiche Übertragung leistungsstarker Image Priors von einem Basisbildsynthese-Diffusionsmodell (Stable Diffusion v2-1) auf ein Flow-Matching-Modell, wobei kaum auf Trainingsdaten zurückgegriffen wird und keine echten Daten erforderlich sind -Weltbild.
Hilfsflächennormalverlust: Da DepthFM nur auf synthetischen Daten trainiert wird und die meisten synthetischen Datensätze bodenwahre Oberflächennormalen liefern, wird der Oberflächennormalverlust als Hilfsziel verwendet, um die Genauigkeit der DepthFM-Tiefenschätzung zu verbessern.
6. Experimentelle Ergebnisse Tabelle 1 zeigt qualitativ den Leistungsvergleich von DepthFM mit entsprechenden Modellen auf dem neuesten Stand der Technik. Während andere Modelle für das Training häufig auf große Datensätze angewiesen sind, nutzt DepthFM das umfangreiche Wissen, das dem zugrunde liegenden diffusionsbasierten Modell innewohnt. Diese Methode spart nicht nur Rechenressourcen, sondern betont auch die Anpassungsfähigkeit und Trainingseffizienz des Modells.Vergleich der diffusionsbasierten Marigold-Tiefenschätzung, des Flow Matching (FM)-Benchmarks und des DepthFM-Modells. Jede Methode wird mit nur einem Ensemblemitglied und mit unterschiedlicher Anzahl von Funktionsauswertungen (NFE) an zwei gemeinsamen Benchmark-Datensätzen evaluiert. Im Vergleich zur FM-Basislinie integriert DepthFM den normalen Verlust und die datenabhängige Kopplung während des Trainings.
Qualitative Ergebnisse für Marigold- und DepthFM-Modelle in unterschiedlicher Anzahl funktionaler Auswertungen. Es ist erwähnenswert, dass Marigold durch einstufige Inferenz keine aussagekräftigen Ergebnisse liefert, während die Ergebnisse von DepthFM bereits die tatsächliche Tiefenkarte zeigen.
Tiefenvervollständigung auf Hypersim. Links: Etwas Tiefe verleihen. Mittel: Tiefe, geschätzt aus der angegebenen Teiltiefe. Rechts: Wahre Tiefe.
Leser, die an weiteren experimentellen Ergebnissen und Artikeldetails interessiert sind, können den Originalartikel lesen
Das obige ist der detaillierte Inhalt vonOpen Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undress AI Tool
Ausziehbilder kostenlos

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen





DDREASE ist ein Tool zum Wiederherstellen von Daten von Datei- oder Blockgeräten wie Festplatten, SSDs, RAM-Disks, CDs, DVDs und USB-Speichergeräten. Es kopiert Daten von einem Blockgerät auf ein anderes, wobei beschädigte Blöcke zurückbleiben und nur gute Blöcke verschoben werden. ddreasue ist ein leistungsstarkes Wiederherstellungstool, das vollständig automatisiert ist, da es während der Wiederherstellungsvorgänge keine Unterbrechungen erfordert. Darüber hinaus kann es dank der ddasue-Map-Datei jederzeit gestoppt und fortgesetzt werden. Weitere wichtige Funktionen von DDREASE sind: Es überschreibt die wiederhergestellten Daten nicht, füllt aber die Lücken im Falle einer iterativen Wiederherstellung. Es kann jedoch gekürzt werden, wenn das Tool explizit dazu aufgefordert wird. Stellen Sie Daten aus mehreren Dateien oder Blöcken in einer einzigen wieder her

0.Was bewirkt dieser Artikel? Wir schlagen DepthFM vor: ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren. Lassen Sie uns diese Arbeit gemeinsam lesen ~ 1. Titel der Papierinformationen: DepthFM: FastMonocularDepthEstimationwithFlowMatching Autor: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Stehen Sie vor einer Verzögerung oder einer langsamen mobilen Datenverbindung auf dem iPhone? Normalerweise hängt die Stärke des Mobilfunk-Internets auf Ihrem Telefon von mehreren Faktoren ab, wie z. B. der Region, dem Mobilfunknetztyp, dem Roaming-Typ usw. Es gibt einige Dinge, die Sie tun können, um eine schnellere und zuverlässigere Mobilfunk-Internetverbindung zu erhalten. Fix 1 – Neustart des iPhone erzwingen Manchmal werden durch einen erzwungenen Neustart Ihres Geräts viele Dinge zurückgesetzt, einschließlich der Mobilfunkverbindung. Schritt 1 – Drücken Sie einfach einmal die Lauter-Taste und lassen Sie sie los. Drücken Sie anschließend die Leiser-Taste und lassen Sie sie wieder los. Schritt 2 – Der nächste Teil des Prozesses besteht darin, die Taste auf der rechten Seite gedrückt zu halten. Lassen Sie das iPhone den Neustart abschließen. Aktivieren Sie Mobilfunkdaten und überprüfen Sie die Netzwerkgeschwindigkeit. Überprüfen Sie es erneut. Fix 2 – Datenmodus ändern 5G bietet zwar bessere Netzwerkgeschwindigkeiten, funktioniert jedoch besser, wenn das Signal schwächer ist

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

Kürzlich wurde die Militärwelt von der Nachricht überwältigt: US-Militärkampfflugzeuge können jetzt mithilfe von KI vollautomatische Luftkämpfe absolvieren. Ja, erst kürzlich wurde der KI-Kampfjet des US-Militärs zum ersten Mal der Öffentlichkeit zugänglich gemacht und sein Geheimnis gelüftet. Der vollständige Name dieses Jägers lautet „Variable Stability Simulator Test Aircraft“ (VISTA). Er wurde vom Minister der US-Luftwaffe persönlich geflogen, um einen Eins-gegen-eins-Luftkampf zu simulieren. Am 2. Mai startete US-Luftwaffenminister Frank Kendall mit einer X-62AVISTA auf der Edwards Air Force Base. Beachten Sie, dass während des einstündigen Fluges alle Flugaktionen autonom von der KI durchgeführt wurden! Kendall sagte: „In den letzten Jahrzehnten haben wir über das unbegrenzte Potenzial des autonomen Luft-Luft-Kampfes nachgedacht, aber es schien immer unerreichbar.“ Nun jedoch,

Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.
