CoRL 2022 Excellent Paper; Sprachmodell erzeugt Proteine, die in der Natur nicht vorkommen

Empfohlen: Programmieren Sie komplexe und modulare Proteinstrukturen programmgesteuert.

Papier 3: DOC: Verbesserung der Kohärenz langer Geschichten mit detaillierter Gliederungskontrolle

• Autor: Kevin Yang, Dan Klein usw.
• Adresse des Papiers : https:/ /ar xiv .org/pdf/2212.10077.pdf

Abstract: Vor einiger Zeit wurde Re^3 veröffentlicht, ein Sprachmodell, das den menschlichen Schreibprozess nachahmt. Dieses Modell erfordert keine Feinabstimmung von großen Modellen, erzeugt aber Konsistenz durch die Gestaltung starker Geschichten.

Jetzt hat das Forschungsteam ein neues Modell-DOC zur Generierung von Geschichten vorgeschlagen. Die Autoren des Papiers, Kevin Yang und Tian Yuandong, posteten ebenfalls auf Twitter, um für das DOC-Modell zu werben, und sagten, dass die von DOC generierten Geschichten kohärenter und interessanter seien als die von Re^3 generierten.

DOC-Framework bedeutet Detaillierte Gliederungskontrolle, die zur Verbesserung der Handlungskohärenz bei der automatischen Generierung von Geschichten mit mehreren Tausend Wörtern verwendet wird. DOC besteht aus zwei komplementären Komponenten: Detaillierter Outliner und Detaillierter Controller.

Detailed Outliner ist für die Erstellung detaillierter, hierarchisch strukturierter Gliederungen verantwortlich, die Schreibideen von der Entwurfs- in die Planungsphase bringen. Der Detaillierte Controller stellt sicher, dass die generierten Ergebnisse der detaillierten Gliederung folgen, indem er die Ausrichtung der Story-Absätze an den Gliederungsdetails steuert.

Die Studie führte eine manuelle Bewertung der Fähigkeit des Modells durch, automatisch Geschichten zu generieren, und DOC erzielte erhebliche Fortschritte bei mehreren Indikatoren: Handlungskohärenz (22,5 %), Gliederungsrelevanz (28,2 %) und Interesse (20,7 %). Das ist viel besser als das Re^3-Modell. Darüber hinaus ist DOC in einer interaktiven Build-Umgebung einfacher zu steuern.

Empfehlung: Eine weitere neue Arbeit von Tian Yuandong und anderen ursprünglichen Teammitgliedern: KI generiert lange Geschichten, und lange Artikel mit Tausenden von Wörtern können zusammenhängend und interessant sein.

Papier 4: Skalierbare Diffusionsmodelle mit Transformatoren

• Autor: William Peebles, Xie Saining
• Papieradresse: https://arxiv.org/pdf/2212.0 9748.pdf

Abstract: In diesem Artikel haben William Peebles von der UC Berkeley und Xie Saining von der New York University „Scalable Diffusion Models with Transformers“ geschrieben. Ziel ist es, die Bedeutung architektonischer Entscheidungen in Diffusionsmodellen aufzudecken und Informationen bereitzustellen für zukünftige generative Modellforschung. Diese Studie zeigt, dass die induktive Vorspannung von U-Net für die Leistung von Diffusionsmodellen nicht entscheidend ist und leicht durch Standarddesigns wie Transformatoren ersetzt werden kann.

Diese Forschung konzentriert sich auf eine neue Klasse transformatorbasierter Diffusionsmodelle: Diffusion Transformers (kurz DiTs). DiTs folgen den Best Practices von Vision Transformers (ViTs), mit einigen kleinen, aber wichtigen Anpassungen. Es hat sich gezeigt, dass DiT effizienter skaliert als herkömmliche Faltungsnetzwerke wie ResNet.

In diesem Artikel wird insbesondere das Skalierungsverhalten von Transformer im Hinblick auf Netzwerkkomplexität und Probenqualität untersucht. Es wird gezeigt, dass es durch die Konstruktion und das Benchmarking des DiT-Designraums im Rahmen des Latent Diffusion Model (LDM)-Frameworks, bei dem das Diffusionsmodell innerhalb des Latentraums von VAE trainiert wird, möglich ist, das U-Net-Backbone erfolgreich durch einen Transformator zu ersetzen. Dieses Papier zeigt außerdem, dass DiT eine skalierbare Architektur für Diffusionsmodelle ist: Es besteht eine starke Korrelation zwischen der Netzwerkkomplexität (gemessen durch Gflops) und der Probenqualität (gemessen durch FID). Durch einfaches Erweitern von DiT und Trainieren eines LDM mit einem Backbone mit hoher Kapazität (118,6 Gflops) werden hochmoderne Ergebnisse von 2,27 FID auf dem klassenbedingten 256 × 256 ImageNet-Generierungsbenchmark erzielt.

Empfehlung: Das U-Net, das das Diffusionsmodell dominiert, wird Transformer eingeführt und DiT vorgeschlagen. 🔜 :/ /arxiv.org/abs/2212.08751

Zusammenfassung

• Point-E gibt kein 3D-Bild im herkömmlichen Sinne aus, sondern generiert eine Punktwolke oder einen diskreten Satz von Datenpunkten im Raum, der eine 3D-Form darstellt. Das E in Point-E steht für „Effizienz“, was bedeutet, dass es schneller ist als frühere Methoden zur 3D-Objektgenerierung. Während Punktwolken aus rechnerischer Sicht einfacher zu synthetisieren sind, können sie die feinkörnige Form oder Textur von Objekten nicht erfassen – derzeit eine wesentliche Einschränkung von Point-E.
• Um dieses Problem zu lösen, trainierte das OpenAI-Team ein zusätzliches künstliches Intelligenzsystem, um die Punktwolke von Point-E in ein Netz umzuwandeln.

Empfohlen: Dreidimensionale Text-zu-Bild-KI wird: Einzelne GPU wird in weniger als einer Minute ausgeliefert, von OpenAI. 🔜 /articles/s41586-020-2975-4

: Am 2. Dezember 2020 erschienen mehrere überraschende Worte auf dem Cover des Top-Wissenschaftsmagazins „Nature“: „Turning Back“ Time“ (turn Zeit zurück).

Die Recherche auf dem Cover stammt vom Team von David Sinclair, einem ordentlichen Professor an der Harvard Medical School. Obwohl der Artikel nur wenige Seiten umfasst, zeigt er eine neue Perspektive auf: Die Verwendung von Gentherapie zur Neuprogrammierung von Ganglienzellen und zur Wiederherstellung jugendlicher epigenetischer Informationen, sodass sich der Sehnerv nach einer Schädigung regenerieren und den durch Glaukom und Alterung verursachten Sehverlust umkehren kann .

David Sinclair sagte, dass das Forschungsziel des Teams immer darin bestand, die Alterung des Menschen zu verlangsamen und umzukehren und Krankheiten durch die Lösung der Ursachen und nicht der Symptome zu behandeln.

Die neuesten Forschungsergebnisse stammen von David Sinclair und einem von ihm geleiteten Team von 60 Personen. Er sagte, dass Alterung wie Kratzer auf einer CD ist, die gelöscht werden können, oder beschädigte Software im System, die nur benötigt wird Umkehrungen können erreicht werden, genau wie im Lifespan-Buch.

Im Preprint-Artikel gaben die Autoren an, dass alle Organismen im Laufe der Zeit genetische Informationen verlieren und nach und nach zelluläre Funktionen verlieren. Mithilfe eines gentechnisch veränderten Maussystems namens ICE (für Inducible Changes in the Epigenome) zeigen Forscher, dass der Prozess der Reparatur nicht mutagener DNA-Brüche altersbedingte physiologische, kognitive und molekulare Veränderungen beschleunigt, einschließlich der Expression. Beobachten Sie genetische Erosion und Zellverlust Fähigkeiten, Zellalterung usw. Epigenetische Neuprogrammierung durch ektopische Expression kann jugendliche Genexpressionsmuster wiederherstellen, sagen Forscher.

Empfohlen

Papier 7: Training von Robotern zur Bewertung von Robotern: Beispielbasierte interaktive Belohnungsfunktionen für das Lernen von Richtlinien

#🎜🎜 #Autor: Kun Huang, Edward Hu, Dinesh Jayaraman

• #🎜🎜 #Papieradresse: https://openreview.net/pdf?id=sK2aWU7X9b8
• Abstract : Oft helfen körperliche Interaktionen, weniger offensichtliche Informationen preiszugeben. Beispielsweise können wir an einem Tischbein ziehen, um zu beurteilen, ob es stabil ist, oder eine Wasserflasche auf den Kopf stellen, um zu überprüfen, ob sie undicht ist. Die Studie legt nahe, dass dies durch Training geschehen könnte ein Roboter, um dieses Interaktionsverhalten automatisch zu erhalten, um die Ergebnisse der Versuche des Roboters, die Fertigkeit auszuführen, auszuwerten. Diese Bewertungen wiederum dienen als IRFs (interaktive Belohnungsfunktionen), mit denen verstärkte Lernstrategien trainiert werden, um Zielfähigkeiten wie das Festziehen von Tischbeinen auszuführen. Darüber hinaus kann IRF als Validierungsmechanismus dienen, um die Ausführung von Online-Aufgaben auch nach Abschluss der vollständigen Schulung zu verbessern. Für jede gegebene Aufgabe ist das IRF-Training sehr praktisch und erfordert keine weiteren Spezifikationen.

Die Evaluierungsergebnisse zeigen, dass IRF durch den Zugriff auf Demos oder sorgfältig gestaltete Belohnungen erhebliche Leistungsverbesserungen erzielen und sogar die Ausgangswerte übertreffen kann. Im Bild unten muss der Roboter beispielsweise zuerst die Tür schließen und dann den symmetrischen Türgriff drehen, um die Tür vollständig zu verriegeln.