Die maschinelle Lernforschung in der Akustik könnte ein multimodales Metaversum erschließen

Forscher des MIT und des IBM Watson AI Lab haben ein Modell für maschinelles Lernen erstellt, um vorherzusagen, was Zuhörer an verschiedenen Orten im 3D-Raum hören werden.

Die Forscher nutzten dieses maschinelle Lernmodell zunächst, um zu verstehen, wie sich Geräusche in einem Raum durch den Raum ausbreiten, und erstellten ein Bild eines 3D-Raums auf die gleiche Weise, wie Menschen ihre Umgebung durch Geräusche verstehen.

In einem von Yilun Du, einem Doktoranden am Department of Electrical Engineering and Computer Science (EECS) des MIT, mitverfassten Artikel zeigen Forscher, wie Techniken ähnlich der visuellen 3D-Modellierung auf die Akustik angewendet werden können.

Aber sie müssen sich mit der unterschiedlichen Schall- und Lichtausbreitung auseinandersetzen. Aufgrund von Hindernissen, der Form des Raums und den Eigenschaften des Klangs können Zuhörer an verschiedenen Orten im Raum beispielsweise sehr unterschiedliche Eindrücke vom Klang haben, was die Ergebnisse unvorhersehbar macht.

Um dieses Problem zu lösen, bauten die Forscher akustische Funktionen in ihr Modell ein. Erstens ändert sich unter sonst gleichen Bedingungen nichts an dem, was der Zuhörer hört, wenn die Position der Schallquelle und des Zuhörers vertauscht wird. Der Klang wird insbesondere auch durch örtliche Gegebenheiten beeinflusst, beispielsweise durch Hindernisse zwischen dem Zuhörer und der Schallquelle.

Du sagte: „Bisher haben sich die meisten Forscher nur auf die visuelle Modellierung konzentriert. Aber als Menschen haben wir mehrere Wahrnehmungsmodi. Nicht nur das Sehen ist wichtig, sondern auch der Ton. Ich denke, diese Arbeit eröffnet eine spannende Perspektive.“ Forschungsrichtung, um Schall besser zur Modellierung der Welt zu nutzen. Beispielsweise kann die Nähe einer Tür einen großen Einfluss darauf haben, was der Zuhörer von der anderen Seite des Raumes hört.

Das Modell ist in der Lage, basierend auf der relativen Position des Zuhörers im Raum vorherzusagen, was ein Zuhörer wahrscheinlich von einem bestimmten akustischen Reiz hören wird.

In dem Artikel heißt es: „Durch die Modellierung der akustischen Ausbreitung in einer Szene als lineares zeitinvariantes System lernt NAF, die Positionen des Senders und des Hörers kontinuierlich auf neuronale Impulsantwortfunktionen abzubilden, die auf beliebige Geräusche angewendet werden können.“ hat gezeigt, dass die Kontinuität von NAF es uns ermöglicht, Hörern an jedem Ort räumlichen Klang wiederzugeben und die Ausbreitung von Schall an neuen Orten vorherzusagen.“

Chuang Gan, Hauptforscher am MIT-IBM Watson AI Lab, war ebenfalls an dem Projekt beteiligt. , Er sagte: „Diese neue Technologie könnte neue Möglichkeiten für die Schaffung multimodaler immersiver Erlebnisse in Metaverse-Anwendungen bieten.“

Wir wissen, dass nicht alle Reg-Leser von diesem Anwendungsfall begeistert sein werden.

Das obige ist der detaillierte Inhalt vonDie maschinelle Lernforschung in der Akustik könnte ein multimodales Metaversum erschließen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!