Sony hat die weltweit erste Echtzeit-Live-Verteilungstechnologie mit vollständig objektbasiertem Spatial Sound entwickelt.1 Darüber hinaus erweitert Sony die Potenziale seines Musikerlebnisses 360 Reality Audio, das die Nutzer-/innen ganz in ein dreidimensionales Klangfeld eintauchen lässt.
Live-Streaming wird weithin geschätzt, weil es benutzerfreundlich ist und keine Einschränkungen hinsichtlich Standort und Bewegung auferlegt. Jedoch war es bislang eine Herausforderung, dabei einen realistischen Höreindruck zu vermitteln. Jetzt hat Sony seine hauseigene 360 Spatial Sound-Technologie weiterentwickelt, um die Echtzeit-Übertragung von dreidimensionalem Sound und Videoaufnahmen mit 360 Reality Audio zu ermöglichen. So können die Nutzer-/innen Live-Performances oder Konzerte in authentischer Qualität in Echtzeit miterleben, ohne selbst vor Ort zu sein.
Das erste Live-Ereignis, das mit 360 Reality Audio in Echtzeit übertragen wird, ist das Online-Event „40 Dai-Wa-Iroiro♬” der Künstlerin Hikaru Utada, das am 19. Januar 2023 rund um die Erde gestreamt wird. Für die ersten 10.000 Teilnehmer-/innen ist das Event kostenlos. ²
Entwicklung eines Encoders zur Echtzeitverteilung von 360 Reality Audio für Künstler-/innen und Tontechniker-/innen
Sony hat die Produktionsumgebung für 360 Reality Audio weiter verbessert und einen Echtzeit-Encoder entwickelt, der es Künstler-/innen und Tontechniker-/innen ermöglicht, sowohl Echtzeit-Performance als auch herausragende Klangqualität zu erzielen. Um ein räumliches Musikerlebnis zu schaffen, weisen die Tontechniker-/innen zunächst jeder Klangquelle, wie etwa Gesang, Gitarren und Schlagzeug, Positionsinformationen zu und ordnen die Klänge in einem sphärischen Raum an. Das neue 360 Reality Audio-Produktionstool für Echtzeitverteilung, das Sony jetzt entwickelt hat, verbessert die Produktionsumgebung weiter und versetzt die Tontechniker-/innen in die Lage, die Klangquellen beliebig und sofort zu platzieren und Sound mit dem beabsichtigten dreidimensionalen Effekt erzeugen.
Um die Musik an den Server zu senden und an die Nutzer-innen zu übertragen, werden die Audiodaten einschließlich der Positionsinformationen einmalig komprimiert. Dabei ist allerdings eine gewisse Verarbeitungszeit erforderlich, um die hohe Klangqualität zu bewahren. Sony hat nun einen eigenen Verarbeitungsalgorithmus für Klangqualität entwickelt, um die Echtzeit-Leistung zu erreichen, die für eine Live-Übertragung entscheidend ist. Da 360 Reality Audio objektbasierte Spatial Audio-Technologie nutzt, kann zudem die Informationsmenge (Bitrate), die jeder Klangquelle (Objekt) zugewiesen wird, automatisch optimiert werden, ohne die Klangqualität zu beeinträchtigen. Durch kurzzeitige Komprimierung der Audiodaten ermöglicht die Technologie eine mit der Videoaufzeichnung synchronisierte Echtzeitverteilung.
Entwicklung einer App zur Echtzeitverteilung von 360 Reality Audio an die Zuschauer-/innen
In Zusammenarbeit mit dem US-Softwareunternehmen Streamsoft Inc. hat Sony die Anwendung „360 Reality Audio Live” entwickelt, die es den Nutzer-/innen ermöglicht, 360 Reality Audio in Echtzeit zu erleben. Mit dieser App und ihren eigenen Kopfhörern können die Nutzer-/innen diese neue Form von Live-Unterhaltung genießen.
Darüber hinaus bietet die Anwendung eine Echtzeit-Chatfunktion, über die die Künstler-/innen und Zuschauer-/innen sowie die Zuschauer-/innen untereinander in Echtzeit kommunizieren können. So kann online ein Gefühl der Zusammengehörigkeit entstehen, als wäre mantatsächlich vor Ort.
Echtzeit-Streaming von Hikaru Utadas Online-Event „40 Dai-Wa-Iroiro♬” in 360 Reality Audio
Das Event wird am Donnerstag, den 19. Januar 2023 – dem 40. Geburtstag von Hikaru Utada – ab 21:00 Uhr japanischer Zeit rund um die Erde übertragen. Um teilnehmen zu können, brauchen die Zuschauer-/innen die App „360 Reality Audio Live” sowie Kopfhörer.
Website zu Hikaru Utadas Online-Event „40 Dai-Wa-Iroiro♬”: https://www.utadahikaru.jp/40iroiro/en/
Was ist 360 Reality Audio?
360 Reality Audio nutzt die objektbasierte Spatial Sound-Technologie von Sony, um ein immersives Erlebnis zu schaffen, das so real ist, als wären die Hörer-/innen live auf einem Konzert. Künstler-/innen und Musikproduzent-/innen können mit 360 Reality Audio ein 360-Grad-Hörerlebnis realisieren, indem sie Klänge wie Gesang, Chor und Instrumente so im Soundfeld positionieren, wie es ihren kreativen und künstlerischen Visionen entspricht. Wenn die auf diese Weise entstandenen Inhalte wiedergegeben werden, genießen die Hörer-/innen ein Musikerlebnis, bei dem sie in Klänge aus allen Richtungen eintauchen können – ganz wie von den Produzent-/innen vorgesehen. ³
1 Stand 22. Dezember 2022, laut Untersuchungen von Sony.
2 Die Veranstaltung wird auch in gewöhnlichem 2-Kanal-Ton ohne Begrenzung der Teilnehmerzahl gestreamt.
3 Die App kann in Kombination mit Kopfhörern jedes Herstellers genutzt werden. Wenn die Nutzer 360 Reality Audio-zertifizierte Kopfhörer von Sony oder Audio-Technica verwenden, können sie die Funktionen zur individuellen Optimierung der zugehörigen Apps nutzen und so ein noch realistischeres Erlebnis genießen.
