Musikalische, darstellende, oder installative Aufführungen reizen die Raumwahrnehmungen am Aufführungsort künstlerisch und ästhetisch aus. Die räumliche Dimension der Wahrnehmung geht in der Nachbetrachtung zumeist verloren. Durch die Schaffung eines Digital Twins der Aufführung gelingt es, diese Dimension in der Wiedergabe mit den Methoden der virtuellen und erweiterten Realität detailgetreu zu erhalten. Unser Ziel ist es, Digital Twins vorhandener Aufführungsorte als virtuelle Infrastruktur zu schaffen und als Open-Access-Ressource öffentlich nutzbar zu machen. Die optimale Integration audiovisueller Komponenten, ihre Vereinfachung und Modellierung für eine effiziente, interaktive Darbietung ist eine eigenständige Forschungsaufgabe. Dabei werden die am Forschungsstandort etablierten Methoden der virtuellen Akustik mit maschinellem Lernen kombiniert und durch die visuelle Komponente ergänzt

Ziele des Projekts

Dieses Projekt hat zum Ziel, aus vorhandenen Aufführungsorten möglichst hochwertige Digital Twins als virtuelle Infrastruktur zu schaffen, als Open-Access-Ressource zur Verfügung zu stellen und damit öffentlich nutzbar zu machen. Anwendungsbeispiele dafür sind die Beforschung innovativer Bühnengestaltungskonzepte, von Aufführungspraktiken Alter und Neuer Musik sowie zeitgenössischer Klanginstallationen, die durch die Forschungsinfrastruktur durchschreitbar und wiedererlebbar aufgezeichnet, manipuliert und wiedergegeben werden können. Eine weitere Anwendung ist die Vorbereitung auf Konzerte oder Probespielsituationen in virtueller Realität ohne physisch den zukünftigen Aufführungsort betreten zu müssen.Weiters stellt die Erhöhung der Reproduzierbarkeit von psychoakustischen Experimenten, die spezielle Aufführungsorte und Infrastruktur benötigen, ein Ziel dar. Dem liegt zugrunde, dass die Digital Twins eine Wiederholung an beliebigen Orten ermöglichen.

Konkret soll am Ende der Laufzweit der Workflow für die Erstellung der Digital Twins etabliert sein und prototypisch anhand von Use Cases praktisch umgesetzt und open access veröffentlicht sein.

Arbeitspakete

Arbeitspaket 1

Audio-visuelle Vermessung und Aufnahme

Arbeitspaket 2

Computing/Modellierung

Arbeitspaket 3

Augmentierte Wiedergabe für großes Publikum