[Blomberg] VARsetzen

Projektbeschreibung

Mithilfe einer Augmented Reality App wollen wir die ursprüngliche Herkunft des Hauses Blomberg auf dem Gelände des LWL-Freilichtmuseums Detmold sichtbar machen. Dabei werden mehrere Informationsebenen für die Besucher*innen erzeugt: Sie können mittels der App Fotos der alten Fassade über die heutige legen, um mögliche Unterschiede festzustellen; die Umgebung, in der das Gebäude ursprünglich erbaut wurde, kann eingeblendet werden; auf Grundlage einer Karte können sich die Besucher*innen über ihren eigenen Standort sowie den Herkunftsort des Gebäudes (Blomberg) informieren. Um die Bauweise des Gebäudes zu veranschaulichen, soll es darüber hinaus auch möglich sein, seine Fachwerkstruktur sichtbar zu machen – ähnlich einer Röntgenaufnahme. Ziel des Projekts ist es zu testen, wie großflächige Fassaden mittels vorhandener Bilddaten von der App als Marker erkannt und wie sie dann mit Inhalten überblendet /augmentiert werden können. Dazu entwickeln wir einen Prototypen, der vor Ort durch Mitarbeiter*innen des Museums erprobt werden soll.

Ausgangslage

• LWL-Freilichtmuseum Detmold
• Das Freilichtmuseum ist ein großes Gelände (90 ha) mit 120 unterschiedlichen Gebäuden.
• Die Gebäude standen nicht immer dort, sondern wurden dort neu gebaut oder transloziert. Dies bringt die Gebäude u. U. in einen völlig anderen Kontext.
• Nicht alle Gebäude oder Räume können besichtigt werden oder dienen im Museum einem neuen Zweck (Heizungsraum, Sicherungskästen, …).
• Die Gebäude wurden an ihre neue Funktion angepasst oder haben im Laufe der Zeit Veränderungen erfahren.
• Offene Daten des LWL-Freilichtmuseums Detmold
• hochauflösende Bilddaten der Gebäude von heute
• diverse Aufnahmen von der Zeit des Abbaus aus unterschiedlichen Perspektiven
• Georeferenz-Daten von heute
• Georeferenz-Daten/-Adressen aus der Zeit des Abbaus
• kuratierte Texte
• OpenStreetMap-Daten/-Kartenmaterial

Technische Grundlagen

• Möglichkeiten Augmented Reality
• Visualisierung von Informationen, die sonst verborgen wären (Untergrundstrukturen, tragende Elemente, …)
• Hervorhebung relevanter Details
• Nicht alle Gebäude oder Räume können besichtigt werden oder dienen nun einem neuen Zweck (Heizungsraum, Sicherungskästen, …)
• Darstellung von Prozessen durch Animationen
• Förderung von Interaktion/Partizipation
• Gamification-Ansatz (erkunden, entdecken, interagieren, Feedback)
• Technische Anforderungen und Auswahl der Technologien
• Anforderung an Bilddaten
  Die aktuellen Bilddaten dienen als Marker. Die Oberflächen der Gebäude werden wie Fingerabdrücke genutzt um sie zu Unterscheiden und um Segmente der Gebäude zu erkennen.
  • kontrastreich
  • anorganische Muster
  • nicht-repetitive Oberfläche
  • hochauflösend
  • keine Komprimierung mit Kantenglättung
• Unity Engine
  • High Level Framework
  • Multi Platform Mit nur geringem Aufwand für unterschiedliche Platformen entwickeln (Android, iOS, WebGL, …)
• PTC/Vuforia
  • Einbindung in Unity ohne große Reibung möglich
  • kostenfreies und einfaches Prototyping
• OSM2World freies Tool zur Erzeugung von Meshes anhand von OSM-Daten
• statische Bilddaten statt Karten API Weder OpenStreetMap noch Google haben eine freie Static Maps API. Daher wurde sich für statische Kartenbilder entschieden.

Planung und Iterationen

• Erstellung eines Vermittlungskonzepts und eines Konzepts zur technischen Umsetzung
• Auswahl der SDKs, Plugins und Tools
• Erstellung der benötigten Funktionalitäten
  • Bild Tracking
    • einfaches Tracking
    • mehrfach Tracking
  
  • Marker Extrapolation Wenn der Marker nicht mehr erfasst wird, soll anhand der Handheld-Sensoren und Kameradaten die Position extrapoliert werden. Bei der Extrapolation mehrerer Tracker erhöht sich der Positionsfehler. Somit muss eine Gewichtung bzw. Hierarchie eigeführt werden.
  • Modell Interpolation Verortung (Position und Ausrichtung) des Augmentierungslayers bei Erfassung mehrerer Marker.
• Tests unter Realbedingungen
  • Tests im Freilichtmuseum
  • ggf. Anpassung der Funktionen und erneuter Test
• Erstellung und Umsetzung des UI

Features des umgesetzten Prototyps

• Überblendung ursprüngliche Fassade vor dem Abbau
• Darstellung der Umgebungsbebauung
• Kartendarstellung Herkunftsort
• Darstellung der Fachwerkstruktur

Lessons Learned

• Tracking unter Realbedingungen
  Das Einbetten und Testen des AR Trackings wurde unter Idealbedingungen und in kleinerem Maßstab durchgeführt. Beim Entwickeln des Trackings wurde ein A3 großer Ausdruck des Gebäudes genutzt. Somit war es kein Problem die komplette Fassade als Marker zu nutzen. Beim ersten Test im Museum wurde festgestellt, dass nur selten die komplette Fassade des Gebäudes mit dem Handheld erfassbar ist. Die örtliche Bebauung verhindert dass man sich weiter als einige Meter von der Front entfernt (Mauerwerk, Teich, …). Folglich wurde der Marker segmentiert, um einzelne Aspekte des Gebäudes tracken zu können. Die bereitgestellten Fotos, die dem Tracken dienen, wurden gemacht als das Museum geschlossen war und das Gebäude nicht bespielt wurde. Somit waren die Türen und Fenster geöffnet, während der Tracker geschlossene Türen und Fenster erwartete. Somit wurden bei der späteren Iteration die Türen und Fenster aus den Markerdaten herausgenommen. Schattenwurf und Reflektionen hatten erstaunlich wenig Einfluss auf das Tracken.
• Bottleneck Handheld
  Die Nutzerfreundlichkeit der AR Technik hängt stark von dem Endgerät ab. Für das initiale Erfassen eines Markers ist die Kamera und der Prozessor des Gerätes am relevantesten. Um die Positionen der Tracker zu extrapolieren ist zusätzlich das Gyroskop relevant. Wenn sich der Nutzer auf dem Gelände noch verorten möchte, wird zusätzlich das GPS genutzt. Alle oben genannte Hardware benötigt Strom. Somit wird, wenn die Anwendung nicht optimiert wird, der Akku stark belastet. Hier benötigt es ein austarieren von Usability und Praktikabilität.

Blick in die Zukunft

Da das Erfassen und Tracken von Fassaden durchaus möglich ist, sind die Möglichkeiten für die weitere Verwendung offen. Es können Texte, Animationen, Grafiken, Videos, Audiospuren, Web-Verlinkungen, Spiele und andere Arten von Interaktion oder Partizipation ermöglicht werden. Weiterhin können über die Nutzung des Handhelds (in diesem Fall iPad) nicht personenbezogene Daten erhoben werden, die u. a. Antworten auf folgende Fragen bieten: Wo und zu welchem Zeitpunkt kommt es zu hohen Besucherzahlen? Wie bewegen sie sich auf dem Gelände des Freilichtmuseums? Aus diesen Daten ließe sich eine Heat-Map erstellen, die Rückschlüsse auf die Attraktivität einzelner Ausstellungsbereiche geben und Leitfäden für die Personaleinteilung (Auslastungsplanung), das Marketing und die Inszenierung geben. Die Einteilung in Besuchergruppen könnte zeigen, ob barrierefreie Wege auch entsprechend genutzt werden und welches Publikum sich für bestimmte Themenbereiche besonders interessiert..

Ressourcen

GitHub Repository

Links zur verwendeten Software

Unity Engine
Vuforia
OSM2World
OpenStreetMap