ARoom
Knauf AMF
Anforderungen
Der Kunde Knauf AMF wünscht sich einen Konfigurator, mit Hilfe dessen Architekten, Innenausstatter und andere User auf einer frei definierbaren Wand verschiedene Heradesign Wandpanele in einem dynamisch generierten, rotierbaren Grid platzieren können. Jedes ebenfalls rotierbare Element kann individuell mit einer Kombination aus vier Materialien und einem RAL-Farbton versehen werden. Speichern, teilen, sowie PDF-Export von erstellten Konfigurationen soll ebenfalls möglich sein. Als Highlight sollen die Konfigurationen mittels Augmented Reality auf reale Wände in Echtzeit dargestellt werden können. Target-Plattformen sind Smartphones, Tablets, sowie Desktop-PCs.
Herausforderungen
- Vom User konfigurierbare Wände, welche ebenfalls frei definierbare, nicht belegbare Teile enthalten, sind eine große Herausforderung bei der dynamischen Griderstellung. Zusätzlich soll das Grid in 45 Grad Schritten gedreht werden können. Elemente können mehrere, oder nur Teile einer Gridzelle belegen. Verschiedene Grid-Arten (quadratisch und hexagonal)
- Teilen, Speichern und Verschicken von Konfigurationen
- Eine Anforderung an den Augmented Reality Modus der App ist, dass er ohne das Platzieren von Markern funktionieren soll
- Um die App möglichst einem breiten Publikum zugänglich zu machen sollen Smartphones, sowie Tablets mit Googles Android, sowie Apples iOS Betriebssystemen unterstützt werden. Zusätzlich soll es auch möglich sein die App im Browser auf dem PC nutzen zu können
Lösungen
- Es werden unterschiedliche Grids für rechteckige und hexagonale Elemente, sowie deren Größe, erstellt. Rotationen werden als Parameter im Grid selbst gespeichert, aber die Datenhaltung bleibt ein zweidimensionales Array. Das erste Element entscheidet die Position und Rotation des Grids
- Zum Teilen, Speichern und Verschicken von Konfigurationen wurde ein Backend-Server, mit welchem die Apps mittels REST-Calls kommunizieren, erstellt
- Für den Augmented Reality Modus wird die neueste Technologie Markerless Augmented Reality eingesetzt. Bei dieser wird mittels SLAM (Simultaneous Localization And Mapping) eine virtuelle Karte der Umgebung erstellt. Sobald eine Wand erkannt wurde können die Konfigurationen darauf maßstabsgetreu abgebildet werden
- Die Entwicklung der App wurde mit Unity3D hauptsächlich in C# umgesetzt. Mit einigen Anpassungen lässt sich die App so auf die drei gewünschten Plattformen compilieren. Abhängig von der Plattform und der Größe des Geräts sind gegebenenfalls nur Teile der App verfügbar.
Technologien
Unity3D
Google ARCore
Apple ARKit
Ergebnis
Das Projekt wurde in enger Zusammenarbeit mit der anfema GmbH umgesetzt. Deren Mitarbeiter waren für das UI- und App-Konzept, sowie die Serverprogrammierung und dessen Hosting verantwortlich. Die Entwicklung der App für alle drei Plattformen ist durch ziemlich3D erfolgt.
Die App ist für Smarthones und Tablets mit Android oder iOS erhältlich. Zusätzlich kann die App als WebGL-Version auch in den neuesten Browsern genutzt werden.
Weltgrößte Kuckucksuhr (digital)
Oliver „Olsen“ Wolf
Anforderungen
Zur Ausstellung „Digital ist besser“ in 2021 plant der Künstler Olsen an der Kunstgallerie von Villingen-Schwenningen eine große Außeninstallation: Die größte, digitale Kuckucksuhr der Welt.
Dabei soll die knapp sieben Meter hohe und sechs Meter breite Kuckucksuhr, bestehend aus geschlossenporigem Spezialschaumstoff, mit digitalen Inhalten angereichert werden. Neben einem naheliegenden, digitalen Ziffernblatt mit Zeigern sollen zusätzlich weitere Inhalte angezeigt werden können, die aber noch genauer zu definieren sind. Als Interaktion soll der User die Uhrzeit selbst mit dem Finger einstellen können, um so den Kuckuck „herauszulocken“.
Herausforderungen
- Tracking des realen Kuckucksuhr-Körpers an der Fassade der Kunstgallerie
- Abspielen von Videos "auf" der Uhr
- Handhabung der virtuellen Uhr auf dem Gerät analog zu einer echten Kuckucksuhr
- Weitere Anwendungen der Uhr: Zeitungsartikel, der vom Leser an die Wand gehängt werden kann und Miniatur der Uhr, welche käuflich erworben werden kann
Lösungen
- Zum Erstellungszeitpunkt der App kann lediglich ARKit reale Körper im Kamerabild erkennen. Da aber iOS und Android-Versionen geplant sind muss eine Technik gewählt werden, die beide AR-SDKs anbieten. Die Entscheidung fiel dann auf ein bildbasiertes Image-Target, dargestellt als QR-Code. Dieser kann, bei ausreichender Größe, zuverlässig von beiden SDKs erkannt werden. Als weiteren Vorteil kann der Marker gleichzeitig per QR-Code-Scanner den Link zur Website der App enthalten. Nicht unerheblich ist außerdem der Umstand, dass die meisten Leute einen QR-Code eher als "Point-to-Action" verstehen, als andere Formen eines Markers.
- Während der Konzeptphase wurden mehrere Möglichkeiten erarbeitet, auf welche Art die Videos auf der Uhr dargestellt werden können. Gemeinsam haben wir uns dann für eine Variante entschieden, bei der die Videos auf den einzelnen "Pixeln" der Uhr abgespielt werden. Diese befinden sich in verschiedenen Höhenebenen, so dass ein exaktes Tracking, sowie ein maßstabsgetreues 3D-Model entscheident für den Erfolg sind.
- Natürlich zeigt das virtuelle Ziffernblatt die aktuelle Uhrzeit und ein Algorithmus erkennt halbe und volle Stunden. Passend zur Uhrzeit wird dann automatisch ein Video einer Kuckucksuhr, passend zur Zeit, abgespielt. Außerdem kann der Minutenzeiger, ähnlich wie bei einer echten Uhr, mit dem Finger bewegt werden. So kann der Nutzer selbst zu einer bestimmten Uhrzeit springen, zu welcher auf halbe und volle Stunden auf-/abgerundet das passende Video abgespielt wird.
- Um die verschiedenen Anwendungsfälle zuverlässig zu detektieren werden verschiedene Marker benutzt. So kann die App den genauen Anwendungsfall erkennen und die Kuckucksuhr dementsprechend anzeigen. Es wird dabei unterschieden, ob es sich um einen flachen Marker, oder einen Marker mit "leerer Kuckucksuhr" handelt. Zusätzlich bestimmt der Marker auch, in welcher Größe der virtuelle Content angezeigt wird.
Technologien
Unity3D
Google ARCore
Apple ARKit
Ergebnis
Der zum Start des Projekts festgelegte Funktionsumfang wurde während der Implementierungsphase, sowie der durch die Corona-Pandemie bedingten Verschiebung der Ausstellung für die App in einigen Punkten abgewandelt bzw. erweitert. Somit ist die App nun mit zusätzlichen Funktionen ausgestattet, die ihre Bedienung und das Erscheinungsbild verbessern.
Second Glance
Carolin Jörg / 8ter April Studio
Anforderungen
Die Künstlerin Carolin Jörg hätte gerne eine Neuauflage der bereits bestehenden Android App „Second Glance“, welche unter Anderem besseres Tracking bieten soll. Außerdem ist gewünscht die App ebenfalls für iOS zu veröffentlichen.
Herausforderungen
- Extrem kurzes Zeitkontingent zur harten Deadline (öffentliche Ausstellung) von unter einem Monat
- Abspielen von transparenten Videos auf erkannten Markern (Gemälde)
- App-Größe muss trotz mehrerer, größerer Videos gering genug gehalten werden, um mobil heruntergeladen zu werden
Lösungen
- Zeitnaher Start kurz nach Beauftragung und reduzieren der geplanten Puffer auf ein Minimum
- Spezieller Shader, der exakt auf die transparenten Videos angepasst wurde und zusätzlich aus nicht transparenten Videos bestimmte Pixel herausfiltert
- Reduzieren der Videogröße und Umrechnung in ein spezielles Format. Außerdem Teilen der Android-App in zwei Teile, die für den User unsichtbar separat aus dem Play-Store geladen werden. Bei iOS wurde mittels eines kurzfristig erstellten Updates die Größe unter die 150 MB zulässige Größe gedrückt, so dass diese auch mobil in der Ausstellung herunterladbar wurde
Technologien
Unity3D
Vuforia
Ergebnis
In Zusammenarbeit mit Carolin Jörg und 8ter April Studio konnte die App in einem sehr kompakten Zeitrahmen fertig gestellt werden.
Die App ist für Smartphones und Tabelts mit Android oder iOS Betriebssystem kostenlos verfügbar.