Springe zum Inhalt

Projekte

Augmented Reality-Tracking-Methoden

Erstellung verschiedener Anwendungen für die Vuzix M300 und die Microsoft HoloLens 1

“Wie kann ich für eine Augmented-Reality-Brille eine App entwickeln und welche Brille eignet sich für welche Anwendungszwecke?” Hier geht es zur Webseite!

Sind wir ehrlich – Anleitungen und Pläne auf Papier sind nicht mehr ganz zeitgemäß. Der Trend geht dahin, Gebrauchsanweisungen multimedial aufzubereiten und perfekt an die Zielgruppe anzupassen. Durch Augmented-Reality lässt sich die Realität geschickt zu unserem Vorteil erweitern. Daraus ergeben sich auch neue Möglichkeiten für den Bereich der Technischen Redaktion. „Augmented Reality schlägt eine Brücke zwischen der Online- und Offline-Welt. Mit Tablets, Smartphones und Wearables wird die Technologie praxistauglich.“ (TWT Interactive GmbH 2021)

Schon jetzt gibt es diverse Anwendungsbeispiele der AR-Technologie wie z. B. das künstliche Einrichten von Wohnungen, die Darstellung dreidimensionaler Animationen oder die Verwendung virtueller Montageanleitungen.
Für die Projektarbeit der Veranstaltung T3B731 Multimedia werden mithilfe von Unity verschiedene Augmented-Reality-Applikationen entwickelt. Diese werden auf zwei unterschiedliche Augmented-Reality-Brillen gespielt. Somit kann der/die Nutzer:in diese Applikationen auf der Vuzix M300 oder der Microsoft HoloLens 1 anwenden.

Betrachtung durch die Vuzix M300: QR-Code wird getrackt und ein Würfel wird virtuell eingesetzt

Projektziel

Ziel der Projektarbeit war es, die Anwendungsentwicklung für die beiden Brillen zu untersuchen. Zu Beginn des Projektes wurden Grundfunktionalitäten festgelegt, auf die wir die Brillen untersuchen wollen. Je nach Projektfortschritt wurde der App-Umfang iterativ um Funktionalitäten erweitert.

Das Trackingobjekt „Viking Lander“ wird mit der Microsoft HoloLens 1 betrachtet

Die Erkenntnisse aus der Applikationsentwicklung wurden über Lernmaterialien zugänglich gemacht. Somit profitieren nicht nur wir, sondern auch zukünftige Lernende und Anwender:innen von unserer Arbeit. Um die Arbeitsschritte nachvollziehen zu können wurde eine Webseite erstellt, welche die gesamte Vorgehensweise abbildet und zum Nachahmen auffordert. Die Webseite wurde mit dem Web-Content-Management-System WordPress erstellt.

Das Trackingobject „Drehleiter“ wird gescannt und mit der Vuzix M300 betrachtet.
  • Zeitraum: Wintersemester 2021/2022
  • Tools: Vuforia, Unity, c#, Vuzix M300, Microsoft HoloLens 1
  • Personen: Patrick Rannacher, Marthe Schlösser, Julia Telatinski, Luca Weishäupl

Hier geht es zur Webseite!

Virtuelle Planeten Tour

In der Planeten-Tour sind die folgenden Himmelskörper dargestellt: Sonne, Merkur, Venus, Erde, Erdmond, Mars, Jupiter, Saturn, Uranus, Neptun und ein schwarzes Loch. Die Planeten stehen in korrektem Größenverhältnis und korrekter Distanz zueinander und rotieren in entsprechender Geschwindigkeit um ihre eigene Achse.

Die Planeten-Tour startet mit einer kurzen Einführung zur Bedienung der Controller. Mit einem Klick auf den Start-Button kann die Tour dann gestartet werden. Der Spieler befindet sich im Weltall. Vor sich sieht er eine Art Laufsteg, den er entlanglaufen kann. Rechts und links befinden sich in korrekter Reihenfolge die Planeten unseres Sonnensystems. Hinter dem Spieler befindet sich die Sonne. Mit Hilfe eines Teleports kann sich der Spieler entlang der Planeten auf dem festgelegten Laufsteg fortbewegen.

Erstellung der Infopanels und interaktiven Buttons

Jeder Himmelskörper hat ein Namenslabel und darunter ein Button, mit welchem per Klick des Controllers ein Informationspanel geöffnet wird. Auf dem Panel lassen sich Informationen sowie je ein Funfact zum jeweiligem Himmelskörper lesen. Mit einem weiteren Klick auf den Button schließt sich das Panel wieder. Zudem wird die Atmosphäre durch entsprechende Musik unterstützt.

Erzeugen des Spielerumfelds in der Spiele-Engine Unity
  • Zeitraum: Wintersemester 2021/2022
  • Tools: Oculus Quest 2, Unity, c#
  • Personen: Nadine Blinzler, Cecile Boschert, Victoria Hermann, Antonia Kritzer

Erste-Hilfe-Handlung in einer VR-Anwendung als Serious Game darstellen

Mit dieser VR-Anwendung soll das Erlernen einer korrekten Durchführung der Stabilen Seitenlage ohne Kontaktaufnahme erleichtern und dabei spannend und langfristiges Wissen vermitteln. Die Umsetzung der VR-Anwendung ist hier zu sehen.

Auch virtuell können den Nutzern die Handgriffe der stabilen Seitenlage gezeigt und beigebracht werden. Durch die digitale Darstellung ist das Erste-Hilfe-Training nicht örtlich gebunden, erfordert keine feste Terminbuchung und kommt ohne begrenzte Teilnehmeranzahl daher. Des Weiteren werden weder Dummies noch weitere freiwillige Personen benötigt.

Startleinwand aus der Perspektive des Spielers

Die digitale Darstellung erlaubt eine Erweiterung und Aktualisierung, sollten sich Gesetze ändern und neue Schulungsinformationen veröffentlicht werden. Das realistische Szenario kann spielerisch in einem Serious Game erfahrbar gemacht werden. Die Interaktivität soll dabei helfen, sich die Schritte besser merken zu können.

Das Serious Game kann jeder Zeit pausiert oder unterbrochen werden und dann weitergeführt werden, wenn der Spieler wieder neue Informationen aufnehmen möchte.

Erstellung der Animation, einzelne Gelenke durch „Blasen“ dargestellt sind ansteuerbar

Die VR-Anwengung wurde mittels Spieleengine Unity erstellt. Damit das Model eine realistische Physik besitzt, wurde der in Unity eingebaute „Ragdoll Wizard” benutzt. Mit dem „Ragdoll Wizard” werden die einzelnen Gliedmaßen/Bones des Models ausgewählt und Unity belegt diese dann mit den „Rigidbody”, „Collider” und „Character Joint”-Komponenten.

  • Zeitraum: Wintersemester 2021/2022
  • Tools: Unity, Oculus Rift
  • Programmiersprache: c#
  • Personen: Aaren McCall, Alicia Rieger, Birte Schönhals, Bryan Teubner

Die Umsetzung der VR-Anwendung ist hier zu sehen.

Augmented-Reality-E-Learning zu einem PC-Modell

In diesem Projekt hat sich die Gruppe ARtAttack zum Ziel gesetzt, einen fiktiven Hochschulkurs anzubieten, wie er auch im Rahmen eines realen Hochschulkurses angeboten werden könnte. Der Kurs verfolgt das Ziel, dem Nutzer Wissen über einzelne PC-Komponenten zu vermitteln.

Die Umsetzung der Anwendung erfolgte mittels der Spieleengine Unreal-Engine, eine Spieleentwicklungsumgebung. Die Software ist nicht primär auf die Programmierung von Augmented-Reliaty-Lösungen ausgerichtet, beherrscht unter Zuhilfenahme von Zusatztools jedoch auch diesen Anwendungsfall.

Überblick über die visuelle Programmierung der Lernanwendung in der Unreal-Engine

Die Abläufe der Anwendungseinheiten wurden mit sogenannten Blueprints erfolgreich umgesetzt. Blueprints sind Programmeinheiten in Unreal Engine, in denen mittels visueller Programmierung Logiken und Abläufe erstellt werden können. Diese visuelle Programmierung erfolgt „node-basiert“, d.h. über das Verknüpfen einzelner Knotenpunkte, die jeweils eine informatische oder mathematische Funktion darstellen oder für ein Objekt innerhalb des Levels stehen (https://docs.unrealengine.com/4.27/en-
US/ProgrammingAndScripting/Blueprints/Overview/).

Diese Blueprints sind der Hauptbestandteil dieses Prozessschrittes, denn sie verleihen den zuvor importierten und platzierten 3D-Objekten eine Funktionalität bzw. Interaktivität. Auf der HoloLens wird entweder über direktes Anfassen und Bewegen von Objekten mit diesen interagiert oder mithilfe von Buttons, die beispielsweise am Handgelenk fixiert werden können. Diese Buttons liegen mit den Mixed-Reality-Erweiterungen und Toolkits schon fertig vor. Sie werden über ein oder mehrere Blueprints eingebunden und im sogenannten „Event Graph“ des Blueprints visuell programmiert.

Die AR-Brille HoloLens 2 von Microsoft. (Quelle: 4experience.co)

Das E-Learning wird mit der AR-Brille HoloLens 2 von Microsoft benutzt, welche interaktive 3D-Projektionen in das direkte sichtbare Umgebung integriert. Die Brille wird mit Gestern, Sprache, Kopf- sowie Augenbewegung und Knöpfen bedient.

  • Zeitraum: Wintersemester 2021/2022
  • Tools: Meshroom, Blender, Unreal Engine, Visual Studio, Mixed Reality Toolkit
  • Personen: Donnell Mack, Pascal Lambert, Fabian Kroiher, Marvin Daneke

Tutorial zu einer Mini Drohne

Für dieses Projekt wurde entschieden, ein Tutorial zu der Drohne DJI Mini 2 zu gestalten. Das Ziel war es, Anfänger dabei zu unterstützen, die Drohne direkt nach dem Kauf ausprobieren zu können. Dafür wurde sich dementsprechend nicht auf kleine Details fixiert, sondern es wurde auf alles wichtige für die Nutzung eingegangen. Hier geht es zur Webseite!

Drohne DJI Mini 2

Dafür wurden verschiedene Lektionen vom Set-Up, über die rechtliche Situation, bis hin zum Landen der Drohne erstellt. Zum Schluss zeigen Beispielnutzungen dem Anfänger in welchen Situationen Drohnen heutzutage häufig verwendet werden. Das Tutorial dient dem neuen Drohnen-Nutzer als schneller Einstieg zum Fliegen, es ist jedoch kein Ersatz für die Bedienungsanleitung.

Videodreh im Studioraum
  • Zeitraum: Wintersemester 2021/2022
  • Tools: Blender, Teachable, DaVinci Resolve, Milanote
  • Personen: Lucas Bardic, Sophie Hilbert, Edwin Falkner, Aileen Hörnschemeyer

Hier geht es zur Webseite!

Virtuelle Kunstausstellung

Museen sind Kulturträger, vermitteln Wissen und bieten die Möglichkeit, sich geschichtlich weiterzubilden. Während Kunstmuseen mit wechselnden Ausstellungen meist eher eine bestimmte Zielgruppe ansprechen, werden Museen für Naturkunde oder Geschichte von einer breiten Masse der Bevölkerung besucht. Hier geht es zur Webseite!

Seit Museen aufgrund der Einschränkungen des öffentlichen Lebens allerdings keine Besucher mehr empfangen durften, mussten sie sich Alternativen überlegen, um ihr Publikum auf andere Art zu erreichen und nutzten die Chance, ihr digitales Angebot durch virtuelle Kunstausstellungen auszubauen. Dabei ermöglichen sie Kunstinteressierten nicht nur ein maximal flexibles Besuchererlebnis.

Mit dem Angebot einer virtuellen Kunstausstellung bieten Museen ihren Besuchern auch einen umfassenderen Überblick über die Vielfalt der Kunstwerke sowie zugehörige Informationen. Durch die Platzierung auf der museumseigenen Webseite kann der Nutzer zudem Informationen zu vergangenen oder kommenden Ausstellungen, aber auch weitere Angebote des Museums einsehen.

Ausschnitt der virtuellen Kunstausstellung

Die Idee der virtuellen Kunstausstellung ist nicht erst seit der Corona-Pandemie populär, schon zuvor erkannten Kunstliebhaber den Mehrwert von Orts- und Zeitunabhängigkeit. Dabei bewegt sich der Besucher beispielsweise mithilfe von Steuerelementen durch einen nicht realen, also virtuellen Ausstellungsraum. Dieser kann in einer Webseite eingebettet sein und so konzipiert sein, dass Besucher alle Gemälde und Skulpturen betrachten können, indem sie sich zu vordefinierten Punkten im Raum bewegen können.

All diese Gründe waren letzten Endes Entscheidungsträger für die Konzeption einer virtuellen Kunstausstellung im Rahmen der Veranstaltung Multimedia. Die Galerie trägt den Namen LOMA Arts, welcher sich aus den Anfangsbuchstaben der Vornamen der Projektmitglieder zusammensetzt.

Menü Shading in Blender
  • Zeitraum: Wintersemester 2021/2022
  • Tool(s): WordPress, Verge3D, H5P
  • Person/en: Dombek, Melissa; Chrzanowska, Oliwia; Kern, Laura; Kalaidopoulou, Anastasia

Hier geht es zur Webseite!

Online-Kurs zur Fotografie

Im Rahmen der Veranstaltung „T3B731 Multimedia” wurde ein interaktiver Online-Kurs zum Thema „Einstieg in die Hobbyfotografie” erstellt. Die Zielgruppe sind Einsteiger sowie Fotografie-Interessierte, denen wir einen leicht zugänglichen und intuitiven Einstieg in die komplexe Welt der Fotografie bieten möchten. Hier es zur Webseite!

Projektbeschreibung

Dafür wurde mit der Plattform WordPress eine komplexe Webseite erstellt, auf der der Online-Kurs, in 4 große Themenbereiche aufgeteilt, zu finden ist.

Ausschnitt der Webseite

Es gibt 4 große Themenbereiche des Online-Kurses. Das erste große Thema „Aufbau der Kamera” fokussiert sich auf allgemeine Einstellungen einer Kamera. Diese werden anhand eines 3D-Modells einer Nikon-Kamera erklärt, sind aber auch auf alle anderen Kameras anwendbar. Im zweiten Themenbereich „Grundlagen der Fotografie” werden dem Nutzer hilfreiches Theoriewissen nähergebracht. Dabei erlernt der Nutzer durch informative Texte schnell und einfach Wissen, welches er spielerisch direkt überprüfen kann.
Der Themenbereich „Digitale Bildbearbeitung” befasst sich mit allen Bearbeitungsfunktionen, die einem zur Verfügung stehen, nachdem man ein Foto geschossen hat. Die einzelnen Inhalte werden anhand selbst erstellter Video-Tutorials erläutert.
Der letzte Themenbereich beinhaltet eine YouTube-Video-Sammlung von jeglichem Fotografie-Zubehör, welches für unsere Zielgruppe interessant sein könnte.
Zu guter Letzt wurde auf der Webseite inklusive E-Learning anhand eines Probanden aus unserer Nutzergruppe getestet. Die aus dem Usability-Test resultierenden Ergebnisse wurden ebenso dokumentiert und für zukünftige Erweiterungen sowie Verbesserungen festgehalten.

  • Zeitraum: Wintersemester 2021/2022
  • Tool(s): WordPress
  • Person/en: Brugger, Lea; Galan, Weronika; Komaromi, Josef; Krause, Katharina

E-Learning-Website zu Web Accessibility

Diese Projektarbeit ist im Zusammenhang der Veranstaltung Multimedia-Technologien im Wintersemester 21/22 enstanden. Hier geht es zur Webseite!

Projektbeschreibung

Eine E-Learning-Website zum Thema Accessibility, auf welcher die Zielgruppe sich selbst einlesen kann, soll die Nutzer für das Thema sensibilisieren. Neben textueller Information soll die Website auch mit Hilfe interaktiver Übungen, Best Practices und einem abschließenden Quiz ausgestattet sein. Dies soll sowohl motivieren als auch zur Wissensabfrage dienen. Die Website soll die Zielgruppe dazu befähigen, in kommenden Projekten Accessibility zu beachten und auch grundlegend umzusetzen.

Zielgruppe

Es gibt viele Menschen, die im Bereich des Webdesigns tätig sind. Entweder haben sie in diesem Bereich eine Ausbildung oder ein Studium absolviert, oder aber sie haben sich dem Webdesign selbst angenommen und sich ihre Kenntnisse und Fähigkeiten selbst angeeignet.

Egal wie die Personen zum Webdesign gekommen sind, häufig ist kaum Wissen im Bereich Accessibility vorzuweisen. Auch für Studierende, die sich später in Bereichen wie Webdesign oder UX Design sehen, ist Know-How im Themengebiet der Barrierefreiheit essenziell. An dieser Stelle tritt die Lernwebsite zur Hilfe.

Das Lernangebot zielt demnach vor allem auf solche Personen ab, die sich in ihrer Freizeit oder beruflich mit Webdesign beschäftigen und bisher kaum Berührungspunkte mit Barrierefreiheit und ihrer Umsetzung im Web hatten. Es dient dazu, sich selbstständig in das Thema einzuarbeiten und ein grundsätzliches Verständnis zu erlangen.

  • Zeitraum: Wintersemester 2021/2022
  • Tool(s): WordPress, H5P
  • Person/en: Teresa Mayer

Hier geht es zur Webseite!

Video Data Mining: Analyse von Nutzeraktivitäten in Lernvideos

Ziel des Projekts war das Erfassen von Nutzeraktivitäten in Lernvideos und X3D-Modellen zur späteren Auswertung.

Die Abbildung illustriert den Programmablauf beim Speichern des X3D-Modells.

Projektbeschreibung

Videos spielen beim Lernverhalten eine immer größere Rolle. Angefangen in der Schule oder bei Computerproblemen sowie bei Schulungen und z. B. der Inbetriebnahme von Geräten wird das Medium Video zunehmend wichtiger.
Doch abgesehen von Klickzahlen ist es schwierig das Nutzerverhalten auszuwerten und die Qualität der des Mediums über den Gesamteindruck hinaus zu beurteilen.

Insbesondre Bewertung von einzelnen Sequenzen innerhalb eines Videos ist schwierig. Dabei ist es für jeden Ersteller sinnvoll und wichtig zu erkennen, wann der Rezipient auf Pause drückt, zurück spult oder eine Stelle überspringt, um die Qualität und die Nutzerfreundlichkeit kontinuierlich steigern zu können.

Ähnlich verhält es sich mit anderen Formaten. In dieser Arbeit wurden zusätzlich die Einsatzmöglichkeiten von Data-Mining bei der Nutzung von 3D-Darstellung untersucht und Möglichkeiten daraus sinnvolle Aussagen ableiten zu können.

  • Zeitraum: Sommersemester 2021
  • Tool(s): Blender, Verge3D, JavaScript, WordPress, Matomo
  • Person/en: Florian Rommel, Daniela Jordan

Evaluation des Blender-Plugins „Verge3D“ & Entwicklung einer interaktiven 3D-E-Learning-App

Die Projektarbeit wurde im Rahmen der Veranstaltung Multimedia-Technologien erstellt und befasst sich mit den Funktionalitäten des Blender-Plugins „Verge3D“.

Anhand des Beispiels einer interaktiven 3D E-Learning-App zum Thema Erste-Hilfe, wurden die Möglichkeiten und Funktionen von Verge3D in Kombination mit Blender getestet, angewandt und abschließend evaluiert. Die 3D-Animation stellt hierbei den Vorgang der stabilen Seitenlage dar. Interaktive Features, wie beispielsweise per Mausklick angewandte Bewegungen an einer Körperstelle, sollen dabei den Lerneffekt für den Nutzer erhöhen.

Interaktives 3D-E-Learning: Bringe die betroffene Person in stabile Seitenlage
  • Zeitraum: Wintersemester 2020/2021
  • Tool(s): Blender, Verge3D, JavaScript
  • Person/en: Sandra Hilbert, Jonas Kratzmeier, Sabina Müller, Simone Ortel, Charlotte Quirmbach, Benjamin Rothfuss

Hier geht es zur Webseite!