Add Thesis

Objekterkennung unter Nutzung von Machine Learning für Augmented Reality Anwendungen

Written by H. Wortmann

Paper category

Master Thesis

Subject

Computer Science

Year

2020

Abstract

Masterarbeit: Augmented Reality im Mixed Reality Kontinuum Augmented Reality beschreibt die computergestützte Erweiterung der Realität. Dieses Konzept ist im Grunde nicht neu, sondern geht auf die Idee des Head-Mounted-Displays (HMD) zurück, die 1968 von Ivan Sutherland vorgeschlagen wurde (siehe Sutherland1968). Seine Idee ist, das Bild, das Sie sehen, mit einem geeigneten zweidimensionalen Bild zu überlagern, um die Illusion zu erzeugen, dass Sie ein dreidimensionales Objekt betrachten.Die überlagerte Perspektive muss sich mit der Bewegung des Kopfes des Betrachters bewegen. Bewegte, perspektivische Bilder erscheinen immer dreidimensional, auch wenn sie nicht dreidimensional sind. In der Psychologie wird dieses Phänomen als "dynamischer Tiefeneffekt" bezeichnet (vgl. Green 1961). Durch diesen Effekt ist es möglich, die Illusion von verbesserten 3D-Objekten auf einem einfachen Smartphone-Display zu erzeugen, ohne dass dies erforderlich ist.1994 verwendet Paul Milgram das "Reality-Virtuality Continuum", um AR zwischen Realität und Virtualität zu klassifizieren. Der Bereich, in dem sich Virtualität und Realität vermischen, wird als „Mixed Reality“ (MR) bezeichnet. In diesem Bereich werden die Begriffe "Augmented Reality" und "Augmented Virtual" (AV) genannt. Wie eingangs erwähnt, bezieht sich AR im Wesentlichen auf die Nutzung virtueller Daten zur Erweiterung der Realität. Umgekehrt wird, wenn die virtuelle Darstellung reich an Daten aus der realen Welt ist, eine verbesserte Virtualität verwendet. Milgram hat ihn in seiner Veröffentlichung grafisch als kontinuierlichen Strahl dargestellt (Abbildung 2.1). Hauptmerkmal des Begriffs Augmented Reality sind heute Anwendungen auf Smartphones und Tablets, die zusätzliche Informationen oder Objekte im Kamerabild anzeigen. Die Hinzufügung von Realität beschränkt sich in der Regel auf visuelle Eindrücke. 2.1.1 Mögliche Formen von Augmented Reality Der Begriff AR beschreibt sehr allgemein die Erweiterung der Realität. Diese Merkmale können unterschiedlich sein, da sie unterschiedliche Wahrnehmungsbereiche betreffen, nämlich das menschliche Sehen, Hören, Empfinden, Riechen und Schmecken (vgl. Nowitzki 2003). Die häufigste Form von AR ist Augmented Reality durch Bilder. Dies geschieht in der Regel mit Hilfe einer Kamera und eines Displays, das das Kamerabild wiedergeben und mit zusätzlichen Informationen oder Grafiken ergänzen kann. Diese Variante wird in Smartphones oder Head-Mounted-Devices (HMD) wie B. Hololens (siehe Microsoft2019b) oder Google Glass (siehe Google2019b) verwendet AR wird seit Mitte der 1990er Jahre in der Sportübertragung eingesetzt. 2.1.3 Interaktion ist notwendig, damit AR-Anwendungen nicht nur in Ausgaberichtung arbeiten können, sondern auch durch Benutzereingaben beeinflusst werden können. Je nach verwendetem Gerät können unterschiedliche Arten von Interaktionen verwendet werden. Eine bestimmte Art der Interaktion ist nicht zwingend erforderlich, und es können mehrere Bedienmöglichkeiten bestehen. Da die Rechenleistung kleiner mobiler Geräte weiter zunimmt, ergeben sich immer mehr Möglichkeiten. Die häufigste Art der Interaktion in AR kann hauptsächlich im Bereich von Smartphones und Tablet-Computern über Touchscreens erfolgen, die normalerweise Ausgabegeräten entsprechen. Durch "Touch" können Sie direkt in der erweiterten Umgebung interagieren. Ein möglicher Anwendungsfall besteht darin, zusätzliche Informationen durch Klicken auf das Objekt aufzurufen. Bei Head-Mounted-Displays (HMD) (siehe Abschnitt 2.2.1.2) gibt es keinen Touchscreen für die Interaktion. Die Bedienung erfolgt hier über die eingebaute Kamera. Außerdem gibt es vordefinierte Gesten, die mit Händen oder Fingern an virtuellen Objekten im Sichtfeld ausgeführt werden können. Beispielsweise beeinflusst die Klickaktion des Zeigefingers die Auswahl des virtuellen Objekts. Im Bereich Mixed Reality gibt es mehr taktile Interaktionsmöglichkeiten. Die Manipulation realer Objekte kann simulierte Reaktionen virtueller Objekte auslösen. Ein Beispiel ist ein Rad, das sich drehen kann, das dann die Drehung eines virtuellen Objekts auslöst. Neben den bereits beschriebenen taktilen Interaktionsmöglichkeiten gibt es auch integrierte Sprachsteuerungsmöglichkeiten. Auch Sprachassistenten wie Siri (siehe Apple 2019b), Google (siehe Google2019c), Alexa (siehe Amazon2019) oder Cortana (siehe Microsoft2019a) sind im Smart Home Bereich weithin bekannt und bereits auf vielen Geräten verfügbar. In ähnlicher Weise kann die Spracherkennung verwendet werden, um Objekte in AR basierend auf Anfragen zu manipulieren oder auszuwählen. 2.2 Geräte Mit der Weiterentwicklung der Technik kommen immer mehr AR-kompatible Geräte auf den Markt. Wie eingangs erwähnt, bestand die Idee von AR im Jahr 1968 aus HMD, und diese Art von AR-Geräten wurde kontinuierlich weiterentwickelt. Bekannte Vertreter dieser Klasse sind Microsoft Hololens und Google Glass. Während am Anfang nur ein einfaches Drahtgitter eingeblendet werden konnte, lassen sich heute Animationen, 3D-Objekte inklusive Echtzeit- und Audiodaten darstellen. Head-Mounted-Displays haben einen praktischen Vorteil: Beim Tragen auf dem Kopf bleiben die Hände frei. Das Personal kann durch Einblenden geführt werden, während mit beiden Händen gearbeitet wird. Bei der Nutzung eines Smartphones muss der Nutzer das Gerät in der Hand halten und kann nur mit einer Hand arbeiten. Read Less