markusberg.de

Diese Masterarbeit wurde im Studiengang "Multimedia Engineering" an der Hochschule Wismar angefertigt und befasst sich mit der Planung und prototypischen Implementierung eines Sprachverarbeitungssystems im Kontext der Raumsteuerung.

"As far as the customer is concerned, the interface is the product"
Jef Raskin

Kurzreferat

"As far as the customer is concerned, the interface is the product" behauptete Jef Raskin (Experte der Mensch-Maschine-Interaktion und Vater des Apple Macintosh) vor einigen Jahren. Das beste Produkt lässt sich somit nicht verkaufen, wenn es nicht einfach zu bedienen ist. Im Rahmen des Forschungsprojektes Maike (Mobile Assistenzsysteme für Intelligente Kooperierende Räume und Ensembles) werden daher Konzepte entwickelt und umgesetzt, die die vereinfachte Bedienung von Räumen und Medienanlagen ermöglichen. Die Sprache stellt dabei die herausragendste und effektivste Kommunikationsform des Menschen dar, die sich jedoch auf Grund ihrer Komplexität und damit schwierigen Verarbeitung in der Bedienung von Maschinen noch nicht durchgesetzt hat. In dieser Arbeit wird daher ein Konzept für eine natürlichsprachliche, dialogbasierte Raumsteuerung entworfen und prototypisch umgesetzt, die dem Menschen einen erleichterten Umgang mit seiner Umgebung ermöglicht und damit zu einer höheren Lebensqualität beiträgt.

Abstract

"As far as the customer is concerned, the interface is the product" claimed Jef Raskin a few years ago. The best product is not saleable, if it is not easy to use. In the context of the research project Maike (Mobile Assistence Systems for Intelligent Rooms and Ensembles), concepts are developed and realized, which allow the easy control of rooms and media-systems. Speech is the most outstanding and effective form of human communication. However, due to its complexity and thus difficult processing, it has not yet gained wide acceptance in the market. Therefore in this thesis a concept for a natural language dialog-based home control system is developed and implemented prototypically. This facilitates the easy interaction with the environment and leads to a higher quality of living.

Natural Language Processing

Um Informationen aus Sätzen zu extrahieren und den Dialogverlauf abbilden zu können, muss eine jede Aussage in eine abstrakte, maschinenverarbeitbare Form überführt werden. Hierzu kommen Frames zum Einsatz, da sie sehr flexibel sind und sich effektiv auf die Wissensbasis (Ontologie), in der das Domänen- und das Sprachmodell gespeichert werden, abbilden lassen. Hierdurch wird die Verknüpfung zwischen Sprachverarbeitung und Wissensbasis hergestellt.

Anschließend wird der entstandene Frame in eine Suchanfrage transformiert, mit der die Wissensbasis befragt wird. Je nach Resultat wird nun eine Nachfrage generiert oder der Schaltbefehl ausgeführt. Falls die Anfrage nicht eindeutig war, wird der Befehl über die Referenzresolution mit Informationen angereichert. Hierzu werden die in einer Historie abgelegten Frames auf Kompatibilität mit der Suchanfrage überprüft. Auf diese Weise können Rückbezüge und unvollständige Befehle heuristisch aufgelöst werden. Wenn eine Disambiguierung nicht möglich ist, erfolgt eine Nachfrage, durch die der Benutzer den Frame ergänzen kann. Das Dialogmanagement entscheidet dabei, ob ein neuer Dialogabschnitt begonnen wird oder ob die Angaben des Nutzers den aktuellen Kontext ergänzen. Wenn das System den Befehl eindeutig verarbeiten kann, wird er an die Hardwaresteuerung weitergereicht, die den Befehl dann ausführt. Dieses Konzept wurde abschließend prototypisch umgesetzt. Dabei wurden Spracherkenner und -synthese über Webservices an das Dialogmodul angebunden.

Features und eingesetzte Technologien

• Spracherkennung und -synthese: SAPI 5.3
• Grammatiken im SRGS-Format
• dynamische Grammatikgenerierung
• Heuristische Anaphernresolution
• Dialoghistorie
• Klärung von Ambiguitäten im Dialog
• Plausibilitätsprüfung der Befehle
• Ontologie im OWL-Format
• Jena API
• Kommunikation der Programmmodule über Webservices
• Bereitstellung einer Pluginschnittstelle
• Hardwareansteuerung (AMX)
• eingesetzte Programmiersprachen: C#, Java, NetLinx

weitere Informationen

• Poster zur Masterthesis
• Natural Language Laboratory
• MAIKE
• Für die in dieser Arbeit entwickelte Schnittstelle wurde von Martin Pfaff ein Plugin entwickelt, das die Hardware visuell simuliert.