|
Dybuster
Ein multimediales Rechtschreib-Lernsystem für Legastheniker
Bild 1: Wortgraph und Farbcode für das Wort "Dy-bus-ter" in Dybuster
Inhalt
Einleitung
Legasthenie (Dyslexia) ist die inhärente Schwäche durchschnittlich bis überdurchschnittlich intelligenter Menschen, flüssiges Lesen und orthographisch korrektes Schreiben zu erlernen. Schätzungen gehen davon aus, dass bis zu 10 % der Bevölkerung der westlichen Welt unter verschiedenen Formen von Legasthenie leiden. Diese tritt in verschiedenen Ausprägungen und Stärkegraden auf. Trotz umfangreicher Forschungen auf dem Gebiet der Legasthenie sind deren Ursachen bis heute nicht vollständig geklärt. Sie liegen tief in der Informationsaufnahme und -speicherung des menschlichen Gehirns verborgen. Trotz der Vielfalt der vorhandenen Therapie-methoden für Legasthenie, fehlt es nach wie vor an Werkzeugen, die wirksames Rechtschreibetraining ermöglichen.
Am Departement Informatik der ETH Zürich wurde von Prof. Dr. Markus Gross in mehrjähriger, intensiver Forschung ein neuartiges, computerbasiertes Therapie- und Lernkonzept für Legasthenie entwickelt: Dybuster. Es basiert auf den universellen Prinzipien der Informationstheorie und des maschinellen Lernens, womit Dybuster ein mathematisches Modell für den Sprachlernprozess im menschlichen Gehirn zugrunde legt. Im Zuge dieser Forschung werden Erkenntnisse aus der Psychologie mit wissenschaftlichen Resultaten aus der Informatik verbunden. Dieser Ansatz ist einzigartig und viel versprechend.
Videos
Dybuster in Aktion
Dieses kurze Video zeigt die drei Spiele von Dybuster. Zuerst wird das Farbspiel gespielt, dann schaltet Dybuster automatisch zum Graphspiel und am Schluss zum Wortlernspiel. Beim Wortlernspiel werden mehrere Fehler begannen und verschiedene Optionen ausgenutzt.
Das Video steht in einer höheren und einer tieferen Qualität zur Verfügung, wobei beide Videos die Qualität der Bildschirmauflösung nicht erreichen.
Windows Media File (ca. 2.2 MB)
Windows Media File (ca. 8 MB)
Kinder beim Arbeiten mit Dybuster
Der Filmausschnitt zeigt Kinder beim Arbeiten mit Dybuster während einer Lernsession innerhalb der Benutzerstudie. Die Kinder arbeiten grundsätzlich selbständig, werden aber auf die Konzepte von Dybuster hingewiesen.
Sie können sich das Video in zwei verschiedenen Formaten anschauen:
Windows Media File
Quicktime Movie
Das Konzept von Dybuster
Um ein möglichst effizientes Lernen zu ermöglichen, verwendet das Konzept neueste wissenschaftliche Erkenntnisse und Prinzipien aus der Informatik. Dabei nutzt Dybuster Erkenntnisse aus den folgenden Teilgebieten:
- Informationstheorie
- Codierungstheorie
- Mathematischer Statistik
- Maschinellem Lernen
- Künstlicher Intelligenz
- Linguistik
- 3D-Comptergraphik und Spieletechnologie
- Psychophysik
Das Lernkonzept von Dybuster ist als Softwarepaket implementiert, welches auf einer PC-Umgebung unter MS-Windows läuft. Während Teile der Theorie vor dem Benutzer verborgen bleiben und das Programm intern optimal steuern, bestimmen andere die Darstellung der Worte auf dem Bildschirm (siehe "Funktionsprinzip"). Die Spieltechnologie wiederum spricht den Benutzer direkt an, was speziell die Lernmotivation von Kindern steigern soll. Die Leistungsmerkmale der Software umfassen weiterhin:
- Fortschrittliche 3-dimensionale Computergraphik zur Wortcodierung
- Eindrucksvolle visuelle Effekte zur Erhaltung der Lernmotivation
- Klangsynthese über Midi mit mehr als 100 Instrumenten
- Datenbasis mit den 10000 häufigsten Deutschen Wörter (90% Wortschatz), inklusive Sprachausgabe
- Eingabe neuer Wörter mit Rechtschreibekontrolle und automatischer Silbentrennung
- Mehrsprachiger Vokabeltrainer für Deutsch, Englisch, und Französisch
- Mehrbenutzersystem mit automatischer Benutzermodellierung und Login
- Wortauswahl und Lernoptimierung auf Basis der Informationstheorie
Das Funktionsprinzip von Dybuster
Information ist ein abstrakter Begriff, dessen präzise mathematische Beschreibung Gegenstand der Informationstheorie, eine der grossen Theorien der Informatik des 20. Jahrhunderts, ist. Das menschliche Gehirn nimmt Information über viele verschiedene Kanäle auf, welche in unterschiedlicher Form codiert sind. Diese Kanäle (auch cues genannt) befinden sich meist auf einer höheren semantischen Ebene und umfassen: geometrische Form, Textur, Farbe, Topologie, Phoneme, musikalische Klänge etc. sowie ihre zeitliche änderungen. Viele dieser Kanäle werden beim klassischen Erlernen von Orthographie nicht angesprochen.
Das grundlegende Funktionsprinzip von Dybuster basiert auf der Erkenntnis, dass Legasthenie sehr oft mit einer Schwäche in der so genannten Serialwahrnehmung verbunden ist. Diese beschreibt die Fähigkeit des Gehirns, lange, zeitlich aufeinander folgende Symbolsequenzen, wie z.B. Texte, langfristig korrekt abzuspeichern. Umgekehrt zeigt sich, dass Legastheniker oft einen ausgeprägten Sinn für visuelle Reize, wie sie z.B. in Computerspielen vermittelt werden sowie Stärken bei der Erfassung geometrisch-topologischer Zusammenhänge besitzen.
Dybuster bildet nun die Symbolsequenz eines Wortes auf diese ungenutzten Informationskanäle ab. Hierbei wird der reine Text in eine geometrischen Darstellung, eine topologische Darstellung, einen Farbcode sowie einen musikalischen Code umcodiert. Dies ist in Bild 1 dargestellt. Das Wort "Dy-bus-ter" ist als so genannter Graph dargestellt, wobei die Silbenstruktur deutlich wird und jedem Symbol eindeutig eine Farbe zugeordnet ist. Ferner synthetisiert Dybuster zu jedem Wort eine einfache Wortmelodie, einen musikalischen Code (Synthesie), der sich aus Buchstaben und Silbenlänge berechnet. Zudem werden einfache Formen verwendet: Grossbuchstaben werden beispielsweise durch Zylinder von Kleinbuchstaben unterschieden, welche als Kugeln dargestellt werden. Dabei bleibt die Zuordnung der Symbole zu den Farben und Klängen für eine bestimmte Sprache immer gleich.
Die oben veranschaulichte Recodierung erfolgt nach den Gesetzen der Informationstheorie und verwendet die so genannte Entropie, den Informationsgehalt des Wortes. Diese universelle Grösse erlaubt eine statistische Messung der Information, die in Farb- Graph- und musikalischem Code enthalten ist, aber auch des Fehlerverhaltens eines Legasthenikers. Die Recodierung in Dybuster ist entropieneutral, d.h. es wird keine zusätzliche Information erzeugt, sondern die Wortinformation lediglich umgewandelt, so dass sie über andere Informationskanäle vom übenden gelernt werden kann.
Die Berechnung der Art und Anzahl der verwendeten Farben und Töne in Dybuster sowie ihre Abbildung auf die Buchstaben des Deutschen Alphabetes ist das Resultat eines komplexen mathematischen Optimierungsprozesses und berücksichtigt folgende Aspekte:
- Statistische Eigenschaften der Deutschen Sprache, wie z. B. relative Buchstaben- und Worthäufigkeiten
- Minimierung der Mehrdeutigkeiten bei der Abbildung
- "Legasthenische" Buchstabenpaare, welche für Legastheniker besondere Schwierigkeiten darstellen, wie z. B. "d-t", "p-b", "a-h" usw.
- Informationsgehalt (Entropie)
- Erkenntnisse aus der Wahrnehmungspsychologie und Psychophysik
Die Optimierung wurde im Rahmen eines Forschungsprojektes am Labor für Graphische Datenverarbeitung der ETH Zürich durchgeführt. Ihr Ergebnis ist in Bild 2 dargestellt. So werden beispielsweise Vokale auf verschiedene Farben abgebildet. Buchstaben wie "f" und "v", welche von Legasthenikern oft vertauscht werden, sind in den Komplementärfarben blau und gelb dargestellt. Man verwendet für eine solche Optimierung standardisierte Sprachcorpora mit mehr als 30 Mio. Worten.
Bild 2: Resultierender Farbcode für die Deutsche Sprache
Folglich ergeben sich unterschiedliche Codes für Deutsch, Englisch und Französisch, welche im mehrsprachigen Teil der Software, dem Vokabeltrainer, enthalten sind.
Die Hypothese ist, dass durch das Ansprechen der verschiedenen Kanäle die Schwäche in der Serialwahrnehmung umgangen werden kann und dass den Legasthenikern ermöglicht wird, ihre besonderen Stärken gezielt für den Spracherwerb einzusetzen. Idealerweise sollten die in Dybuster erlernten Muster und Strukturen auch auf neue Worte übertagbar sein.
Der Lernprozess
Das Lernsystem in Dybuster umfasst einen unüberwachten Modus und einen überwachten Modus. Der unüberwachte Modus ist für die mehrsprachige Verwendung entwickelt und ermöglicht einen Betrieb als Vokabeltrainer. Der überwachte Modus repräsentiert die zentrale Komponente von Dybuster, die eigentliche Legasthenie-Therapie, und kontrolliert den Lernprozess. Dybuster kann begleitend zu weiteren Therapien eingesetzt werden und täglich für etwa 15-20 Minuten im überwachten Modus gespielt werden.
Der überwachte Modus
Im überwachten Modus kontrollieren Verfahren des maschinellen Lernens und der künstlichen Intelligenz den Lernprozess und berechnen zu jedem Zeitpunkt den optimalen, nächsten Lernschritt für den jeweiligen Benutzer. Die entsprechenden Regler verwenden eine Datenbank der 10’000 häufigsten deutschen Wörter. Das Grundkonzept der räumlich-farblich-musikalischen Recodierung von Wörtern vermittelt die Software über drei verschiedene, einfach Lernspiele:
- das Farbspiel
- das Graphspiel
- das eigentliche Wortlernspiel
Ein so genanntes Bayes-Netz modelliert und überwacht während des gesamten Lernvorganges das Fehlerverhalten des Benutzers und ordnet jedem Eingabefehler einen Fehlertyp zu. Abhängig von der aktuellen Fehlerstatistik des Benutzers entscheidet das Netz, welches der drei Spiele für wie lange gelernt werden muss. Ebenso stellt es fest, ob die Aufmerksamkeitsspanne des Benutzers überschritten ist. In diesem Falle wird empfohlen, die aktuelle Sitzung zu beenden.
Farbspiel
Das Farbspiel dient zum Erlernen des Farbcodes. Es präsentiert dem Benutzer einzelne Buchstaben, die von ihm durch Mausklick auf den korrekten Farbknopf bestätigt werden müssen. Die Farbsättigung der Buchstaben nimmt mit zunehmendem Lernerfolg ab (d.h. die Buchstaben werden immer weisser), so dass der Benutzer zunehmend die jeweilige Buchstabenfarbe aus dem Gedächtnis assoziieren muss. Das System honoriert den Erfolg mit Punkten. Mausklicks werden von einem entsprechenden Midi-Ton eines Instrumentes der Wahl begleitet. Ein Beispiel ist in Bild 3 gezeigt.
Bild 3: Farbspiel zum Erlernen des Farbcodes in Dybuster
Graphspiel
Ebenso vermittelt ein einfaches Graphspiel das Konzept der Graphcodierung von Silben, Artikeln und Buchstaben. Dazu präsentiert das System ein getrenntes Wort aus der Datenbasis. Der Benutzer muss nun den entsprechenden Graphcode durch Mausklicks auf dem Bildschirm konstruieren und erlernt so die Silbentrennung und das Codierungsprinzip. Entsprechende Midi-Töne begleiten den Lernvorgang. Ein Beispiel für das Graphspiel zeigt Bild 4.
Bild 4: Graphspiel zum Erlernen des Graphcodes in Dybuster
Wortlernspiel
Das Wortlernspiel stellt die eigentliche Methode zum effizienten Erlernen der Deutschen Rechtschreibung dar. Ziel dieses Spiels ist es, die ca. 8'000 häufigsten Deutschen Wörter orthographisch korrekt zu erlernen. Hierzu ist der Lerndatensatz in Module zu je 100 Wörtern steigenden Schwierigkeitsgrades aufgeteilt. Der Schwierigkeitsgrad berechnet sich aus der Wortlänge, der Anzahl der "legasthenischen" Buchstabenkombinationen sowie anderer Parameter. Um ein möglichst effizientes und benutzerangepasstes Lernen zu gewährleisten, modelliert Dybuster mittels statistischer Verfahren des maschinellen Lernens das Fehlerverhalten des Benutzers und selektiert die zu lernenden Wörter und Module gemäss Fehlerwahrscheinlichkeit, Häufigkeit, Schwierigkeit, Vergessensrate und anderer Einflussfaktoren. Diese optimale Wortselektion minimiert gemäss den Gesetzen der Informationstheorie die so genannte Fehlerentropie des Benutzers.
Nach Auswahl des Wortes zeigt Dybuster dessen Graph- und Farbcode auf dem Bildschirm (Bild 5), spricht das vorab aufgenommene Wort vor und spielt die dazugehörige Wortmelodie ab. Diese berechnet sich aus der Tonhöhenzuordnung der Buchstaben sowie aus der Silbenlänge für die Tondauer. Nun muss der Benutzer das Wort über die Tastatur eingeben. Für jeden korrekten Buchstaben gibt es einen Punkt. Tonsignale zeigen inkorrekte Eingaben an.
Der dargestellte Graph wird dreidimensional animiert und kann vom Benutzer interaktiv manipuliert werden. Ein dreidimensionaler visueller Effekt schliesst jedes erfolgreich eingegebene Wort ab.
Bild 5: Das Wortlernspiel in Dybuster: Der Graph von "die Hilfe" wird dargestellt und dreidimensional animiert.
Entsprechende Hilfsfunktionen zeigen das gesuchte Wort für kurze Zeit an oder sprechen das Wort nochmals vor und unterstützen den Benutzer in der frühen Lernphase.
Der unüberwachte Modus
Im unüberwachten Modus können neue Wortmodule erstellt, mit Spracheingaben versehen und dann gelernt werden. So können z.B. zur Vorbereitung eines Diktats die schwierigsten Wörter in Dybuster eingegeben und gezielt gelernt werden. Die Spracheingabe in Dybuster erfolgt über ein Mikrophon oder über ein Headset.
Insbesondere unterstützt Dybuster einen Mehrsprachenmodus, welcher bequemes Vokabellernen in den Sprachen Französisch, Englisch und Deutsch ermöglicht. Dazu zeigt Dybuster das gesuchte Wort in einer Sprache an und stellt den Graphen des dazugehörigen Wortes in der zweiten Sprache, wie in Bild 6 veranschaulicht, dar. Der Benutzer gibt dieses nun über die Tastatur ein.
Bild 6: Dybuster im unüberwachten Mehrsprachenmodus zum Erlernen von Vokabeln.
Stand der Entwicklung
Dybuster wurde 2007 vom ETH Spin-off Dybuster AG als allgemein zugängliche Software veröffentlicht. Sie kann über www.dybuster.com bezogen werden. Seither wurde das Konzept um eine Auswertungssoftware für Fachkräfte ergänzt und mit einem Datenaustausch über den Server ergänzt, damit der Lernfortschritt der Benutzer jederzeit überprüft werden kann.
Gleichzeitig hat die Forschergruppe um Prof. Gross die Modelle hinter Dybuster weiterentwickelt. Diese Modelle kamen in der Benutzerstudie 2008/09 zum Einsatz. Sie finden deren Beschreibung u.a. in der unten aufgeführten Publikation Baschera&Gross09.
Publikationen
- Gross M. and Voegeli C., A Multi Media Framework for Effective Language Training, Computers & Graphics, Vol.
31, Pages 761 Ð 777, Elsevier 2007.
- Voegeli C., Ein multimedialer Rahmen fŸr das effektive Lernen von Orthographie, Sprache & Sprachen, Ausg.
38, Seiten 28 Ð 48, GeSuS 2008.
- G.-M. Baschera, M. Gross, A Phoneme-Based Student Model for Adaptive Spelling Training, Proceedings of the 14th International Conference on Artificial Intelligence in Education (Brighton, UK, July 6-10, 2009), Frontiers in Artificial Intelligence and Applications, vol. 200, no. 1, pp. 614-616
- G.-M. Baschera, M. Gross, Dybuster - Ein adaptives, multi-modales Therapiespiel fŸr Legastheniker, Proceedings of Spielend Lernen (Rostock, Germany, October 13-14, 2010), Fraunhofer Verlag, pp. 85-93
- G.-M. Baschera, M. Gross, Poisson-Based Inference for Perturbation Models in Adaptive Spelling Training, International Journal of Artificial Intelligence in Education, vol. 20, no. 4, 2010
Zum Seitenanfang
|
Webmaster