Gesten Lernhilfe für Smartphones (Touchscreens)
Eine App, die blinde und stark sehbeeinträchtigte Lehrpersonen Schritt für Schritt an Touch- und Wischgesten auf Smartphones heranführt – für mehr digitale Teilhabe im Alltag und Unterricht.
Steckbrief
-
Beteiligte Departemente
Hochschule der Künste Bern
Technik und Informatik -
Institut(e)
Institute of Design Research
Institute for Patient-centered Digital Health (PCDH) - Forschungseinheit(en) Knowledge Visualization
- Strategisches Themenfeld Themenfeld Humane Digitale Transformation
- Förderorganisation BFH
- Laufzeit (geplant) 01.05.2025 - 31.12.2025
- Projektleitung Prof. Dr. Kerstin Denecke
-
Projektmitarbeitende
Martin Gaberthüel
François von Kaenel
Gabriel Hess - Partner Apfelschule
- Schlüsselwörter Wischgesten, Taktil, Smartphone, Blind, Sehbehindert, Sehbeeintächtigt, Lernen
Ausgangslage
Der Verein Apfelschule möchte blinden und sehbehinderten Menschen über den Zugang zu neuen, smarten Technologien ein Stück mehr Selbstständigkeit ermöglichen. Für die Bedienung von Smartphones gibt es extra auf Sehbehinderte zugeschnittene Eingabemethoden, die Touch- und Wischgesten. Diese zu vermitteln, ist jedoch eine grosse Herausforderung. Smartphones kennen zahlreiche Gesten, die mit einem, zwei, drei oder vier Fingern ausgeführt werden. Je nach Bewegung – wischen, tippen, streichen oder halten – reagiert der Touchscreen unterschiedlich. Für Lehrpersonen, die selbst blind oder stark sehbeeinträchtigt sind, wird das Unterrichten besonders anspruchsvoll: Die korrekte Ausführung lässt sich kaum visuell überprüfen. Fehler bleiben oft unsichtbar – ebenso die Gründe, weshalb eine Geste beim Üben nicht funktioniert oder nicht den gewünschten Effekt auslöst.
Vorgehen
Im Projekt entstand die Idee, eine Lern-App zu entwickeln, deren Gestaltung den Anforderungen an Farben, Schriften, Symbole und Kontraste für sehbeeinträchtigte Menschen entspricht. Gleichzeitig soll die App auch das sehende Umfeld einbeziehen und so das Bewusstsein für digitale Barrieren stärken. Zusätzlich soll die App sehbeeinträchtigte Kursleitende dabei unterstützen, zu erkennen, ob Teilnehmende Gesten korrekt ausführen. Die Entwicklung ist jedoch technisch anspruchsvoll. Als Drittanbieter müssen wir sämtliche Touch- und Wischgesten selbst umsetzen, weil Hersteller dafür keine geeigneten Schnittstellen bereitstellen. Zudem sind viele Parameter – etwa Dauer, Geschwindigkeit oder Winkel einer Geste – nicht eindeutig definiert, was umfangreiche Tests und sorgfältige Kalibrierung erfordert. Erschwerend kommt hinzu, dass Gesten teilweise nicht erkannt werden, wenn auf Geräten die Gestensteuerung aktiviert ist, da das Betriebssystem die Eingaben direkt verarbeitet. Für den produktiven Einsatz wären daher voraussichtlich spezielle Schulungsgeräte notwendig.
Ergebnisse
Entstanden ist eine digitale Lernhilfe als Web-Applikation (Proof-of-Concept), die Nutzer:innen schrittweise an die Bedienung von Smartphones und Tablets mit Gesten heranführt. Verwendet wird dabei «VoiceOver», ein Bildschirmleseprogramm, das blinden oder sehbehinderten Menschen den angezeigten Inhalt über Sprachausgabe zugänglich macht. Damit die Gesten praxisnah erlernt werden können, umfasst die Web-App drei aufeinander aufbauende Lernstufen: Eine «Liste» bietet eine strukturierte Übersicht und dient als Nachschlagewerk, eine «Lektion» vermittelt die Gesten didaktisch geführt und in nachvollziehbaren Übungsschritten, und ein «Spiel» festigt das Gelernte, indem es das Wissen über verschiedene Gesten interaktiv abfragt.
Ausblick
Perspektivisch soll die Lern-App Kursleiter:innen der Apfelschule und weiteren interessierten Institutionen eine verlässlichere Möglichkeit geben, zu erkennen, ob Gesten korrekt ausgeführt werden. Der aktuelle Prototyp bietet diese Rückmeldefunktion an die Kursleitenden noch nicht. Genau dieses Feedback ist jedoch entscheidend, damit sichtbar wird, was gezielt weiter geübt und vermittelt werden muss, bis die Lernenden die Gesten sicher beherrschen. Künftig soll das Projekt über das reine Training von Touch- und Wischgesten hinausgehen. Ein Folgeprojekt zielt darauf ab, eine spielerische und didaktisch hochwertige Lernhilfe zu entwickeln, die blinden und sehbeeinträchtigten Menschen ebenso wie sehenden Nutzer:innen neue Zugänge eröffnet. So entsteht eine inklusive Lern-App, die das Erlernen von Gesten mit einem spannenden, fesselnden Spielerlebnis verbindet – für Jung und Alt.
