Projektart: Gefördertes Projekt Verbundprojekt Modellprojekt
Beschreibung / Inhalte
VisualGPT ist ein laufendes, vom BMAS gefördertes Projekt zur Entwicklung eines multimodalen KI-Tools, das schriftliche berufliche Inhalte in barrierefreie, deafdidaktische Lernmaterialien transformiert. Gehörlose Lernende stehen vor Barrieren durch schwer zugängliche Schriftsprache und eine begrenzte Verfügbarkeit von Ressourcen in Deutscher Gebärdensprache (DGS), was eine inklusive Qualifizierung einschränkt.
Derzeit wird VisualGPT von einem Konsortium unter der Leitung der Open Mind Software GmbH entwickelt und basiert auf einer deafdidaktischen KI-Pipeline, die spezialisierte Modelle zur Textverarbeitung, Bildgenerierung und Videosynthese integriert. Diese Pipeline unterstützt die Erstellung von Erklärvideos und Präsentationen, die Schriftsprache mit Bildern, Animationen, Infografiken, Piktogrammen sowie DGS-basierten Videoelementen kombinieren – ausgerichtet an deafdidaktischen Prinzipien und anpassbar an unterschiedliche Lernniveaus.
Geplante Ergebnisse umfassen den VisualGPT Manager (Materialtransformation), den VisualGPT Coach (personalisierter KI-Assistent) sowie Peer-to-Peer-Schulungen. Alle Komponenten werden in Nutzungsstudien mit gehörlosen Lernenden evaluiert, um Barrierefreiheit und Wirksamkeit zu überprüfen.
Das Projekt wird von einem vollständig inklusiven Team aus gehörlosen, schwerhörigen und hörenden Fachkräften aus verschiedenen Partnerorganisationen umgesetzt und zielt auf nachhaltige Inklusion in der beruflichen Bildung und betrieblichen Weiterbildung.
Derzeit wird VisualGPT von einem Konsortium unter der Leitung der Open Mind Software GmbH entwickelt und basiert auf einer deafdidaktischen KI-Pipeline, die spezialisierte Modelle zur Textverarbeitung, Bildgenerierung und Videosynthese integriert. Diese Pipeline unterstützt die Erstellung von Erklärvideos und Präsentationen, die Schriftsprache mit Bildern, Animationen, Infografiken, Piktogrammen sowie DGS-basierten Videoelementen kombinieren – ausgerichtet an deafdidaktischen Prinzipien und anpassbar an unterschiedliche Lernniveaus.
Geplante Ergebnisse umfassen den VisualGPT Manager (Materialtransformation), den VisualGPT Coach (personalisierter KI-Assistent) sowie Peer-to-Peer-Schulungen. Alle Komponenten werden in Nutzungsstudien mit gehörlosen Lernenden evaluiert, um Barrierefreiheit und Wirksamkeit zu überprüfen.
Das Projekt wird von einem vollständig inklusiven Team aus gehörlosen, schwerhörigen und hörenden Fachkräften aus verschiedenen Partnerorganisationen umgesetzt und zielt auf nachhaltige Inklusion in der beruflichen Bildung und betrieblichen Weiterbildung.
Projektbeschreibung von Projektverantwortlichen übernommen.
Beginn:
01.04.2024
Abschluss:
31.03.2029
Fördernummer:
AG-24-0014
Kostenträger:
- BMAS Förderprogramm: Ausgleichsfonds für überregionale Vorhaben zur Teilhabe schwerbehinderter Menschen am Arbeitsleben
ICF-Bezug des Projekts:
- Der bio-psycho-soziale Ansatz der ICF bildet einen konzeptionellen Bezugsrahmen für das Projekt.
Projektleitung:
- Gnerlich, Manuel
Institutionen:
Open Mind Software GmbH
Strindbergweg 12
22587 Hamburg
+49176-62011738
info@openmind-sw.de
https://www.openmind-sw.de/
Projektpartner:
manimundo GmbH
https://www.manimundo.de/
SignGes
https://www.signges.rwth-aachen.de/
BBW Leipzig
https://www.bbw-leipzig.de/
VisualGPT: A Multimodal AI Tool for DeafDidactic Materials in Vocational Training
VisualGPT is an ongoing, BMAS-funded project developing a multimodal AI tool to transform written vocational content into accessible, DeafDidactic learning materials. Deaf learners face barriers from inaccessible written language and scarce German Sign Language (DGS) resources, limiting inclusive qualification.
Currently in active development by a consortium led by Open Mind Software GmbH, VisualGPT builds a DeafDidactics-based AI pipeline that integrates specialized models for text processing, image generation, and video synthesis. This pipeline supports the creation of explanatory videos and slides that combine written language with images, animations, infographics, pictograms, and DGS-based video elements, all aligned with DeafDidactic principles and adaptable to different learner levels.
Planned outcomes include VisualGPT Manager (material transformation), VisualGPT Coach (personalized AI assistant), and peer-to-peer training. All components undergo user studies with deaf learners to assess accessibility and efficacy. Developed by a fully inclusive team of deaf, hard-of-hearing, and hearing experts across partner organizations, the project aims at sustainable inclusion in vocational education and workplace training.
This text was automatically translated by DeepL.
Referenznummer:
R/FO126228
Informationsstand: 13.04.2026