Alle Fotos mit freundlicher Genehmigung der Kutztown University, solange nicht anders vermerkt

Studienprojekt an der Kutztown University verwendet Amazon Alexa für die Steuerung der Extron AV-Systeme

Den Erfolg unseres Projekts haben wir hauptsächlich unseren Grundkursen Informatik und Informationstechnologie zu verdanken. Die einfache Handhabung von Extron Global Scripter und dem Alexa Skills Kit sowie die Unterstützung unserer geduldigen Berater, einschließlich Extron, waren eine große Hilfe“, erklären die Mitglieder des CT-Toolbox-Projektteams.

Justin Harris, William Henry, Hanna Moyer
Studenten des CT-Toolbox-Projektteams
Kutztown University of Pennsylvania

Die Kutztown University in Pennsylvania wurde 1866 unter dem Namen Keystone State Normal School gegründet, um Lehrer für die Ausbildung der Arbeitskräfte für die zunehmende Industrialisierung im Bezirk Berks, 80 km nordwestlich von Philadelphia, zu schulen. In den letzten 150 Jahren ist sie zu einer der führenden Hochschulen der Region mit 130 Studienprogrammen und 31 Programmen für Absolventen geworden. Insgesamt besuchen ungefähr 8.000 Studenten die Universität. In dem kürzlich durchgeführten Projekt „CT-Toolbox“ haben drei dieser Studenten und ihre Studienberater die Amazon Alexa-Technologie mit einem Extron-Steuerungsprodukt kombiniert, um die Extron AV-Systeme im Klassenraum mit Sprachbefehlen steuern zu können.

Die Herausforderungen

Die Studenten Justin Harris, William „Billy“ Henry und Hannah Moyer mit den Hauptfächern Informatik und Informationstechnologie erarbeiteten ein Pilotkonzept, um der Universität neue Möglichkeiten für die Umsetzung des Americans with Disabilities Act (ADA) für Menschen mit Behinderungen zu eröffnen. Die Classroom Technology Toolbox (CT-Toolbox) unterstützt dieses Engagement, in dem sie es ermöglicht, die AV-Systeme im Klassenraum mit Sprachbefehlen zu steuern. Das Projekt wurde von Donna DeMarco, Professorin der Fakultät Informatik und Informationstechnologie, angeregt. Sie ist zudem Mitbegründerin eines Unternehmens, das Online-Schulungen und Entwicklungslösungen für Firmen anbietet.

Die Lösung

Der Classroom Technology Manager der Universität Ty Schwab betreute das Studenten-Team, stellte Hardware- sowie Software-Ressourcen zur Verfügung und reservierte einen Klassenraum für die Projektentwicklung. Zusätzlich unterstützte der nach 35 Jahren erst kürzlich in den Ruhestand getretene Technology Manager Troy Weidner das Team mit seinen Fachkenntnissen. Robert Kennedy, Media and Control Systems Engineer an der benachbarten University of Scranton, gab Einblicke in sein eigenes erfolgreiches Alexa-Extron Sprachsteuerungsprojekt, ließ den Studenten aber genügend Freiraum, um ihren eigenen Weg zu finden. Die Sales and Marketing Manager Jason Bond und Peter Knapp von Extron halfen bei den Steuerungssystemtreibern von Extron und gaben Tipps für die Extron Global Scripter®-Softwareprogrammierung.

Ein AV-Pult mit Extron-Produkten dient als Testplattform für die CT-Toolbox

In der Kutztown University sind 235 Räume mit AV-Systemen ausgestattet, die mit dem Netzwerk der Schule verbunden sind. Diese Systeme haben ein gängiges Design. Die für das CT-Toolbox-Projekt genutzte Version umfasst ein Pult mit einem Desktop-PC, lokalem Monitor und dem Präsentationsmedien-Umschalter/Skalierer Extron IN1608 xi IPCP mit acht Eingängen. Der Umschalter kann für viele verschiedene AV-Quellen und Displays genutzt werden und verfügt über einen integrierten AV-Steuerungsprozessor und 50 W-Stereoverstärker. Die Quellen sind ein PC, eine Dokumentenkamera und ein Blu-ray Player. Ein Projektor mit HDMI-Eingang zeigt die Videoinhalte und die Audiowiedergabe erfolgt über die Deckenlautsprecher. Mit einem EBP 200 eBUS-Tastenfeld können die Quellen ausgewählt sowie der Projektor und die Lautstärke gesteuert werden. In größeren Räumen wird für die Umschaltung eine DTP CrossPoint 84 4K 8x4-Präsentationskreuzschiene mit Skalierer zusammen mit einem IPCP Pro 550-Steuerungsprozessor und einem TouchLink Pro-Touchpanel verwendet.

Für das Projekt mussten die Studenten sich zunächst in die Amazon Alexa AWS- und Extron Global Scripter-Dokumentation vertiefen. Hierbei übernahmen die Studenten verschiedene Rollen bei der Entwicklung: Justin war als Teamleiter für die Hardware, Treiber und Global Scripter Controller-Kodierung verantwortlich. Billy übernahm die Alexa-Kodierung sowie AWS Cloud Computing-Dienstleistungen und Hanna beschäftigte sich mit dem Design und den Tests der UX (User Experience).

Alexa Skills Kit und Extron Global Scripter waren ausschlaggebend für der Entwicklung der CT-Toolbox

Die in der rechten Seitenleiste dieses Artikels abgebildete Konzeptstruktur zeigt zwei Software-Dienstleistungen, Alexa Skill und Toolbox Client, für die Implementierung der Sprachsteuerung. Das Projekt-Team nutzte das Alexa Skills Kit (ASK), um individuell angepasste Alexa-Funktionen zur Steuerung der Hardware des AV-Pults zu entwickeln. Der Nutzer spricht einen Befehl mit dem Wort „Toolbox“ als Auslöser in ein Echo™-Gerät. In der Cloud der Amazon Web Services (AWS) übersetzt Alexa Skill die Sprache in einen JavaScript Object Notation (JSON)-Datenstring, der in einen Anwendungscode, eine sogenannte Lambda-Funktion, übertragen wird. Die Lambda-Funktion zerlegt die JSON-Daten in die Teile, die benötigt werden, um die gewünschten Hardware-Aktionen auszulösen. Die Grundlage hierfür ist eine Lambda-Funktionsliste mit zehn bis zwanzig gesprochenen Wörtern, die ein Nutzer verwenden kann, um eine „Absicht“ zu signalisieren. Das Team schrieb mithilfe von Extron Global Scripter die Lambda-Funktionen in Python. Der Code wird im AWS Lambda-Cloudservice ausgeführt.

Amazon Cloud kommuniziert mit dem Extron-Steuerungsprozessor

Die zerlegten Befehle werden von der Cloud zum Toolbox-Client über den Amazon Simple Queue Service (SQS), ein verwalteter Message Queuing-Dienst, übertragen. Der Toolbox-Client zusammen mit Global Scripter auf dem Extron-Steuerungsprozessor teilt dem Steuerungsprozessor mit, den erforderlichen Hardware-Befehl, wie z. B. „Projektor einschalten“, für das entsprechende Gerät auszugeben. Das Gerät erhält den Befehl für den erforderlichen Status über den Hardware-Treibercode, der über den entsprechenden Anschluss des Steuerungsprozessors zum Gerät mithilfe von seriellem RS-232, USB oder Ethernet kommuniziert wird. Der ganze Prozess wird umgekehrt, um den Status des zu steuernden Geräts in gesprochene Bestätigungen von Alexa umzusetzen und so die Ausführung des Befehls zu befestigen.

Die Ergebnisse

Im November 2020 organisierten das Studententeam des CT-Toolbox-Projekts und deren Berater einen „Demonstrationstag“, auf dem die Studenten die Ergebnisse ihres Senior-Projekts präsentierten. Sie zeigten eindrucksvoll, dass die AV-Systeme der Standard-Klassenräume praktisch mit einer Freisprecheinrichtung mit Sprachsteuerung bedient werden können. Sehen Sie einen Ausschnitt der Videopräsentation am Demonstrationstag in der rechten Seitenleiste. Allerdings müssen ein paar praktische Probleme vor einer campusweiten Einführung beachtet werden: Sicherheit des cloud-basierten Systems, Hosting des Toolbox-Clients auf dem Netzwerk anstatt auf einem individuellen Pult sowie der Tatsache, dass Alexa „immer zuhört“. Dennoch möchte Ty Schwab die Anfrage eines Professors unbedingt erfüllen, einen speziellen Klassenraum barrierefrei mit einer CT-Toolbox zu gestalten. Den Demonstrationstag hat die CT-Toolbox erfolgreich bestanden. Alle drei Studenten haben ihr Studium abgeschlossen und sind für ihre Karrieren bereit.

Pflichtfeld