Table of contents
Der Begriff „Smart Display“ kann sich auf Lösungen mit sehr unterschiedlichen Funktionen beziehen. Je nach ihrer Architektur können sie Intelligenz auf der Ebene der Benutzeroberfläche, der Anwendungen oder der Rechenleistung bieten, einschließlich lokaler KI-Funktionen. Worin unterscheiden sich diese drei Ebenen, und wann sollte jeweils welche davon zum Einsatz kommen?
Es gibt keine einheitliche, präzise technische Definition für ein Smart Display. Der Begriff kann sich auf ein mit einem Grafikcontroller ausgestattetes Modul beziehen, wie beispielsweise eines aus der EVE-Familie, auf ein Panel mit eigenem Mikrocontroller und einer GUI-Entwicklungsumgebung oder auf eine vollständige HMI-Plattform, die einen Anwendungsprozessor, ein Betriebssystem und eine NPU umfasst.
Die Unterschiede zwischen diesen Klassen gehen über die Leistungsfähigkeit hinaus. Sie betreffen auch die Systemarchitektur, die Art und Weise, wie die grafische Benutzeroberfläche entwickelt wird, die Aufgabenteilung zwischen dem HMI-Modul und der Host-Einheit sowie den Umfang der lokal ausgeführten Funktionen. Vor der Auswahl einer Lösung ist es daher wichtig zu ermitteln, welche Art von Intelligenz die Anwendung tatsächlich erfordert.
Was bedeutet „Display Intelligence“?
Im traditionellen Sinne der eingebetteten Systeme ist ein Smart Display ein Modul, das mehr leistet, als lediglich ein vorgefertigtes Bild darzustellen. Ein zusätzlicher Controller, der sich in der Regel auf einer separaten Leiterplatte befindet, ermöglicht es dem Modul in Verbindung mit integriertem Speicher, Grafikfunktionen und Touchscreen-Unterstützung, einige der Aufgaben zu übernehmen, die normalerweise vom Hauptmikrocontroller ausgeführt werden. In diesem Zusammenhang bedeutet „Intelligenz“ in erster Linie die Fähigkeit, ausgewählte Funktionen der Mensch-Maschine-Schnittstelle eigenständig auszuführen. Das Modul kann Schaltflächen, Anzeigen und Diagramme generieren, Animationen anzeigen, Touch-Eingaben verarbeiten, grafische Elemente speichern und in einigen Fällen einfache Bildschirmlogik ausführen.
Heutzutage wird der Begriff „smart“ jedoch zunehmend mit künstlicher Intelligenz in Verbindung gebracht. Nutzer erwarten daher möglicherweise, dass ein Gerät Kamerabilder analysiert, Ereignisse klassifiziert, bestimmte Anomalien erkennt oder andere Aufgaben mithilfe von Modellen des maschinellen Lernens ausführt.
Es ist daher sinnvoll, zwischen drei Ebenen der Display-Intelligenz zu unterscheiden. Die erste ist die Benutzeroberflächen-Intelligenz, die die Grafikgenerierung sowie die Handhabung von Widgets, Touch-Eingaben und Ton umfasst. Die zweite ist die Anwendungsintelligenz, die eine integrierte grafische Benutzeroberfläche (GUI), Bildschirmübergänge, die Verarbeitung von Ereignissen und Variablen sowie die Kommunikation mit dem Host-Gerät umfasst. Die dritte ist die Rechenintelligenz, die mit der lokalen Verarbeitung von Daten, Bildern oder Ton verbunden ist, einschließlich der Inferenz von KI-Modellen.
Diese Unterscheidung trägt zur Klarstellung der Terminologie bei und trennt beispielsweise Displays mit Grafikcontrollern von HMI-Displays, die mit einer NPU ausgestattet sind. Die Grenzen zwischen diesen Klassen sind jedoch nicht immer eindeutig. Die Hersteller verwenden ihre eigenen Architekturen, Entwicklungswerkzeuge und Programmiermodelle, was bedeutet, dass Produkte, die als „Smart Displays“ bezeichnet werden, sehr unterschiedliche Grade an Autonomie aufweisen können.
Standard-LCD-TFT-Module – Ein Bild anzeigen, ohne es zu erzeugen
Ausgangspunkt ist ein Standard-LCD-TFT. Es umfasst die Anzeigematrix, einen integrierten TFT-Controller, die Stromversorgungsschaltung, eine Hintergrundbeleuchtung sowie in einigen Fällen weitere elektronische Komponenten. Es kann zudem mit einem resistiven oder kapazitiven Touchpanel ausgestattet sein.
Ein solches Display erzeugt die Benutzeroberfläche nicht eigenständig. Es zeigt ein Bild an, das von der Host-Einheit über eine Schnittstelle wie RGB, LVDS, MIPI oder eDP bereitgestellt wird. Der Mikrocontroller oder Computer erzeugt die Grafiken, speichert die Grafikdateien, verarbeitet Berührungseingaben und steuert die Bildschirmübergänge. Je nach Auflösung und Komplexität der Schnittstelle kann hierfür ein ausreichend leistungsfähiger Prozessor, ausreichend Speicher sowie zusätzliche elektronische Schaltungen erforderlich sein.
Dies bedeutet nicht, dass ein Standard-LCD-TFT eine minderwertige Lösung darstellt. Es kann die beste Wahl sein, wenn der Hersteller die volle Kontrolle über die Software, das Design der Benutzeroberfläche und die gesamte Systemarchitektur behalten möchte. Dieser Ansatz wird häufig bei Projekten mit hohen Stückzahlen verfolgt, da sich die Kosten für die Entwicklung der Elektronik und der Software auf eine große Anzahl von Geräten verteilen lassen, während die Designoptimierung dazu beiträgt, die Stückkosten zu senken. Er bietet erhebliche Gestaltungsfreiheit, überträgt jedoch auch die Verantwortung für die Entwicklung der HMI-Ebene auf den Gerätehersteller.
Module mit Grafikcontroller – Intelligente Benutzeroberfläche
Die nächste Gruppe umfasst Module, die mit einem dedizierten Grafikcontroller ausgestattet sind. Ein Beispiel für diese Architektur ist die EVE-Produktfamilie von Bridgetek, zu der auch das Modell BT817 gehört.
EVE vereint Funktionen zur Grafikgenerierung und Touch-Steuerung und unterstützt zudem die Audiowiedergabe. Der Hauptmikrocontroller muss nicht den gesamten Bildschirm rendern oder ein vollständiges Bild Frame für Frame übertragen. Stattdessen sendet er Befehle, die einzelne Bedienelemente beschreiben. Auf der Grundlage dieser Befehle generiert der Controller Schaltflächen, Schieberegler, Anzeigen, Text und Animationen, wodurch sowohl die Belastung der Host-Einheit als auch die übertragene Datenmenge reduziert werden. Der Mikrocontroller kann somit die Prozesssteuerung, den Sensorbetrieb und die Kommunikation mit anderen Geräten im System übernehmen. Diese Art von Architektur eignet sich besonders gut für Anwendungen wie beispielsweise Maschinenbedienfelder.
Dieser Grad an Autonomie lässt sich als Intelligenz der Benutzeroberfläche beschreiben. Das Modul übernimmt die HMI-Ebene, übernimmt jedoch weder die Anwendungslogik noch die lokale KI-Verarbeitung.
Module mit einer eigenständigen GUI-Umgebung – Application Intelligence
Die nächste Stufe umfasst Module, die mit einem eigenen Mikrocontroller, Speicher und einer Entwicklungsumgebung für die Erstellung und Ausführung der Benutzeroberfläche ausgestattet sind.
Im Gegensatz zu den oben beschriebenen Lösungen kann der Speicher des Moduls ein vollständiges Benutzeroberflächenprojekt enthalten, einschließlich Bildschirmen, Schaltflächen, Grafiken, Variablen und Beziehungen zwischen einzelnen Elementen. Die Hauptsteuerung übermittelt in erster Linie Daten und Befehle, wie beispielsweise Temperaturwerte, Messergebnisse, Alarmzustände oder Informationen zum Betriebsmodus. Das Modul zeigt die Werte anschließend in den entsprechenden Feldern an, aktualisiert Diagramme, ändert den Status von Symbolen und verwaltet die Übergänge zwischen den Bildschirmen.
Einer der wesentlichen Vorteile dieser Produktklasse liegt in der Art und Weise, wie die grafische Benutzeroberfläche (GUI) entwickelt wird. Die Hersteller stellen grafische Werkzeuge zur Verfügung, mit denen sich Oberflächenelemente per Drag-and-Drop auf den Bildschirm ziehen lassen. Einzelne Objekte werden aus einer Bibliothek ausgewählt, woraufhin deren Erscheinungsbild und Funktionalität konfiguriert werden können. Dies ermöglicht es, eine grundlegende Benutzeroberfläche zu erstellen, ohne jedes Objekt manuell programmieren zu müssen. Bei einfacheren Projekten kann daher ein erheblicher Teil der Arbeit von einem Hardware-Entwickler übernommen werden, ohne dass ein Programmierer ständig hinzugezogen werden muss. Programmierunterstützung ist zwar weiterhin für die Kommunikationsintegration, komplexe Logik und nicht standardmäßige Funktionen erforderlich, doch ist der erforderliche Aufwand geringer. Diese Architektur erleichtert zudem die Entwicklung und Anpassung der Benutzeroberfläche unabhängig von der Hauptsoftware des Geräts.
Ein Beispiel hierfür ist das 7-Zoll-Modell WL0F0007000A8GAADSK00 von Winstar aus der Smart-Display-Serie. Es handelt sich hierbei nicht um ein herkömmliches Open-Frame-LCD-TFT-Modul, sondern um ein komplettes HMI-Panel, das einen STM32F746-Mikrocontroller, ein kapazitives Touchpanel, CAN-Kommunikation sowie ein Gehäuse der Schutzart IP54 umfasst. Dank dieser Eigenschaften eignet es sich hervorragend für zahlreiche industrielle Anwendungen, bei denen Störfestigkeit sowie Schutz vor Staub- und Wassereintritt von Bedeutung sind. Das oben beschriebene Smart Display von Winstar ist ein Beispiel für Anwendungsintelligenz. Es verwaltet die HMI-Ebene eigenständig, bietet jedoch keine für KI-Plattformen typischen Funktionen und verwendet keine NPU.
HMI-Displays mit KI-Funktionen – Computational Intelligence
Ein Smart Display kann nur dann als intelligent im Sinne der künstlichen Intelligenz betrachtet werden, wenn die Plattform über einen Anwendungsprozessor und eine NPU verfügt.
Ein für diese Art von Anwendungen entwickelter Prozessor ist der NXP i.MX 8M Plus. Er vereint Arm-Cortex-A53-Kerne, einen Cortex-M7-Echtzeitkern, einen Grafikprozessor, Funktionen zur Multimedia-Verarbeitung sowie eine integrierte NPU mit einer Leistung von bis zu 2,3 TOPS. Zudem bietet er Kameraschnittstellen und die für die lokale Bildanalyse erforderlichen Ressourcen. Dank seiner umfangreichen Hardware-Fähigkeiten wird der Prozessor als Herzstück zahlreicher vorgefertigter Module eingesetzt, darunter das SpaceSOM-8Mplus von SoMLabs. Das Modul stellt die erforderlichen Ressourcen für den Betrieb eines Betriebssystems, fortschrittlicher HMI-Anwendungen, Multimedia-Funktionen sowie lokaler KI-Funktionen bereit. Es kann mit der Trägerplatine „SpaceCB-8Mplus-ADV“ verwendet oder in eine speziell für ein bestimmtes Gerät entwickelte Elektronik integriert werden.
In den meisten Projekten muss diese Hardware-Basis durch ein entsprechend ausgewähltes Display ergänzt werden. Eine Möglichkeit ist der Einsatz der LCD-TFT-Module „Lite“, „Core“ oder „Pro“ von Unisystem. Diese sind in den Größen 7, 10,1, 12,1 und 15,6 Zoll erhältlich, darunter auch Varianten mit Touchpanels und Schutzglas, die mittels optischer Verklebung montiert sind. Die Unterteilung in Produktlinien spiegelt die jeweiligen Anwendungsbereiche wider. „Lite“ ist für Geräte im Innenbereich unter stabilen Bedingungen konzipiert, „Core“ entspricht dem Industriestandard, während „Pro“ für Geräte im Außenbereich vorgesehen ist, einschließlich solcher, die unter anspruchsvollen Umgebungsbedingungen betrieben werden. Durch die Auswahl der geeigneten Variante lässt sich die visuelle Ebene der Plattform an die Betriebsumgebung, die Art der Benutzerinteraktion und die mechanische Bauweise des Geräts anpassen.
Die enge Zusammenarbeit zwischen Unisystem und SoMLabs ermöglicht es, in Polen entwickelte Technologien zu einer HMI-Plattform mit KI-Fähigkeiten zu kombinieren. Das gesamte System lässt sich individuell an die Anforderungen einer bestimmten Anwendung anpassen – von den Anzeige-Parametern und der mechanischen Konstruktion bis hin zur Rechenebene, dem Betriebssystem und der Software.
In dieser Konfiguration wird der Bildschirm Teil einer vollständigen HMI-Plattform, die in der Lage ist, Daten darzustellen, die Interaktion mit dem Benutzer zu unterstützen, mit anderen Systemen zu kommunizieren und Signale lokal mithilfe von KI zu analysieren. Dieser Grad an Autonomie lässt sich als „Computational Intelligence“ bezeichnen. Das Vorhandensein einer NPU allein reicht jedoch nicht aus, um eine vollständige KI-Anwendung zu schaffen. Es sind zudem ein geeignetes Modell, Daten, Software sowie Mechanismen für Systemaktualisierungen und -wartung erforderlich. Die NPU beschleunigt zwar die Berechnungen, ist jedoch für sich genommen nicht die Quelle der Intelligenz des Geräts.
Das Vorhandensein einer NPU allein reicht jedoch nicht aus, um eine vollständige KI-Anwendung zu schaffen. Es sind zudem ein geeignetes Modell, Daten, Software sowie Mechanismen für Systemaktualisierungen und -wartung erforderlich. Die NPU beschleunigt zwar die Berechnungen, ist jedoch für sich genommen nicht die Quelle der Intelligenz des Geräts.
Intelligenz der Benutzeroberfläche vs. Anwendungsintelligenz vs. Rechenintelligenz
Die nachstehende Tabelle fasst die wesentlichen Unterschiede zwischen den einzelnen Display-Klassen zusammen, darunter die vom Modul ausgeführten Funktionen, die Rolle der Host-Einheit sowie die Fähigkeit, KI-Aufgaben lokal auszuführen.
| Lösungsklasse | Funktionen des Displays | Rolle der gastgebenden Einheit | Lokale KI-Funktionen |
| Standard-LCD-TFT-Modul | Zeigt ein von der Host-Einheit erstelltes Bild an | Erzeugt Grafiken und verwaltet die Benutzeroberfläche, die Touch-Eingabe sowie die Anwendungslogik | Nein |
| Modul mit einem Grafikcontroller (Benutzeroberflächen-Intelligenz) | Erzeugt Grafiken und verarbeitet Touch-Eingaben, Widgets sowie in einigen Fällen Audio | Steuert die Benutzeroberfläche und führt die Hauptlogik des Geräts aus | Nein |
| Modul mit einer eigenständigen grafischen Benutzeroberfläche (Anwendungsintelligenz) | Verarbeitet Bildschirme, Ereignisse, Variablen, Touch-Eingaben und einen Teil der HMI-Logik | Überträgt Daten, Zustände und Befehle | In der Regel nicht |
| HMI-Plattform mit KI-Funktionen (Computational Intelligence) | Behandelt die grafische Benutzeroberfläche, das Betriebssystem, Multimedia sowie die lokale Analyse von Daten, Bildern oder Audiodateien | Das hängt von der Architektur des gesamten Geräts ab | Ja |
Wie sollte das richtige Maß an Display-Intelligenz ausgewählt werden?
Die oben beschriebenen Lösungen bieten unterschiedliche Autonomiegrade – von der Intelligenz der Benutzeroberfläche über die Anwendungsintelligenz bis hin zur Rechenintelligenz. Im Rahmen des Auswahlprozesses sollte festgelegt werden, welche Aufgaben vom HMI-Modul übernommen werden sollen und welche weiterhin von der Host-Einheit ausgeführt werden sollen.
Zu den wichtigsten Faktoren zählen die Komplexität der grafischen Benutzeroberfläche, die verfügbaren Hardware-Ressourcen, die Methode zur Entwicklung und Aktualisierung der Benutzeroberfläche, die Notwendigkeit einer lokalen Datenverarbeitung, die Betriebsbedingungen, die Einbauanforderungen sowie die voraussichtliche Lebensdauer des Produkts. Die beste Wahl ist nicht immer die fortschrittlichste Plattform, sondern jene, die den Anforderungen der jeweiligen Anwendung wirklich entspricht.
Überlegen Sie, ob ein Smart Display die optimale Wahl für Ihre Anwendung ist? Kontaktieren Sie uns – gemeinsam finden wir die Lösung, die Ihren Projektanforderungen am besten entspricht.
