Spis treści
Określenie „inteligentny wyświetlacz”, często stosowane zamiennie z angielskim terminem smart display, może dziś odnosić się do rozwiązań o zupełnie różnych możliwościach. W zależności od architektury mogą one oferować inteligencję interfejsu użytkownika, inteligencję aplikacyjną lub inteligencję obliczeniową, obejmującą lokalne funkcje AI. Czym różnią się te trzy poziomy i kiedy warto zastosować każdy z nich?
Nie istnieje jedna, precyzyjna definicja techniczna inteligentnego wyświetlacza. Tym określeniem może być objęty zarówno moduł z kontrolerem graficznym, np. z rodziny EVE, panel z własnym mikrokontrolerem i środowiskiem do projektowania GUI, jak i kompletna platforma HMI wyposażona w procesor aplikacyjny, system operacyjny oraz jednostkę NPU.
Różnice między tymi klasami dotyczą nie tylko wydajności, lecz także architektury systemu, sposobu tworzenia graficznego interfejsu użytkownika, podziału zadań między modułem HMI a jednostką nadrzędną oraz zakresu funkcji realizowanych lokalnie. Dlatego przed wyborem rozwiązania warto określić, jakiego rodzaju inteligencji rzeczywiście wymaga dana aplikacja.
Czym jest inteligencja wyświetlacza?
W tradycyjnym ujęciu, stosowanym w systemach embedded, inteligentnym wyświetlaczem nazywa się moduł, który nie ogranicza się do prezentowania gotowego obrazu. Dzięki dodatkowemu kontrolerowi, umieszczonemu zazwyczaj na osobnej płytce PCB, a także własnej pamięci, funkcjom graficznym i obsłudze panelu dotykowego przejmuje część zadań głównego mikrokontrolera. Inteligencja oznacza więc przede wszystkim zdolność do samodzielnej realizacji wybranych funkcji interfejsu człowiek–maszyna. Moduł może generować przyciski, wskaźniki i wykresy, odtwarzać animacje, obsługiwać dotyk, przechowywać zasoby graficzne, a niekiedy także realizować prostą logikę ekranów.
Obecnie określenie „inteligentny” jest jednak coraz częściej kojarzone ze sztuczną inteligencją. Użytkownik może więc oczekiwać, że urządzenie będzie analizowało obraz z kamery, klasyfikowało zdarzenia, wykrywało określone anomalie lub wykonywało inne zadania z wykorzystaniem modeli uczenia maszynowego.
Dlatego warto rozróżnić trzy poziomy inteligencji wyświetlacza. Pierwszym jest inteligencja interfejsu użytkownika, obejmująca generowanie grafiki oraz obsługę widgetów, dotyku i dźwięku. Drugim – inteligencja aplikacyjna, czyli własne GUI (Graphical User Interface – graficzny interfejs użytkownika), przejścia między ekranami, obsługa zdarzeń i zmiennych oraz komunikacja z urządzeniem nadrzędnym. Trzecim – inteligencja obliczeniowa, związana z lokalnym przetwarzaniem danych, obrazu lub dźwięku, w tym z wykonywaniem modeli AI.
Takie rozróżnienie porządkuje terminologię i pozwala wyraźnie oddzielić np. wyświetlacze z kontrolerem graficznym od wyświetlaczy HMI wyposażonych w jednostkę NPU. Granice między poszczególnymi klasami nie zawsze są jednak wyraźne. Producenci stosują własne architektury, narzędzia i modele programowania, dlatego rozwiązania określane jako inteligentne mogą oferować różny poziom autonomii.
Standardowy moduł LCD-TFT – wyświetla obraz, ale go nie tworzy
Punktem wyjścia jest standardowy moduł LCD-TFT. Zawiera matrycę, wbudowany kontroler TFT, układy zasilania, podświetlenie oraz niekiedy dodatkowe elementy elektroniczne. Może być również zintegrowany z rezystancyjnym lub pojemnościowym panelem dotykowym.
Taki wyświetlacz nie tworzy samodzielnie interfejsu użytkownika, lecz prezentuje obraz przesyłany przez jednostkę nadrzędną, np. za pośrednictwem interfejsu RGB, LVDS, MIPI lub eDP. To mikrokontroler lub komputer generuje grafikę, przechowuje jej zasoby, obsługuje dotyk i zarządza przejściami między ekranami, co – zależnie od rozdzielczości i złożoności interfejsu użytkownika – może wymagać wydajnego procesora, odpowiedniej pamięci oraz dodatkowych układów elektronicznych.
Nie oznacza to, że standardowy wyświetlacz LCD-TFT jest rozwiązaniem gorszym. Może być najlepszym wyborem, gdy producent chce zachować pełną kontrolę nad oprogramowaniem, wyglądem interfejsu i architekturą systemu. Takie podejście jest często stosowane w projektach o dużych wolumenach produkcyjnych, ponieważ koszt opracowania elektroniki i oprogramowania można rozłożyć na dużą liczbę urządzeń, a optymalizacja konstrukcji pozwala obniżyć koszt jednostkowy. Zapewnia ono swobodę projektową, ale jednocześnie przenosi odpowiedzialność za opracowanie warstwy HMI na producenta urządzenia.
Moduły z kontrolerem graficznym – inteligencja interfejsu użytkownika
Kolejną grupę stanowią moduły wyposażone w wyspecjalizowany kontroler graficzny. Przykładem takiej architektury jest rodzina układów EVE firmy Bridgetek, obejmująca m.in. BT817.
EVE integruje funkcje generowania grafiki i obsługi dotyku, a także umożliwia odtwarzanie dźwięku. Główny mikrokontroler nie musi renderować całej zawartości ekranu ani przesyłać kompletnego obrazu klatka po klatce – przekazuje polecenia opisujące elementy interfejsu. Na ich podstawie kontroler generuje m.in. przyciski, suwaki, wskaźniki, teksty i animacje, ograniczając obciążenie jednostki nadrzędnej oraz ilość przesyłanych danych. Dzięki temu mikrokontroler może odpowiadać za sterowanie procesem, obsługę czujników i komunikację z pozostałymi urządzeniami systemu. Taka architektura dobrze sprawdza się np. w panelach operatorskich maszyn.
Ten poziom autonomii można określić jako inteligencję interfejsu użytkownika – moduł realizuje warstwę HMI, ale nie przejmuje funkcji związanych z logiką aplikacji ani lokalnym przetwarzaniem AI.
Moduły z autonomicznym środowiskiem GUI – inteligencja aplikacyjna
Następny poziom stanowią moduły, które mają własny mikrokontroler, pamięć oraz środowisko przeznaczone do tworzenia i uruchamiania interfejsu użytkownika.
W odróżnieniu od opisanych wcześniej rozwiązań w pamięci takiego modułu może znajdować się kompletny projekt interfejsu, obejmujący ekrany, przyciski, grafiki, zmienne i zależności między poszczególnymi elementami. Główny sterownik przesyła przede wszystkim dane i komendy, np. temperaturę, wynik pomiaru, stan alarmu lub informację o trybie pracy, a moduł samodzielnie prezentuje je w odpowiednich polach, odświeża wykresy, zmienia stan ikon i obsługuje przejścia między ekranami.
Jedną z najważniejszych zalet tej grupy rozwiązań jest sposób opracowywania GUI. Producenci udostępniają środowiska graficzne, w których interfejs można budować przez przeciąganie i upuszczanie elementów na ekranie. Poszczególne elementy wybiera się z biblioteki, a następnie konfiguruje ich wygląd i działanie. Pozwala to przygotować podstawowy interfejs bez ręcznego programowania każdego obiektu. W prostszych projektach znaczną część pracy może więc wykonać np. konstruktor, bez stałego udziału programisty. Jego wsparcie pozostaje niezbędne przy integracji komunikacji, złożonej logice i funkcjach niestandardowych, ale zakres zaangażowania może być mniejszy. Taka architektura ułatwia również rozwijanie i modyfikowanie interfejsu niezależnie od głównego oprogramowania urządzenia.
Przykładem takiego rozwiązania jest 7-calowy model WL0F0007000A8GAADSK00 z serii Smart Display firmy Winstar. Nie jest to standardowy, otwarty moduł LCD-TFT, lecz gotowy panel HMI wyposażony w mikrokontroler STM32F746, zintegrowany z pojemnościowym panelem dotykowym, komunikujący się przez CAN i zamknięty w obudowie o stopniu ochrony IP54. Dzięki zastosowanym rozwiązaniom model doskonale odpowiada wymaganiom wielu aplikacji przemysłowych, w których istotne są odporność na zakłócenia oraz ochrona przed wnikaniem pyłu i wody. Opisany powyżej moduł typu smart display od Winstara jest przykładem inteligencji aplikacyjnej – samodzielnie zarządza warstwą HMI, ale nie oferuje funkcji typowych dla platform AI i nie wykorzystuje jednostki NPU.
Wyświetlacze HMI z funkcjami AI – inteligencja obliczeniowa
Dopiero w przypadku platform wyposażonych w procesor aplikacyjny i jednostkę NPU można mówić o inteligentnym wyświetlaczu w znaczeniu bezpośrednio związanym ze sztuczną inteligencją.
Procesorem przeznaczonym do takich zastosowań jest m.in. NXP i.MX 8M Plus. Układ łączy rdzenie Arm Cortex-A53, rdzeń czasu rzeczywistego Cortex-M7, procesor graficzny, funkcje przetwarzania multimediów oraz zintegrowaną jednostkę NPU o wydajności do 2,3 TOPS. Układ oferuje również interfejsy do obsługi kamer oraz zasoby potrzebne do lokalnej analizy obrazu. Dzięki bogatym zasobom sprzętowym, procesor ten znalazł zastosowanie i stanowi „serce” wielu gotowych modułów, w tym m.in. SpaceSOM-8Mplus firmy SoMLabs, który zapewnia zasoby potrzebne do obsługi systemu operacyjnego, rozbudowanego HMI, multimediów i lokalnych funkcji AI. Może współpracować z płytą bazową SpaceCB-8Mplus-ADV albo zostać zintegrowany z elektroniką opracowaną specjalnie dla konkretnego urządzenia.
Tak przygotowaną bazę sprzętową należy w większości projektów uzupełnić o odpowiednio dobrany wyświetlacz. Mogą nim być moduły LCD-TFT z linii Lite, Core i Pro firmy Unisystem. Są dostępne w przekątnych 7”, 10,1”, 12,1” i 15,6”, również w wariantach z panelem dotykowym i szkłem ochronnym łączonymi za pomocą technologii klejenia optycznego (ang. optical bonding). Podział na linie wynika z ich przeznaczenia aplikacyjnego: Lite – do urządzeń pracujących we wnętrzach, w stabilnych warunkach, Core – przemysłowy standard, a Pro – do urządzeń pracujących na zewnątrz, także w wymagających warunkach środowiskowych. Dobór odpowiedniego wariantu pozwala dostosować warstwę wizualną platformy do warunków pracy, sposobu obsługi i konstrukcji urządzenia.
Bliska współpraca firm Unisystem i SoMLabs umożliwia połączenie technologii wypracowanych w Polsce w platformę HMI z funkcjami AI. Rozwiązanie może zostać dopasowane do wymagań konkretnej aplikacji – od parametrów wyświetlacza i konstrukcji urządzenia po warstwę obliczeniową, system operacyjny oraz oprogramowanie.
W takiej konfiguracji ekran staje się częścią kompletnej platformy HMI, która może prezentować dane, obsługiwać użytkownika, komunikować się z innymi systemami oraz lokalnie analizować sygnały z wykorzystaniem AI. To właśnie ten poziom autonomii można określić jako inteligencję obliczeniową. Sama obecność jednostki NPU nie tworzy jednak gotowej aplikacji – potrzebne są również odpowiedni model, dane, oprogramowanie oraz mechanizmy aktualizacji i utrzymania systemu. NPU przyspiesza obliczenia, ale nie jest samodzielnym źródłem inteligencji urządzenia.
Inteligencja interfejsu użytkownika vs. inteligencja aplikacyjna vs. inteligencja obliczeniowa
W tabeli zebrano najważniejsze różnice między poszczególnymi klasami wyświetlaczy – zakres funkcji realizowanych przez moduł, rolę jednostki nadrzędnej oraz możliwość lokalnego wykonywania zadań AI.
| Klasa rozwiązania | Funkcje realizowane przez wyświetlacz | Rola jednostki nadrzędnej | Lokalne funkcje AI |
| Standardowy moduł LCD-TFT | Prezentuje obraz przygotowany przez jednostkę nadrzędną | Generuje grafikę oraz obsługuje GUI, dotyk i logikę aplikacji | Nie |
| Moduł z kontrolerem graficznym (inteligencja interfejsu użytkownika) | Generuje grafikę oraz obsługuje dotyk, widgety i niekiedy dźwięk | Steruje interfejsem i realizuje główną logikę urządzenia | Nie |
| Moduł z autonomicznym GUI (inteligencja aplikacyjna) | Obsługuje ekrany, zdarzenia, zmienne, dotyk i część logiki HMI | Przekazuje dane, statusy i polecenia | Zazwyczaj nie |
| Platforma HMI z funkcjami AI (inteligencja obliczeniowa) | Obsługuje GUI, system operacyjny, multimedia oraz lokalną analizę danych, obrazu lub dźwięku | Zakres funkcji zależy od architektury całego urządzenia | Tak |
Jak dobrać rodzaj inteligencji wyświetlacza do projektu?
Opisane rozwiązania oferują różny poziom autonomii – od inteligencji interfejsu użytkownika, przez inteligencję aplikacyjną, aż po inteligencję obliczeniową. Przy wyborze należy określić, które zadania ma przejąć moduł HMI, a które pozostaną po stronie jednostki nadrzędnej.
Znaczenie mają przede wszystkim złożoność GUI, dostępne zasoby sprzętowe, sposób tworzenia i aktualizacji interfejsu, potrzeba lokalnego przetwarzania danych, warunki pracy, sposób montażu oraz przewidywany cykl życia produktu. Najlepszym wyborem nie zawsze będzie najbardziej rozbudowana platforma, lecz taka, która odpowiada rzeczywistym wymaganiom aplikacji.
Zastanawiasz się, czy inteligentny wyświetlacz sprawdzi się w Twojej aplikacji? Skontaktuj się z naszym zespołem – wspólnie dobierzemy rozwiązanie najlepiej odpowiadające wymaganiom Twojego projektu.
