Technologie multimedialne coraz częściej znajdują zastosowanie w muzeach, centrach kultury i edukacji, zwłaszcza jeśli ich oferta skierowana jest do dzieci. Interesujące zaaranżowanie ekspozycji może sprawić, że zdobywanie nowej wiedzy stanie się zabawą. Takie też było założenie gdańskiego Centrum Hewelianum, które od marca tego roku organizuje warsztaty „Z linijką na Słońce”.   Zajęcia w Centrum Hewelianum cieszą się wyjątkową popularnością również ze względu na będącą ich częścią interaktywną instalację Słońce, która łączy projekcję 3D na półtorametrowym modelu gwiazdy z możliwością sterowania za pomocą gestów użytkownika. O stronie technicznej instalacji opowiedział nam Łukasz Mróz z kolektywu ARBUZZ, który zrealizował ten projekt dla Centrum Hewelianum. Łukasz Mróz, ARBUZZ: Cała instalacja składa się z fizycznego modelu słońca w przekroju o średnicy 1600 mm, projektora BenQ MP777 o jasności 4000 ANSI lumenów, podwieszonego pod sufit miniaturowego komputera opartego na płycie głównej w formacie mini ITX i procesorze intel i5 z naszym autorskim oprogramowaniem oraz czujnika głębi Microsoft Kinect. Magdalena Kaniewska, MiT: Jaką rolę pełni w tej instalacji Kinect? Kinect pozwala nam zrealizować interakcję użytkownika z aplikacją komputerową. Jest to rodzaj kamery, która zamiast informacji o kolorze pobiera informację o odległości obiektu od czujnika. Na wyjściu dostajemy bitmapę, która pokazuje, jak daleko poszczególne elementy znajdują się od czujnika, co pozwala wykryć interesujące nas gesty. A jakiego rodzaju to jest czujnik? Jest to kamera podczerwona z laserowym projektorem podczerwieni. Projektor emituje dość gęstą siatkę punktów, która jest rejestrowana przez kamerę podczerwoną. Na podstawie widoku tej siatki w obrazie z kamery odpowiedni algorytm pozwala obliczyć odległość obiektów od czujnika. Algorytm zaimplementowany jest w samym urządzeniu Kinect, na wyjściu więc dostajemy klatkę z gotową informacją o odległości. Sam Kinect ma oczywiście dużo większe możliwości, ale do tej realizacji potrzebowaliśmy tylko wykrywania gestów ręki. Funkcje takie jak np. wykrywanie dłoni są zrealizowane na platformie OpenNI (Open Natural Interaction), która ma szansę stać się uniwersalną platformą dla NUI (Natural User Interface). W ten sposób zrealizowano interakcję użytkownika z aplikacją, a co z animacjami 3D? Wykorzystaliśmy tutaj technologię video mappingu, która umożliwia idealne dopasowanie przygotowanej uprzednio animacji 3D do kształtu fizycznego modelu zawieszonego w pomieszczeniu. Oprócz animacji samego Słońca po prawej stronie mamy również część informacyjną. Obie grafiki wyświetlane są za pomocą jednego projektora. Całość przygotowana została przez dwóch grafików, jeden zajął się przygotowaniem animacji trójwymiarowej, drugi interfejsem użytkownika, a więc wszystkimi informacji, tablicami, obsługą kursora itd. Oprogramowanie oparte jest o framework XNA Microsoftu przeznaczony właściwie do budowania gier. Umożliwia on między innymi wyświetlanie grafiki trójwymiarowej. Oprócz tego korzystamy z biblioteki OpenCV do przetwarzania obrazów, która służy również do interpretowania obrazów z Kinecta. Plus platforma OpenNI, o której już wspominałem. To trzy podstawowe technologie, które zostały wykorzystane do stworzenia naszej aplikacji. Czego potrzeba do obsługi tego systemu? Instalacja została zamontowana i skalibrowana i w tej chwili jest całkowicie zautomatyzowana. Wystarczy włączyć komputer i projektor, aplikacja uruchamia się automatycznie. Część sprzętowa jest stosunkowo nieskomplikowana, to tylko komputer, projektor i Kinect podwieszone pod sufitem plus bezprzewodowa klawiatura i mysz. Na razie wszystko działa bezawaryjnie, nie było nawet potrzeby ponownej konfiguracji czy kalibracji systemu, choć oczywiście może się tak zdarzyć. Ze względu na wykorzystanie video mappingu – techniki polegającej na precyzyjnym wyświetlaniu obrazu z projektora na przestrzennych bryłach – bardzo ważne jest precyzyjne ustawienie względem siebie projektora i modeli, na które emitowany jest obraz. Oznacza to, że w sytuacji, gdy projektor lub model zostaną przesunięte, konieczne jest ponowne ustawienie systemu. I taką możliwość daje zainstalowana tu aplikacja? Tak, oprócz obsługi interfejsu użytkownika i wyświetlania animacji aplikacja ta pozwala na konfigurację całego systemu oraz precyzyjną edycję grafiki, by idealnie nakładała się na umieszczony na ścianie fizyczny model. Jakie są możliwości tej aplikacji od strony użytkownika? To aplikacja edukacyjna, która ma przybliżyć informacje na temat różnych warstw słońca. Technicznie odbywa się to w ten sposób, że na początku, gdy nikt nie korzysta z aplikacji, w części informacyjnej wyświetlana jest instrukcja zachęcająca do ustawienia się w wyznaczonym miejscu i rozpoczęcia zabawy. Gdy ktoś stanie w wyznaczonym miejscu, pojawia się informacja o konieczności wykonania gestu focusowego, czyli takiego, który umożliwia przejęcie kontroli nad animacją. Polega on na wyciągnięciu prawej lub lewej dłoni do przodu i cofnięciu jej z powrotem. Po wykonaniu tego gestu pojawia się informacja o sposobie korzystania z aplikacji. Gestem dłoni wybieramy interesującą nas strefę na Słońcu. Zatrzymanie kursora w wybranym miejscu przez kilka sekund jest traktowane jako zatwierdzenie polecenia, wówczas w części informacyjnej pokazują się odpowiednie wiadomości o Słońcu. Czy taki sposób przekazywania treści jest odpowiedni dla dzieci? Jednak słowo pisane nie jest najbardziej atrakcyjną dla nich formą. Staramy się te informacje przedstawić w na tyle interesujący sposób, żeby zainteresowanie technologią zmieniło się w zainteresowanie samą treścią. To oczywiście nie zawsze się udaje, bo wiele osób – zwłaszcza młodszych dzieci – po prostu bawi się, nie czytając tego, co wyświetlane jest na tablicy. Myślę jednak, że i tak jest to aplikacja, która przez swoją atrakcyjność zwiększa szansę przekazania konkretnej wiedzy. Proponowaliśmy Centrum Hewelianum dołączenie do instalacji głośników, jednak ten projekt został odrzucony ze względu na zbyt duży hałas, który powstawałby w miejscu instalacji. A jeśli chodzi o instrukcje dla użytkowników, to oprócz pisanej treści w zrozumieniu obsługi pomaga animowana postać, która pokazuje, co należy zrobić. Także dzieci nie mają z tym żadnych problemów. Co sądzi Pan na temat powstawania tego typu interaktywnych instalacji w miejscach publicznych? Myślę, że naturalne interfejsy użytkownika, a zwłaszcza sterowanie gestami, to przyszłość, jeśli chodzi o interakcję człowieka z komputerem i niedługo będzie je można znaleźć w wielu miejscach takich jak muzea, centra handlowe, lotniska itp. Po premierze Kinecta, który miał być po prostu kolejnym kontrolerem do gier, okazało się, że ludzie odnajdują w nim o wiele więcej możliwości. Stał się jednym z najlepiej sprzedających się gadżetów w historii. Teraz takich urządzeń jest coraz więcej i kosztują coraz mniej. Nie mam wątpliwości, że w przeciągu dwóch lat zobaczymy inne rozwiązania z czujnikami głębi w bardzo wielu miejscach. Zwłaszcza że ta technologia jest bardzo czysta, bezdotykowa i nie wymaga specjalnych umiejętności do jej obsługi.

NAGŁOŚNIENIE I OŚWIETLENIE DLA OBIEKTÓW KULTURY

Zainteresowały cię opisane rozwiązania i wykorzystane urządzenia?
Pomożemy, doradzimy, odpowiemy na twoje pytania.
Skontaktuj się z nami.

reklama@muzykaitechnologia.pl +48 500 053 208