Modele multimodalne - Multimodal Models

Definicja, modele multimodalne

Modele multimodalne (multimodal models) to modele sztucznej inteligencji, które potrafią jednocześnie przetwarzać, łączyć i interpretować informacje pochodzące z więcej niż jednej modalności, czyli z więcej niż jednego rodzaju sygnału wejściowego lub wyjściowego. W praktyce chodzi przede wszystkim o tekst, obraz, dźwięk, wideo, a w bardziej wyspecjalizowanych zastosowaniach także dokumenty z układem graficznym, dane medyczne, tabele, wykresy czy sygnały sensoryczne. Najbardziej syntetyczną definicję daje NIST, według którego model multimodalny to model przetwarzający i odnoszący do siebie informacje z wielu modalności sensorycznych reprezentujących podstawowe ludzkie kanały komunikacji i percepcji. Google definiuje to podobnie: jako model uczenia maszynowego (machine learning), który potrafi przetwarzać informacje z różnych modalności, takich jak obrazy, wideo i tekst.

Sedno tej definicji nie polega jednak wyłącznie na tym, że model „obsługuje kilka typów plików”. To byłoby ujęcie zbyt powierzchowne. Model multimodalny nie jest po prostu zestawem osobnych modułów do tekstu, obrazu i dźwięku. Jego istotą jest fuzja modalna (multimodal fusion), czyli zdolność budowania wspólnej reprezentacji znaczenia na podstawie różnych źródeł danych. Innymi słowy, taki model nie tylko widzi obraz i czyta tekst, lecz potrafi powiązać jedno z drugim: rozumieć, że podpis odnosi się do elementów widocznych na zdjęciu, że pytanie dotyczy konkretnego fragmentu wykresu, że ton głosu zmienia sens wypowiedzi albo że dane medyczne i opis kliniczny mówią o tym samym pacjencie. To właśnie odróżnia model multimodalny od układu wielomodułowego, w którym różne typy danych są przetwarzane osobno bez głębszego powiązania semantycznego.

Dlatego pełna definicja modeli multimodalnych powinna obejmować trzy poziomy. Na poziomie wejścia model przyjmuje wiele rodzajów danych. Na poziomie reprezentacji model tworzy wspólną albo skoordynowaną przestrzeń znaczeń dla tych danych. Na poziomie wyjścia model potrafi wykonywać zadania wymagające zrozumienia relacji między modalnościami, na przykład odpowiadać na pytania o obraz, opisywać film, analizować dokument zawierający tekst i grafikę, rozpoznawać mowę w kontekście wizualnym albo generować obraz z opisu tekstowego. Współczesne opracowania o modelach bazowych multimodalnych (multimodal foundation models) podkreślają właśnie tę ewolucję: od modeli wyspecjalizowanych w jednej parze danych, zwykle obraz–tekst, do modeli ogólnego przeznaczenia, które potrafią integrować wiele rodzajów sygnałów w jednym systemie.

Najłatwiej zrozumieć tę definicję przez porównanie z modelem jednomodalnym (unimodal model). Model jednomodalny działa na jednym typie danych, na przykład wyłącznie na tekście albo wyłącznie na obrazie. Model multimodalny operuje na co najmniej dwóch modalnościach i wykorzystuje ich wzajemne zależności.

To porównanie ma duże znaczenie praktyczne. Świat rzeczywisty jest z natury wielomodalny. Człowiek rozumie otoczenie nie tylko przez słowa, lecz równocześnie przez obraz, dźwięk, ruch, układ dokumentu, symbolikę i kontekst sytuacyjny. Modele multimodalne są próbą zbliżenia systemów AI do tej złożoności. Nie oznacza to, że „myślą jak człowiek”, ale że lepiej odwzorowują strukturę rzeczywistych danych niż systemy operujące wyłącznie na jednym kanale informacji.

Historia rozwoju modeli multimodalnych jest ważna, ponieważ samo pojęcie bardzo wyraźnie zmieniało swoje znaczenie. W pierwszym etapie, przed erą współczesnych modeli bazowych, badania nad uczeniem multimodalnym (multimodal learning) koncentrowały się na łączeniu dwóch strumieni danych w wąskich zadaniach, takich jak podpisywanie obrazów czy odpowiadanie na pytania o obraz. Przełomowym krokiem był model CLIP zaprezentowany przez OpenAI w styczniu 2021 roku, który uczył wspólnej reprezentacji obrazów i języka naturalnego (natural language) na wielkiej skali danych obraz–tekst. CLIP pokazał, że można efektywnie zbliżyć reprezentacje wizualne i językowe, a następnie wykorzystywać je do klasyfikacji bez dodatkowego dostrajania dla każdego zadania.

Kolejnym bardzo ważnym etapem był rok 2022 i model Flamingo firmy DeepMind, opisany jako wizualno-językowy model (visual language model), który potrafił przyjmować obrazy lub wideo przeplatane tekstem i wykonywać zadania wieloprzykładowe (few-shot learning) bez pełnego dostrajania pod każde z nich. To był moment, w którym modele multimodalne zaczęły być postrzegane nie jako pojedyncze systemy do jednego zadania, ale jako bardziej ogólne platformy rozumienia wzrokowo-językowego.

Następny silny punkt zwrotny przyniósł rok 2023. Raport techniczny Gemini opisał rodzinę modeli zdolnych do rozumienia obrazu, dźwięku, wideo i tekstu w jednej architekturze. W tym samym okresie literatura zaczęła mówić coraz częściej o multimodalnych modelach bazowych (multimodal foundation models), a nie tylko o modelach obraz–tekst. W praktyce oznaczało to przejście od systemów „dwumodalnych” do modeli, które mogą działać na większej liczbie kanałów oraz wykonywać bardziej złożone zadania rozumowania. Współczesne modele komercyjne i badawcze coraz częściej są projektowane jako natywnie multimodalne (natively multimodal), czyli od początku przewidziane do pracy z więcej niż jedną modalnością, a nie tylko rozszerzone o dodatkowy moduł wizualny lub dźwiękowy.

Jeżeli więc dziś mówimy o definicji modeli multimodalnych, musimy uwzględnić tę historyczną zmianę. Dawniej termin ten często oznaczał system łączący obraz z tekstem w konkretnym zadaniu. Obecnie oznacza znacznie szerszą klasę modeli zdolnych do wspólnego przetwarzania wielu typów sygnałów wejściowych i wyjściowych, często w ramach jednej architektury ogólnego przeznaczenia. To ważne, bo użytkownik, który widzi współczesny model odpowiadający na pytania o dokument, analizujący wykres, opisujący wideo i reagujący na mowę, ma do czynienia z pojęciem multimodalności w dużo dojrzalszym sensie niż jeszcze kilka lat temu.

Od strony architektonicznej modele multimodalne buduje się na kilka głównych sposobów. Jeden wariant polega na uczeniu osobnych enkoderów (encoders) dla różnych modalności, a następnie na ich wyrównywaniu w jednej przestrzeni reprezentacji. Tak działały ważne modele obraz–tekst, w tym CLIP. Drugi wariant polega na „mostkowaniu” silnego modelu językowego z modułem wizualnym lub dźwiękowym, tak aby system umiał włączać reprezentacje niejęzykowe do procesu generowania i rozumowania; ten kierunek dobrze reprezentuje Flamingo. Trzeci wariant to modele od początku trenowane jako systemy wielomodalne, które traktują różne sygnały jako różne rodzaje tokenów (tokens) lub elementów wejścia do jednego wspólnego mechanizmu przetwarzania. To rozwiązanie staje się coraz ważniejsze wraz z rozwojem modeli natywnie multimodalnych.

W zastosowaniach profesjonalnych modele multimodalne mają szczególną wartość tam, gdzie pojedynczy kanał danych nie wystarcza do podjęcia dobrej decyzji. W ochronie zdrowia mogą łączyć obrazowanie medyczne, opis kliniczny, historię pacjenta i wyniki badań laboratoryjnych. NIST wprost wskazuje multimodalne modele AI jako istotne dla medycyny precyzyjnej (precision medicine), ponieważ wiedza medyczna jest rozproszona między wieloma typami danych. W analizie dokumentów modele te potrafią jednocześnie czytać tekst, rozumieć układ strony, interpretować tabelę, diagram i pieczęć na skanie. W przemyśle oraz kontroli jakości mogą łączyć obraz z czujników, zapis zdarzeń i komunikaty operatora. W obsłudze klienta i systemach asystenckich mogą przetwarzać pytania głosowe, zdjęcia produktu, ekran aplikacji i tekst zgłoszenia jednocześnie, co radykalnie zwiększa kontekst odpowiedzi.

Dla użytkowników indywidualnych modele multimodalne są jeszcze bardziej namacalne, choć często niewidoczne jako osobna technologia. To one stoją za możliwością zadania pytania o fotografię, streszczenia zawartości dokumentu ze skanu, odczytu treści z wykresu, rozmowy z asystentem o tym, co „widać” na ekranie, czy generowania obrazu na podstawie opisu tekstowego lub opisu na podstawie obrazu. W tym sensie multimodalność nie jest jedynie funkcją techniczną, lecz zmianą interfejsu między człowiekiem a systemem AI. Zamiast zmuszać użytkownika do tłumaczenia wszystkiego na sam tekst, model może przyjąć świat w formie bliższej rzeczywistemu doświadczeniu: jako połączenie słów, obrazów, dokumentów, układów graficznych i dźwięku.

Jeżeli chodzi o mierniki i wskaźniki, to modele multimodalne nie mają jednego uniwersalnego miernika jakości, ponieważ wykonują bardzo różne zadania. W zadaniach odpowiadania na pytania o obraz często używa się trafności odpowiedzi na zestawach typu wizualne odpowiadanie na pytania (Visual Question Answering, VQA); oficjalny projekt VQA definiuje ten obszar jako pytania wymagające rozumienia obrazu, języka i wiedzy potocznej. W bardziej zaawansowanych zadaniach rozumienia eksperckiego coraz częściej stosuje się benchmark MMMU, który został zaprojektowany do oceny modeli multimodalnych na pytaniach z wielu dyscyplin wymagających rozumowania na poziomie akademickim. W zadaniach podpisywania obrazów historycznie używano miar takich jak CIDEr, które próbują porównać wygenerowany opis z opisami referencyjnymi tworzonymi przez ludzi. W dokumentach ważne są zestawy typu DocVQA, gdzie model musi odpowiedzieć na pytania o treść dokumentu, łącząc odczyt tekstu, strukturę strony i kontekst wizualny.

Z eksperckiego punktu widzenia najważniejsze jest jednak to, że ocena modeli multimodalnych nie może opierać się wyłącznie na jednym wyniku liczbowym. Trzeba oddzielnie badać percepcję, czyli poprawność odczytu sygnału wejściowego, integrację między modalnościami, czyli zdolność łączenia znaczeń, oraz rozumowanie, czyli poprawność wnioskowania na podstawie wspólnego kontekstu. Model może poprawnie odczytywać tekst z dokumentu, ale błędnie łączyć go z tabelą. Może rozpoznawać obiekty na obrazie, ale nie rozumieć relacji między nimi. Może też odpowiadać płynnie językowo, a mimo to opierać odpowiedź na błędnie zinterpretowanym fragmencie wykresu. To właśnie dlatego nowsze benchmarki, takie jak MMMU, tak mocno akcentują wielodyscyplinarne rozumowanie, a nie tylko prostą identyfikację obiektów.

Największe wyzwania definicyjnie i praktycznie wynikają z natury danych multimodalnych. Tekst ma strukturę sekwencyjną, obraz ma strukturę przestrzenną, dźwięk rozciąga się w czasie, a dokument łączy tekst z geometrią strony. Te sygnały nie są tylko „różnymi formatami”, lecz różnymi sposobami kodowania znaczenia. Dlatego integracja multimodalna jest trudna obliczeniowo i metodologicznie. Wymaga odpowiednich danych treningowych, synchronizacji między modalnościami i architektury zdolnej do zachowania właściwego kontekstu. Opracowania o modelach bazowych multimodalnych podkreślają, że to właśnie jakość połączenia percepcji i rozumowania, a nie sama liczba obsługiwanych modalności, stanowi o realnej wartości modelu.

Istotnym elementem pełnej definicji jest również koszt obliczeniowy. Modele multimodalne są zwykle cięższe niż modele jednomodalne, bo muszą utrzymywać zdolności percepcyjne dla różnych kanałów danych i jeszcze dodatkowo uczyć się ich wzajemnych relacji. Oznacza to większe wymagania wobec pamięci, przepustowości oraz jakości danych. Z biznesowego punktu widzenia to jeden z głównych powodów, dla których wdrażanie multimodalności było początkowo domeną największych laboratoriów i firm technologicznych. Dopiero postęp w architekturach modelowych, sprzęcie i metodach dostrajania sprawia, że takie systemy stają się coraz szerzej dostępne.

Dobrym przykładem biznesowym jest sklep internetowy sprzedający wyposażenie domu. W modelu tradycyjnym klient wpisuje pytanie tekstowe, a system odpowiada na podstawie samego opisu produktu. W modelu multimodalnym klient może przesłać zdjęcie wnętrza, dopisać krótką instrukcję, a system analizuje jednocześnie fotografię pomieszczenia, układ kolorów, typ mebli, styl wizualny i treść pytania. Następnie nie tylko proponuje produkty, ale uzasadnia wybór, wskazuje podobieństwa stylistyczne i może wygenerować wizualizację aranżacji. Dla firmy oznacza to lepszą konwersję, bardziej trafne rekomendacje i mniej przypadkowych zwrotów, ponieważ decyzja nie opiera się już na jednym kanale danych. W tym właśnie ujawnia się prawdziwa przewaga modeli multimodalnych: nie w samej „atrakcyjności technologicznej”, lecz w zdolności podejmowania lepszych decyzji dzięki pełniejszemu kontekstowi.

Najpełniejsza, ekspercka definicja modeli multimodalnych brzmi następująco: modele multimodalne to systemy AI zdolne do wspólnego przetwarzania i integrowania wielu modalności danych po to, aby trafniej rozumieć, opisywać, przewidywać lub generować treści w warunkach bliższych rzeczywistości niż w modelach jednomodalnych. Ich znaczenie polega na przejściu od wąskiego przetwarzania pojedynczego sygnału do złożonego modelowania świata, w którym sens powstaje na przecięciu obrazu, języka, dźwięku, układu dokumentu i kontekstu zadania. To dlatego modele multimodalne są dziś uznawane za jeden z najważniejszych kierunków rozwoju współczesnej sztucznej inteligencji.

Źródła:

• AI Hub – NVIDIA: developer.nvidia.com/ai
• AI Now Institute: ainowinstitute.org
• DeepMind (Google): deepmind.com
• Encyclopædia Britannica Inc.: britannica.com
• Google AI: ai.google
• Machine Learning Mastery: machinelearningmastery.com
• MIT Computer Science and Artificial Intelligence Laboratory (CSAIL): csail.mit.edu
• National Institute of Standards and Technolog - nvlpubs.nist.gov
• OECD.AI: oecd.ai
• OpenAI: openai.com
• Stanford AI Lab: ai.stanford.edu
• Wikipedia: wikipedia.org/wiki/