Modele wizualno‑językowe
Modele wizualno‑językowe przedstawiają nowy sposób przetwarzania obrazów lub materiałów wideo oraz tekstu jednocześnie. Najpierw łączą enkodery widzenia komputerowego z enkoderami językowymi. Następnie łączą te reprezentacje we wspólnej przestrzeni utajonej, dzięki czemu jeden system może rozumować zarówno sygnały wizualne, jak i język ludzki. W kontekście wykrywania anomalii w materiale wideo w kryminalistyce to połączenie ma znaczenie. Umożliwia operatorom zadawanie pytań w naturalnym języku o wideo i szybkie znajdowanie istotnych klipów. Na przykład operator może zapytać system w pokoju kontrolnym frazą „osoba kręcąca się w pobliżu bramy po godzinach” i otrzymać wyniki zrozumiałe dla człowieka. To oszczędza godziny ręcznego przeglądu i znacznie skraca czas analizy. Studium terenowe wykazało skrócenie czasu analizy nawet do 40% po wprowadzeniu narzędzi multimodalnych Nauka o analizie materiału wideo w kryminalistyce — narzędzie śledcze.
Na poziomie modelu jedną z powszechnych architektur jest para: enkoder wizualny przetwarzający klatki RGB oraz transformerowy model językowy obsługujący podpisy lub transkrypcje. Następnie głowica projekcji wyrównuje osadzenia wizualne i tekstowe. Wyrównane wektory umożliwiają klasyfikatorowi wykrywającemu anomalie lub generatorowi tworzenie opisów. Te modele wizualno‑językowe pojawiają się dwukrotnie w tym artykule, ponieważ są centralne dla nowoczesnych potoków. Wspierają zarówno zapytania zero-shot, jak i klasyfikację dostosowaną (fine-tuned). W praktycznych wdrożeniach VLM-y działają on-prem, aby zachować prywatność, i napędzają funkcje takie jak VP Agent Search, które zamieniają nagrania z nadzoru w przeszukiwalny tekst.
Sztuczna inteligencja odgrywa tu kilka ról. AI wykrywa obiekty, zaznacza anomalne zachowania i priorytetyzuje klipy do przeglądu. AI także streszcza zdarzenia i zmniejsza liczbę fałszywych alarmów. Ponadto agentom AI można powierzyć rozumowanie krzyżowe między wideo, logami VMS i rejestrami kontroli dostępu. W rezultacie operatorzy otrzymują wyjaśniony alarm, który wspiera szybsze podejmowanie decyzji. Potok korzysta z modeli wstępnie wytrenowanych, a następnie z dostrajania specyficznego dla danej lokalizacji przy ograniczonych danych treningowych. Wreszcie, to rozwiązanie wspiera słabo nadzorowane przepływy pracy do wykrywania anomalii wideo, gdy dokładne znaczniki czasowe są niedostępne.
Powiązane prace
Benchmarki badawcze pokazują dużą rozbieżność między wynikami w laboratorium a wynikami w rzeczywistych warunkach. Na przykład benchmark Deepfake-Eval-2024 wykazuje dramatyczny spadek wydajności o ponad 30% gdy modele trenowane na kontrolowanych zestawach danych są stosowane do materiałów „w naturze” Deepfake-Eval-2024. To badanie testowało detektory multimodalne i wykazało, że wiele systemów ma problemy z hałaśliwymi metadanymi i różnymi poziomami kompresji. Jednocześnie klasyczne potoki jednomodalne — te korzystające wyłącznie z widzenia komputerowego lub wyłącznie z dźwięku — wciąż sprawdzają się dobrze na wyselekcjonowanych zestawach danych takich jak UCF-CRIME. Jednak często zawodzą w uogólnianiu.
Podejścia multimodalne oferują zalety. Łączą sygnały wizualne, transkrypcje i metadane oraz wykorzystują wskazówki semantyczne do redukcji fałszywych alarmów. Na przykład odniesienie się do rejestru kontroli dostępu i klipu wideo pomaga potwierdzić lub odrzucić alarm. Ponadto modele multimodalne mogą używać języka do rozróżniania wizualnie podobnych zdarzeń. Poprawia to klasyfikację anomalii i rozpoznawanie anomalii w wideo. Mimo to pozostają luki. Zestawy danych benchmarkowe rzadko odzwierciedlają pełen zakres scenariuszy rzeczywistych, a anotowane dane prawdy przy zdarzeniach anomalnych są rzadkie. Badacze postulują większe zbiory danych benchmarkowych i bogatsze adnotacje, aby zwiększyć odporność i spójność temporalną.
Powiązane prace analizują również projekt algorytmów. Artykuły autorów takich jak Zhong, Tian, Luo, Agarwal, Joulin i Misra badają agregację i modele temporalne dla wykrywania anomalii wideo (VAD) oraz rozpoznawania akcji. W praktyce pretrenowane kręgosłupy wizualne są dostrajane na danych domenowych, aby zmniejszyć liczbę fałszywych pozytywów. Jednak istotne wyzwanie pozostaje: zlikwidowanie przepaści między metrykami laboratoryjnymi a niezawodnością operacyjną w działających pokojach kontrolnych. Musimy dążyć do zestawów benchmarkowych, które odzwierciedlają godziny ręcznego przeglądu, chaotyczną kompresję, słabe oświetlenie i zasłonięcia, aby poprawić odporność modeli w rzeczywistych warunkach Deepfake-Eval-2024 (PDF).
AI vision within minutes?
With our no-code platform you can just focus on your data, we’ll do the rest
Sztuczna inteligencja
AI jest teraz podstawą większości nowoczesnych przepływów pracy w kryminalistyce i ochronie. Po pierwsze, przetwarza ilość materiału wideo, która przytłoczyłaby ludzi. Po drugie, sortuje zdarzenia, aby zespoły koncentrowały się na incydentach o wysokiej wartości. Po trzecie, dostarcza czytelnych dla człowieka wyjaśnień wspierających decyzje. W visionplatform.ai budujemy na tych możliwościach. Nasze VP Agent Reasoning koreluje analitykę wideo, opisy VLM i logi VMS, aby operatorzy otrzymywali kontekst, a nie tylko alerty. To zmniejsza obciążenie poznawcze i przyspiesza działanie.
Funkcje AI dzielą się na wykrywanie, streszczanie i wsparcie decyzyjne. Komponenty wykrywania obejmują detektory anomalii i modele rozpoznawania akcji. Komponenty streszczające wykorzystują modele językowe do generowania zwięzłych raportów z wideo. Wsparcie decyzyjne łączy te wyniki i stosuje reguły lub polityki agentów. W wielu konfiguracjach działa równolegle kilka modeli AI. Zapewniają redundancję i pomagają weryfikować hipotezy między modalnościami. To podejście wielomodelowe rodzi pytania o agregację i rozwiązywanie sprzecznych wyników. Z tego powodu niezbędne są śledzalne decyzje i audytowalne logi.
Integracja ma znaczenie. Zespoły AI często łączą wyniki wideo z innymi narzędziami kryminalistycznymi, takimi jak analiza DNA czy rekonstrukcja miejsca zdarzenia. Umożliwia to śledczym wzajemne weryfikowanie linii czasu i dowodów. W operacjach agenci AI mogą wstępnie wypełniać raporty incydentów i wywoływać przepływy pracy. Na przykład VP Agent Action może zasugerować następny krok lub zamknąć fałszywy alarm z uzasadnieniem. To zmniejsza czas przypadający na alarm i poprawia spójność. AI ma też ograniczenia. Trening modeli i uczenie nadzorowane wymagają pracy z etykietami. Odporność na zakłócenia adversarialne i zagrożenia ze strony generatywnego AI pozostaje otwartą kwestią Syntetycznie generowane materiały. Mimo to AI obiecuje skalowalne wsparcie dla centrów kontroli, które muszą obsługiwać tysiące godzin wideo tygodniowo.
Modele językowe
Modele językowe w stosach VLM zwykle oparte są na transformerach. Obejmują warianty tylko enkoderowe, tylko dekoderowe oraz enkoder‑dekoder. Te modele językowe umożliwiają zapytania w naturalnym języku, weryfikację transkrypcji i fuzję kontekstu. Na przykład transkrypt wygenerowany przez system mowy na tekst można osadzić i porównać z opisami tekstowymi z enkodera wizualnego. To porównanie pomaga wykrywać niespójności i zaznaczać rozbieżności między zeznaniami świadków a nagraniem wideo. System może wtedy wyeksponować klipy do przeglądu przez człowieka.
Przetwarzanie języka poprawia zrozumienie kontekstu. Dostarcza etykiety semantyczne, które uzupełniają niskopoziomowe sygnały widzenia komputerowego. W rezultacie zadania takie jak wykrywanie zdarzeń i klasyfikacja anomalii stają się dokładniejsze. Modele językowe obsługują też generowanie języka, dzięki czemu systemy mogą tworzyć raporty gotowe do audytu lub dosłowne transkrypcje. W połączeniu z pretrenowanymi enkoderami wizualnymi umożliwiają wykrywanie zero-shot nowych, wcześniej nieznanych anomalii. Wyrównanie krzyżowe modalności wykorzystuje wspólne osadzenia do osadzania cech wizualnych i tekstu, co wspiera elastyczne wyszukiwanie i pobieranie.
Wdrażający powinni zwracać uwagę na wskazówki kontekstowe, takie jak lokalizacja kamery, pora dnia i dane kontroli dostępu. Razem te elementy tworzą bogatszy kontekst wideo, który pomaga modelowi zdecydować, czy działanie jest normalne czy anomalne. W praktyce operatorzy używają VP Agent Search do odnajdywania incydentów za pomocą prostych zapytań w języku naturalnym. Funkcja ta wiąże się z naszą polityką on‑prem dla prywatności i zgodności. Wreszcie, modele językowe mogą pomagać w krzyżowym sprawdzaniu metadanych, weryfikacji znaczników czasowych i poprawie klasyfikatora anomalii poprzez dostarczanie ograniczeń semantycznych.
AI vision within minutes?
With our no-code platform you can just focus on your data, we’ll do the rest
Inżynieria promptów
Inżynieria promptów ma znaczenie dla VLM-ów. Jasny prompt kieruje VLM do właściwego wyniku, a słaby prompt generuje hałaśliwe lub mylące rezultaty. Używaj zwięzłego, precyzyjnego języka. Dołącz kontekst kamery, ograniczenia czasowe i oczekiwane obiekty. Na przykład prompt „Wypisz podejrzane przenoszenie pozostawionych przedmiotów w pobliżu Bramy B między 22:00 a 23:00” daje ukierunkowane wyniki. Dodawaj też przykłady, gdy to możliwe, aby kierować zachowaniem few-shot.
Oto przykładowe prompt-y do typowych zadań. Dla wykrywania anomalii użyj: „Wykryj anomalne zachowania w tym klipie. Wyróżnij kręcenie się w okolicy, nagłe biegi lub pozostawianie przedmiotów.” Do streszczania zdarzeń użyj: „Streszcz klip w trzech punktach. Uwzględnij liczbę osób, działania i wskazówki kontekstowe.” Do weryfikacji transkryptu użyj: „Porównaj transkrypt z wideo. Zaznacz niespójności i podaj znaczniki czasowe.” Te wzorce promptów pomagają modelowi zmniejszać liczbę fałszywych alarmów i poprawiać spójność temporalną.
Projektowanie promptów wpływa na uogólnianie. Jasne prompt-y poprawiają działanie zero-shot i few-shot. Natomiast niejednoznaczne prompty mogą zniekształcać odpowiedzi modelu i pogarszać działanie detektorów anomalii. Aby zwiększyć odporność, iteruj z użyciem rzeczywistych klipów i zbieraj opinię operatorów. Pętla promptów z człowiekiem w pętli pomaga dopracować prompt i odpowiedzi modelu. Na koniec pamiętaj, że szablony promptów są częścią linii wdrożeniowej i powinny być wersjonowane oraz audytowane dla zgodności.
Ustawienia eksperymentu i wyniki
Zaprojektowaliśmy eksperymenty z użyciem klipów z zestawów kontrolowanych oraz materiałów „w naturze”. Zestaw kontrolowany zawierał wyselekcjonowane klatki RGB z anotowanymi zdarzeniami anomalii. Zbiór „w naturze” korzystał z godzin nagrań z monitoringu z wielu lokalizacji w zróżnicowanym oświetleniu i z różnym stopniem kompresji. Ocenialiśmy także modele na klipach UCF-CRIME, aby porównać rozpoznawanie akcji i etykiety na poziomie wideo. Konfiguracja eksperymentu mierzyła dokładność wykrywania, fałszywe pozytywy, oszczędność czasu i inne metryki operacyjne.
Metryki ewaluacyjne obejmowały AUC dla wykrywania, precyzję i recall dla klasyfikacji anomalii, liczbę fałszywych alarmów na godzinę oraz średni zaoszczędzony czas na incydent. Ilościowo, potoki multimodalne oparte na VLM-ach wykazały 25% poprawę w wykrywaniu zdarzeń i rozpoznawaniu obiektów w porównaniu z jednowymiarowymi bazami na mieszanych benchmarkach. Ponadto zespoły zanotowały do 40% redukcji czasu przeglądu, gdy stosowano streszczanie AI i VP Agent Search badanie redukcji czasu. Jednak benchmark Deepfake-Eval-2024 podkreślił znaczący spadek wydajności w scenariuszach rzeczywistych, potwierdzając, że odporność pozostaje problemem spadek wydajności w testach w naturalnych warunkach.
Pojawiły się wyzwania związane z uogólnianiem i fałszywymi pozytywami. Liczba fałszywych alarmów rosła, gdy modele spotykały nowe kąty kamery lub nietypowe typy anomalii. Aby temu zaradzić, zespoły stosowały pre-trening na dużych zbiorach obrazów, a następnie dostrajanie na lokalnych danych treningowych i testowych. Wprowadzały też procedury kontrolne zmniejszające liczbę fałszywych pozytywów, na przykład poprzez krzyżowe odniesienie logów dostępu. Te kroki poprawiły odporność i zmniejszyły błędy klasyfikatora anomalii. Ogólne wyniki eksperymentalne wspierają multimodalne VLM-y jako obiecujące podejście, jednocześnie sygnalizując potrzebę bardziej realistycznych zestawów benchmarkowych i silniejszych modeli temporalnych Raport o dezinformacji wizualnej i multimodalnej.
Dla czytelników zainteresowanych przykładami praktycznymi, zobacz nasze funkcje VP Agent: przeszukanie kryminalistyczne na lotniskach dla szybkich zapytań historycznych, automatyczne kontrole wtargnięć oraz analityka dotycząca wałęsania się.
Najczęściej zadawane pytania
Co to są modele wizualno‑językowe i czym różnią się od modeli wizji?
Modele wizualno‑językowe łączą enkodery wizualne z modelami językowymi, aby rozumować równocześnie nad obrazami lub materiałami wideo i tekstem. Natomiast modele wizji skupiają się wyłącznie na danych wizualnych i nie obsługują natywnie języka ludzkiego.
Czy VLM może wykrywać anomalne zdarzenia w długich nagraniach z monitoringu?
Tak. VLM-y mogą priorytetyzować klipy i oznaczać anomalne zdarzenia, dzięki czemu operatorzy przeglądają mniej segmentów. Mogą też streszczać zdarzenia, aby przyspieszyć śledztwo.
Czy VLM-y są gotowe do zastosowań w świecie rzeczywistym?
VLM-y radzą sobie dobrze na kontrolowanych zestawach danych, ale mogą doświadczyć spadku wydajności w realistycznych, chaotycznych warunkach. Trwają prace nad poprawą odporności i benchmarkowaniem na materiale „w naturze”.
Jak prompty wpływają na wyniki modelu?
Prompty kierują zachowaniem i zasięgiem modelu. Jasne, kontekstowe prompty zwykle poprawiają dokładność, podczas gdy niejasne prompty mogą generować hałaśliwe lub nieistotne wyniki.
Jaką rolę pełni AI w centrach kontroli?
AI sortuje alerty, zmniejsza liczbę fałszywych alarmów i zapewnia wsparcie decyzyjne. Może także wstępnie wypełniać raporty i automatyzować niskiego ryzyka przepływy pracy, pozostawiając ludzi w obiegu decyzyjnym.
Jak VLM-y przetwarzają transkrypcje i metadane?
Osadzają transkrypcje i metadane we wspólnej przestrzeni utajonej i porównują je z sygnałami wizualnymi. To pomaga weryfikować zeznania i wykrywać niespójności.
Czy VLM-y wymagają dużo oznakowanych danych?
Modele wstępnie wytrenowane zmniejszają potrzebę rozległego oznakowania danych, ale dostrajanie na przykładach specyficznych dla lokalizacji poprawia wydajność. Metody słabo nadzorowane do wykrywania anomalii wideo pomagają, gdy etykiety są rzadkie.
Czy VLM-y mogą zmniejszyć liczbę fałszywych alarmów?
Tak. Poprzez dodanie zrozumienia kontekstowego i krzyżowe odniesienie do innych systemów, VLM-y mogą obniżać liczbę fałszywych alarmów i poprawiać proces decyzyjny. Nadal istotny jest nadzór człowieka.
Jak praktycznie ocenia się VLM?
Użyj metryk takich jak dokładność wykrywania, liczba fałszywych alarmów na godzinę, precyzja, recall i zaoszczędzony czas na incydent. Testuj także na zestawach benchmarkowych i w scenariuszach rzeczywistych, aby uzyskać pełny obraz.
Gdzie mogę zobaczyć przykłady wdrożeń?
W praktycznych wdrożeniach sprawdź przykłady takie jak automatyczne wykrywanie wtargnięć na lotniskach, wykrywanie wałęsania się na lotniskach oraz przeszukiwanie kryminalistyczne na lotniskach. Ilustrują one, jak VLM-y usprawniają przepływy operacyjne.
