Detekcja obiektów w systemach metra: wyzwania i zakres
Pozostawione przedmioty na zatłoczonych stacjach metra stanowią zagrożenie dla bezpieczeństwa i usług. Na przykład torba osobista pozostawiona na peronie może blokować przepływ pasażerów, opóźniać pociągi i wywoływać ewakuacje. Ponadto bez opieki pozostawione torby czasami zawierają niebezpieczne materiały, dlatego szybkie powiadamianie ma znaczenie dla bezpieczeństwa pasażerów. Również zatłoczone perony zmieniają sposób poruszania się ludzi. W związku z tym operatorzy muszą oszacować liczbę pozostawionych przedmiotów i reagować szybko.
Ręczne monitorowanie polega na operatorach, którzy oglądają CCTV i zgłaszają obserwacje. Jednak ludzka uwaga zanika, a zmęczenie związane ze zmianami zmniejsza czujność. Ponadto ręczny przegląd nie skaluje się, gdy duże liczby pasażerów zalewają węzeł komunikacyjny w godzinach szczytu. Na przykład w zatłoczonych systemach metra zespoły ludzkie mogą przegapić krótkotrwałe zdarzenia, gdy przepływ pasażerów gwałtownie rośnie. Dlatego automatyczna detekcja może wypełnić luki w pokryciu i skrócić czas oczekiwania na reakcję na incydent.
Automatyczna detekcja oferuje szybkość i spójne pokrycie. Na przykład systemy automatyczne mogą zgłaszać obecność obcych przedmiotów, śledzić ruch przedmiotu i powiadamiać operatorów w ciągu kilku sekund. Ponadto systemy automatyczne pozwalają menedżerom metra policzyć liczbę pasażerów w pobliżu zdarzenia. W konsekwencji personel może kierować ratowników wydajniej. Również narzędzia automatyczne pomagają przy pobieraniu opłat i kontroli tłumu na peronie, przekazując dane o zdarzeniach do pulpitów operacyjnych.
Badacze ocenili poziom dojrzałości technologicznej (TRL) dla narzędzi do wykrywania pozostawionych przedmiotów i podkreślili kroki od laboratoriów do wdrożeń. Przegląd zauważa „Automatic unattended object detection is not only a security imperative but also a critical enabler for the future of smart urban transit systems” (źródło). Dla kontekstu niektóre zespoły łączą wideo i dane śledzenia pociągów, aby modelować incydenty pozostawienia przedmiotów przy użyciu estymacji największej wiarygodności i aby oszacować parametry modelu dla planowania reakcji specyficznej dla stacji (źródło). Tymczasem operatorzy, którzy chcą praktycznego wdrożenia, powinni testować na istniejących źródłach danych i konfiguracjach z jednym źródłem danych przed skalowaniem do dwóch źródeł dla redundancji. Ponadto Visionplatform.ai konwertuje istniejące CCTV w sieć czujników na żywo, dzięki czemu zespoły mogą liczyć liczbę pasażerów i tworzyć zliczenia pasażerów z wideo bez uzależnienia od jednego dostawcy.
ai object detection techniques: deep learning for left-behind objects
Głębokie splotowe sieci neuronowe napędzają współczesną detekcję obiektów. Po pierwsze, DCNN uczą się cech przestrzennych z obrazów, a następnie klasyfikują regiony na klasy obiektów. Następnie pipeline’y treningowe wymagają opatrzonych etykietami klatek, zestawów walidacyjnych i strojenia hiperparametrów. Na przykład zespoły oznaczają torby, walizki i pozy ludzi, aby pomóc modelowi odróżnić obcy przedmiot od rutynowego bagażu. Ponadto augmentacja powiększa małe zbiory danych poprzez obracanie, kadrowanie i zmianę jasności. W konsekwencji model uczy się radzić sobie ze zmianami oświetlenia i różnymi kątami kamery.
Popularne rodziny modeli obejmują YOLO i SSD. Również detektory dwuetapowe, takie jak Faster R-CNN, pozostają użyteczne w zadaniach wymagających wysokiej precyzji. Przy wdrożeniach inżynierowie balansują szybkość i dokładność. Na przykład warianty YOLO oddają nieco precyzji w zamian za bardzo niskie opóźnienia, co odpowiada potrzebom detekcji w czasie rzeczywistym w metrze. W praktyce TRL wielu algorytmów detekcji obiektów wzrósł i niektóre nadają się do produkcji. Badania systemów wykrywania i śledzenia ludzi pozostawionych przy pomocy wizji plus fuzji radarowej pokazują, że można zwiększyć niezawodność w zatłoczonych scenach (źródło).
Trening wymaga ostrożności przy parametrach modelu. Zespoły muszą też unikać przeuczenia do jednego układu stacji. Dlatego walidacja między stacjami ma znaczenie. Ponadto transfer learning zmniejsza potrzebę ogromnych zestawów oznaczonych danych. Na przykład wstępnie wytrenowane sieci przyspieszają zbieżność i obniżają wymagania obliczeniowe. Dodatkowo zespoły stroją progi i implementują algorytm detekcji, który uwzględnia trwałość czasową. Dzięki temu system ogranicza fałszywe alarmy, gdy upuszczony przedmiot jest tylko chwilowy. W końcu systemy głębokiego uczenia wykazują mierzalne zyski: DCNN oparte na wizji mogą zmniejszyć ręczny przegląd i poprawić wydajność detekcji w porównaniu z klasycznymi metodami cechowymi (źródło). Visionplatform.ai wspiera elastyczne strategie modelowe, dzięki czemu operatorzy mogą wybierać, dostosowywać lub budować proponowany model na własnych danych przy jednoczesnym zachowaniu przetwarzania lokalnie lub na brzegu w celu zgodności i szybkości.
AI vision within minutes?
With our no-code platform you can just focus on your data, we’ll do the rest
video feed and data collection: setting up real-time surveillance
Umiejscowienie kamer kształtuje skuteczność detekcji. Po pierwsze, montuj kamery tak, aby obejmowały krawędzie peronów, schody i hale z nakładającymi się polami widzenia. Następnie wybierz rozdzielczość i liczbę klatek na sekundę dopasowaną do potrzeb zadania. Na przykład strumień 1080p przy 15–25 klatkach/s często równoważy szczegółowość i przepustowość. Również na niektórych obiektach stosuje się wyższe częstotliwości klatek tam, gdzie ruch obiektów jest szybki. Ponadto ustawienia kompresji obrazu muszą zachować szczegóły dla detekcji małych obiektów przy jednoczesnym utrzymaniu zarządzalnego miejsca na dysku.
Projekt sieci musi unikać wąskich gardeł. Dlatego inżynierowie planują VLANy, QoS i dedykowane łącza dla wideo w czasie rzeczywistym. Co więcej, przetwarzanie na brzegu pomaga. Na przykład uruchamianie modeli na urządzeniach klasy NVIDIA Jetson zmniejsza obciążenie sieci i obniża opóźnienia. Również Visionplatform.ai może wdrażać na serwerach GPU lub urządzeniach brzegowych i strumieniować zdarzenia przez MQTT, dzięki czemu systemy operacyjne otrzymują ustrukturyzowane zdarzenia zamiast surowego wideo.
Oznaczanie i praca z zestawami danych ma znaczenie. Najpierw zespoły definiują klasy i zasady adnotacji. Następnie anotatorzy oznaczają ramki ograniczające, stany obiektów i etykiety czasowe określające status pozostawienia. Do treningu zebrane dane powinny zawierać wariacje oświetlenia, zasłonięć i gęstości tłumu. Dodatkowo augmentacja symuluje złe warunki. Prywatność jest priorytetem. Dlatego stosuj rozmywanie lub anonimizację twarzy podczas zbierania i analizy danych. Również przechowuj dane lokalnie, aby wspierać zgodność z RODO i Aktem o sztucznej inteligencji UE, gdy jest to potrzebne.
Ciągłe przechowywanie strumieni wideo rodzi pytania o miejsce i cykl życia danych. Na przykład polityki długiego przechowywania wysokiej rozdzielczości mogą wymagać wielu petabajtów. Dlatego wdroż automatyczne warstwy przechowywania i usuwanie. Następnie zintegruj z VMS, aby system ponownie wykorzystywał istniejące archiwa do ponownego trenowania modeli. Wreszcie, połącz wideo z innymi typami danych, takimi jak czasy przyjazdów i odjazdów czy śledzenie pociągów, aby wzbogacić etykiety i oszacować prawdopodobieństwo pozostawienia pasażerów przy zamykaniu drzwi.
algorithm design to detect foreign object and unattended luggage
Projektowanie skutecznego algorytmu detekcji zaczyna się od modelowania tła. Najpierw oblicz dynamiczny model tła i odejmij go, aby znaleźć kandydatów na obiekty pierwszoplanowe. Następnie zastosuj operacje morfologiczne i filtry wielkości, aby wykluczyć małe, nieistotne artefakty. Równocześnie uruchom model rozpoznawania obiektów na kandydatach, aby sklasyfikować torby, walizki lub przedmioty trzymane przez ludzi. Dodatkowo śledzenie przez kolejne ramki ustala trwałość. Na przykład, jeśli przedmiot pozostaje nieruchomy przez skonfigurowany czas oczekiwania, system oznacza go jako pozostawiony.
Ustawienia progów wpływają na liczbę fałszywych alarmów. Dlatego kalibruj progi dla każdej kamery i typu obszaru. Na przykład progi dotyczące trwałości czasowej, minimalnej powierzchni i bliskości krawędzi peronu regulują czułość. Visionplatform.ai wspiera kalibrację lokalną, dzięki czemu zespoły mogą dostosowywać parametry na miejscu. Następnie warstwy wykrywania anomalii mogą wychwytywać nietypowy ruch obiektów lub nagłe pojawienie się w strefach zabronionych. W konsekwencji łączenie logiki opartej na regułach z modelami uczonymi zmniejsza liczbę fałszywych alertów.
Radzenie sobie z zasłonięciami i detekcją małych obiektów wymaga strategii wieloskalowych. Najpierw zastosuj piramidy cech w rdzeniu sieci neuronowej, aby zachować wysokorozdzielcze wskazówki. Następnie wykorzystaj kontekst czasowy, aby częściowo zasłonięta torba widoczna na kilku ramach nadal wywołała detekcję. Dodatkowo fuzja wielokamerowa pomaga. Na przykład kamery z nakładającymi się widokami dają różne perspektywy do rozstrzygnięcia zasłonięć. Również fuzja z radarem mikrofalowym może wykryć objętość obiektu nawet gdy widok z kamery jest zablokowany, co poprawia niezawodność w zatłoczonych scenach (źródło).
W końcu redukcja fałszywych alarmów korzysta z post-processingu i sprzężenia zwrotnego od operatorów. Na przykład pozwól operatorom potwierdzać alerty; następnie wprowadź te potwierdzenia do procesu ponownego trenowania modelu. Również okresowe przeglądy pomagają dostosowywać parametry modelu i poprawiać dokładność detekcji w różnych układach stacji. Te kroki pomagają systemowi detekcji pozostać odpornym w miarę zmian w przepływie pasażerów i układach peronów.
AI vision within minutes?
With our no-code platform you can just focus on your data, we’ll do the rest
detection system architecture: integrating automated detection in metros
Wybory architektoniczne kształtują opóźnienia, koszty i odporność. Najpierw projektanci muszą zdecydować między brzegiem a chmurą. Wdrożenie na brzegu obniża opóźnienia i zachowuje dane lokalnie, podczas gdy chmura może centralizować aktualizacje modeli. Dla operacji metra niskie opóźnienia mają znaczenie dla alertów bezpieczeństwa. Dlatego wielu operatorów uruchamia inferencję na brzegu. Ponadto Visionplatform.ai umożliwia przetwarzanie lokalne lub na brzegu z integracjami z wiodącymi platformami VMS, dzięki czemu operatorzy zachowują kontrolę i spełniają cele zgodności UE.
Fuzja sensorów zwiększa niezawodność. Na przykład łączenie strumieni kamer z radarem mikrofalowym pozwala systemowi weryfikować obecność obiektów nawet przy słabym oświetleniu. Również dane śledzenia pociągów oraz czasy przyjazdów i odjazdów pomagają korelować pozostawione przedmioty z zamknięciem drzwi i liczbą pasażerów. Następnie zintegruj zdarzenia wykrywane automatycznie ze stosem operacyjnym. Na przykład strumieniuj ustrukturyzowane zdarzenia przez MQTT do pulpitów, systemów zarządzania incydentami i SCADA, aby zespoły reagowały szybciej.
Urządzenia brzegowe muszą spełniać wymagania obliczeniowe i sieciowe. Dlatego planuj serwery GPU lub specjalizowane akceleratory w zależności od gęstości kamer. Również zabezpieczaj modele na urządzeniach i stosuj wersjonowanie. Dodatkowo wdroż redundantne magazyny i mechanizmy przejęcia w krytycznych lokalizacjach. Dla optymalizacji pasma wysyłaj do centralnych serwerów tylko metadane zdarzeń, a pełne nagrania trzymaj lokalnie w archiwach VMS, gdy zajdzie taka potrzeba. Ten schemat zmniejsza transfer ciągłych strumieni wideo i wspiera skalowalne wdrażanie w sieci metra.
Ścieżki powiadomień powinny być proste i prowadzące. Najpierw system detekcji wysyła stopniowane alerty do personelu na zmianie. Następnie operatorzy otrzymują kontekst, taki jak ID kamery, klasa obiektu, klatki z znacznikiem czasu i sugerowana reakcja. Kolejno zintegruj z grafikami dyżurów i drzewami eskalacji, aby alerty trafiały do właściwego ratownika. Również pozwól operatorom na adnotowanie alertów, aby zasilać trening modeli. W końcu szkol operatorów w obsłudze fałszywych alarmów, aby utrzymać wysoką jakość detekcji. Dla praktycznych wskazówek dotyczących zastosowań kolejowych i integracji zobacz strony dotyczące platformy zarządzania tłumem z kamerami i wykrywania porzuconego bagażu na stacjach platforma zarządzania tłumem z kamerami i wykrywanie porzuconego bagażu na stacjach.
performance evaluation and future upgrades for metro detection system
Zdefiniuj metryki przed pilotażem. Najpierw precyzja i czułość (precision i recall) mierzą poprawność i pokrycie. Następnie opóźnienie odzwierciedla, jak szybko alert trafia do operatora. Również śledź oszczędności pracy porównując godziny ręcznego przeglądu przed i po wdrożeniu. Na przykład monitoring oparty na DCNN z wizji zmniejszył obciążenie przeglądem ręcznym nawet o 70% w scenariuszach testowych, jednocześnie utrzymując lub podnosząc skuteczność detekcji (źródło).
Piloty w rzeczywistych warunkach dostarczają praktycznych danych. Na przykład niektóre wdrożenia łączą zliczenia z kamer z danymi śledzenia pociągów i modelami przepływu pasażerów, aby oszacować liczbę pasażerów pozostawionych w godzinach szczytu. Ponadto proponowany model może używać estymacji największej wiarygodności do skalibrowania prawdopodobieństwa pozostawienia pasażerów przy zamykaniu drzwi. Więcej na temat modelowania ryzyka pozostawienia pasażerów i estymacji znajdziesz w badaniach, które wnioskują o pasażerach pozostawionych w zatłoczonych sieciach (źródło). Systemy w miastach, takich jak metro w Pekinie, testowały analitykę tłumu i wykrywanie pozostawionych przedmiotów, aby dostroić operacje.
Mierz ROI uwzględniając unikanie incydentów, zmniejszenie opóźnień i niższe zatrudnienie ręczne. Również uwzględnij poprawę doświadczenia pasażerów, gdy czas oczekiwania spada, a zmienność czasu podróży maleje. Ponadto przyszłe ulepszenia będą dodawać bogatsze sensory. Na przykład dodanie warstw radaru i sensorów środowiskowych zwiększa odporność na zasłonięcia i ciemność (źródło). Następnie zespoły będą wykorzystywać federacyjne uczenie, aby utrzymać adaptacyjność modeli w różnych stacjach przy jednoczesnej ochronie prywatności.
Wreszcie planuj iteracyjne aktualizacje. Najpierw zbieraj dane zgromadzone podczas pracy w trybie live do ponownego trenowania. Następnie udoskonal parametry modelu i trenuj ponownie na danych specyficznych dla danej stacji. Również testuj zaawansowane metody detekcji małych obiektów i nowe funkcje straty, aby poprawić wykrywanie kompaktowych przedmiotów obcych. Dodatkowo integruj z operacjami stacji, aby automatycznie sugerować przekierowania na podstawie liczby pasażerów i wzorców wyboru trasy. Visionplatform.ai pomaga menedżerom metra wdrażać rozwiązania na istniejącym VMS, trzymać modele lokalnie i przesyłać działające zdarzenia, dzięki czemu perony przechodzą od pasywnych kamer do aktywnych czujników, które skracają czas oczekiwania i wspierają bezpieczniejszy, bardziej efektywny transport publiczny.
FAQ
What is left-behind object detection in metro environments?
Wykrywanie pozostawionych przedmiotów w środowisku metra wykorzystuje kamery i modele do znajdowania bez opieki pozostawionych rzeczy na peronach i w holach. Łączy śledzenie, klasyfikację i logikę czasową, aby zdecydować, kiedy przedmiot staje się pozostawiony i wymaga uwagi.
How does AI improve detection versus human monitoring?
Sztuczna inteligencja działa ciągle i utrzymuje stałą czułość podczas zmian, dzięki czemu wykrywa krótkotrwałe zdarzenia, które ludzie mogą przeoczyć. Ponadto AI integruje się z narzędziami operacyjnymi, aby skrócić czas reakcji i wysyłać ustrukturyzowane alerty.
Which models work best for real-time alerts in stations?
Modele takie jak YOLO i SSD oferują niskie opóźnienia i dobrą przepustowość dla detekcji w czasie rzeczywistym. Dla przeglądu o wysokiej precyzji detektory dwuetapowe, takie jak Faster R-CNN, można uruchamiać równolegle na próbkujących klatkach.
How do systems handle privacy and compliance?
Wdrażanie lokalne i anonimizacja twarzy w danych treningowych chronią prywatność i pomagają spełniać wymagania Aktu o sztucznej inteligencji UE. Dodatkowo trzymanie wideo lokalnie i przesyłanie jedynie zdarzeń zmniejsza ryzyko ujawnienia danych.
Can the system count passengers and help with crowd control?
Tak. Systemy mogą liczyć liczbę pasażerów i generować zliczenia pasażerów z wideo, aby zasilać narzędzia do zarządzania tłumem. Te dane pomagają oszacować czas oczekiwania i informują decyzje o trasowaniu lub otwieraniu peronów.
What role does sensor fusion play?
Fuzja sensorów łączy wideo z radarem lub danymi śledzenia pociągów, aby potwierdzić obecność obcego przedmiotu nawet przy słabej widoczności. Fuzja poprawia odporność, szczególnie w zatłoczonych lub zasłoniętych scenach.
How do operators reduce false positives?
Zespoły dostrajają progi, używają reguł trwałości czasowej i angażują pętle sprzężenia zwrotnego operatorów do ponownego trenowania modeli. Ponadto łączenie klasyfikatorów uczonych z filtrami opartymi na regułach redukuje uciążliwe alerty.
What metrics should metro managers track?
Śledź precyzję, czułość, opóźnienie i oszczędności pracy, aby zrozumieć skuteczność. Monitoruj też czas reakcji na incydenty oraz zmiany w czasie podróży lub czasie oczekiwania jako wyniki operacyjne.
Are there examples of cities testing these systems?
Miasta i badania odwołują się do prób w metrze w Pekinie oraz studiów przypadków w innych większych sieciach. Badania nad TRL wykrywania pozostawionych przedmiotów i wyniki pilotażowe dostarczają wskazówek do etapowego wdrażania (źródło).
How can Visionplatform.ai help deploy a detection system?
Visionplatform.ai konwertuje istniejące CCTV w operacyjną sieć czujników i uruchamia modele lokalnie lub na brzegu. Ponadto integruje się z VMS i strumieniuje zdarzenia, dzięki czemu stacje mogą natychmiast reagować na detekcje, zachowując jednocześnie dane i modele pod kontrolą operatora.
