Wywiady

Technologie poznawcze poprowadzą tramwaje? [WYWIAD]

Rosyjska spółka Cognitive Pilot należy do grupy Cognitive Technologies i jest pierwszym rosyjskim graczem na rynku pojazdów autonomicznych. Stworzyła wdrażany w różnych środkach transportu wieloplatformowy, autonomiczny system kontroli transportu naziemnego C-Pilot. Jurij Minkin, kierownik działu rozwoju pojazdów bezzałogowych podzielił się z nami szczegółami dotyczącymi tej technologii – testowanej już w tramwajach oraz opowiedział o działalności i prowadzonych projektach. 

Sieć neuronowa wyraźnie wykrywa obiekty sytuacji drogowej

Na początku zacznijmy może od firmy Cognitive Pilot. Nie jest ona znana w Polsce, a warto przybliżyć jej dynamiczną historię i główne sfery działalności. 

Obecnie Cognitive Pilot jest wiodącym na świecie producentem SI (sztucznej inteligencji) dla bezzałogowego transportu. Firma powstała w 1993 roku na bazie jednego z głównych instytutów potężnej radzieckiej i rosyjskiej szkoły sztucznej inteligencji, Instytutu Analizy Systemowej Rosyjskiej Akademii Nauk. Wielu z członków pierwszego zespołu naszych programistów posiadało doświadczenie w światowej klasy projektach. Na początku lat 90. naszym głównym produktem były systemy SI do rozpoznawania tekstu, jego analizy i przetwarzania obrazu. Wysoka jakość naszego oprogramowania, jak i umiejętność dobrej pracy z tekstami niskiej jakości, pozwoliły nam natychmiast podpisać umowy OEM i partnerskie z wiodącymi światowymi markami m.in.: HP, CorelCorp., Epson, Xerox, IBM i Oracle. Na początku XXI wieku sprzedaliśmy firmie Intel korpus mowy w języku rosyjskim – jest to główny zestaw narzędzi dla rosyjskiego systemu rozpoznawania mowy.

Około 2008 roku zajęliśmy się badaniami i rozwojem nowej wówczas dziedziny – tworzeniem sztucznej inteligencji do kierowania bezzałogowymi pojazdami. Na początku był to po prostu interesujący projekt, który nie wymagał specjalnych inwestycji. Do 2011 r. zgromadziliśmy całkiem interesujące doświadczenia. Nasi specjaliści stworzyli inteligentną maszynę, która jechała korytarzem i grała w piłkę nożną. Widziała piłkę, goniła i kopała ją.

Mniej więcej rok później uzyskaliśmy już bardzo dobre wyniki w zakresie dokładności rozpoznawania obiektów w sytuacji drogowej. Zaczęto nas zapraszać na prestiżowe konferencje, gdzie zostaliśmy dostrzeżeni przez producentów samochodów i firmy z branży. Kiedy na jedno ze spotkań ze znaną niemiecką marką przybyło około 30 czołowych przedstawicieli rynku, stało się dla nas jasne, że zabawa się skończyła i że stworzyliśmy naprawdę interesujący i konkurencyjny na światowym rynku produkt, na który jest popyt.

W ciągu ostatnich kilku lat nasze systemy zarządzania autonomicznym transportem otrzymały szereg nagród jako najlepsze rozwiązanie na świecie w tej dziedzinie od prestiżowych międzynarodowych publikacji i wpływowych zespołów ekspertów, takich jak Tech.AD Berlin czy Autonomous Vehicle Technology Magazine.

Pod koniec ubiegłego roku ogłosiliśmy podpisanie umowy z jedną z wiodących międzynarodowych instytucji finansowych, rosyjskim Sbierbankiem – największym bankiem w Rosji i Europie Środkowo-Wschodniej. Celem wspólnego projektu jest stworzenie międzynarodowego giganta w opracowaniu SI dla naziemnych dronów.

Pana zdaniem technologia autonomicznych pojazdów to przyszłość, przed którą nie ma ucieczki? Jak ocenia Pan potencjał rynku?

Dziś żyjemy w erze 4. rewolucji przemysłowej, której podstawą są w dużej mierze technologie SI. Niezależnie od tego, czy nam się to podoba, czy nie, proces ten obejmuje wszystkie dziedziny naszego życia i nie można go zatrzymać. Tak było w poprzednich etapach historii. Tak będzie też dalej. Trzeba zrozumieć, że systemy SI pojawiają się w naszym życiu, żeby było wygodniejsze, bardziej komfortowe i bezpieczniejsze. Szczególnie aktywnie SI wprowadzane jest w obszarach związanych z monotonną, rutynową pracą. Zapewne Państwo nie chcą, aby wasze dzieci zostały kierowcami wywrotek, kierowcami lokomotyw manewrowych lub taksówkarzami. Zawód maszynisty lokomotywy kolejowej na ogół umiera. Alarm z tego powodu rozbrzmiewa w strukturach branżowych na całym świecie. Z tej sytuacji może być tylko jedno wyjście – robotyzacja sterowania ruchem lokomotywy. Mówią o tym zarówno eksperci, jak i producenci.

Trzeba tutaj zaznaczyć, że systemy SI są dzielone na dwie kategorie Light i Life-critical. W pierwszej spotykają się wszelkiego rodzaju magicy, rozmawiają o inteligentnych asystentach, botach, bitcoinach, NLP itp. Towarzyszy temu wielki szum, jest wiele prawdziwego, ale jeszcze bardziej nierealnego. Jednak najważniejsze jest to, że jeśli coś pójdzie nie tak, nikt nie umrze. Na przykład z faktu, że bot nie tak doradzi. A w strefie Life-critical, w której znajduje się transport bezzałogowy, w mianowniku zawsze jest ludzkie życie. Dlatego głównym celem naszych prac jest bezpieczeństwo. Oprócz dokładności rozpoznawania i zrozumienia sytuacji na drodze inteligentny transport nie podlega stresom, nie kłóci się z żoną, nie pije, nie próbuje oszukiwać. Dzisiaj, według WHO, na drogach świata umiera około 1,25 miliona ludzi rocznie.

Na świecie mają miejsce dziesiątki wypadków na torach z ogromnymi konsekwencjami dla ludzi i infrastruktury. W samej Rosji w ubiegłym roku zginęło tam ponad 1500 osób. Wraz z pojawieniem się bezzałogowych pojazdów liczba ta zmniejszy się o rząd wielkości, praktycznie spadnie do zera. Nie będzie potrzeby wydawania dużych kwot na naprawę i odnawianie taboru i toru.

Segment sztucznej inteligencji dla bezzałogowego transportu jest obecnie jednym z najbardziej dynamicznie rozwijających się nowych rynków. Analitycy nawet nie zawsze zdążą z jego dokładnymi ocenami. Co więcej, wprowadzenie autopilotów na skalę przemysłową rozwija się nie tylko w transporcie samochodowym, w których wiele kwestii prawnych, legislacyjnych i innych nie zostało rozwiązanych, ale w innych obszarach: rolnictwie i transporcie szynowym. Według danych Research & Markets rynek bezzałogowego transportu szynowego w 2020 r. wyniesie ponad 7 miliardów dolarów i osiągnie 9,69 mld USD do 2023 r. z dynamiką 9,8%. Według danych Research & Markets rynek SI w rolnictwie wynosi dziś około 1 miliarda dolarów i osiągnie 4 miliardy dolarów do 2026 roku, z dynamiką 25,5%. Sytuacja pandemiczna tylko stymulowała rozwój tego kierunku. Samoizolacja krajów i terytoriów doprowadziła również do odpływu emigrantów – taniej siły roboczej i skłoniła rolników do bardziej aktywnego wykorzystania SI i bezzałogowych pojazdów.

Prace nad tymi projektami toczą się na całym świecie i można je porównać do swoistego wyścigu. W jakim stopniu zaawansowania, w porównaniu z innymi, jest Pana firma? Jaka jest strategia firmy?

Dzisiaj, gdy rynek nie został jeszcze utworzony, każdy z jego uczestników, który stworzył najwyższej jakości i praktyczne rozwiązanie SI, może trafić w dziesiątkę. Mamy własną przewagę konkurencyjną. Nasz autopilot działa przy każdej pogodzie. W przeciwieństwie do wielu programistów, którzy zaprojektowali swoje systemy sterowania w komfortowych warunkach w Kalifornii i jej sąsiedztwie.  Początkowo zbieraliśmy zestawy danych i szkoliliśmy nasze neurony w rosyjskich realiach: w deszczu, śniegu, we mgle, nocą na drogach bez oznakowania, rowach itp. Byliśmy w stanie osiągnąć bardzo wysokie, przemysłowe wskaźniki dokładności rozpoznawania obiektów sytuacji drogowej. Ponadto, opracowując autopilota, stworzyliśmy szereg rozwiązań, które pozwoliły nam zostać liderami. Na przykład technologia Cognitive Low Level Data Fusion, która umożliwia „mózgowi” drona, tak jak ma to miejsce u ludzi – na niższym poziomie, połączyć dane z różnych sensorów. W szczególności pozwala to systemowi wykonywać funkcję kompensacyjną, opierać się na danych jednego sensora, jeśli niewyraźna informacja pochodzi z innego.

Na przykład w momencie oślepienia kamery przez słońce informacja o sytuacji drogowej jest pobierana z radarów. Byliśmy w stanie się tutaj poruszać dzięki całkowitej dokładności detekcji wielu programistów, którzy próbowali rozwiązać ten problem na najwyższym poziomie. Nauczyliśmy się również dość dokładnie rozumieć i przewidywać rozwój sytuacji na drodze. Podeszliśmy nawet do modelowania takich procesów myślowych jak intuicja. Poczyniliśmy również wielki postęp w tworzeniu sensorów, opracowaliśmy rewolucyjny radar 4D, w rzeczywistości jest to trzecie oko drona. Urządzenie jest w stanie w każdą pogodę nie tylko określić współrzędne i prędkość obiektów sytuacji drogowej, ale także ich kształt, podobnie jak kamera wideo. To pierwszy przemysłowy sensor na takim poziomie. Teraz rozpoczęliśmy już jego pilotażową produkcję w Rosji, w Tomsku.

W naszym modelu widzenia komputerowego nie używamy lidarów, które są zawodne i ulegają degradacji w warunkach deszczu, śniegu, mgły lub pyłu. Ponadto są one zbyt drogie. Preferujemy połączenie radaru z kamerą. Dlatego nasz Cognitive Pilot ma również zalety pod względem ceny.

Czy może nam Pan opowiedzieć więcej o projekcie C-Pilot? Jakie rozwiązania obejmuje w zakresie miejskiego transportu szynowego? Co wyróżnia go w dziedzinie autonomicznych systemów kierowania?

W sferze miejskiego transportu szynowego opracowujemy autopiloty do tramwajów. Nasze rozwiązania mogą być również stosowane w metrze, pociągach elektrycznych, a także mieć inne zastosowania. W przeciwieństwie do wielu znanych projektów realizowanych w zamkniętych obszarach miejskich (metro, lotniska itp.), które z reguły nie wykorzystują wizji komputerowej jako podstawy kierowania, my przeciwnie, polegamy na SI. Kiedy wszystkie parametry trasy są znane z góry, wykluczona jest możliwość przedostania się człowieka lub innych obiektów, a jednocześnie prawdopodobieństwo wystąpienia sytuacji awaryjnych jest zminimalizowane. Jeśli wcześniej znana jest sztywna i ustalona lokalizacja strzałek i sygnalizacji świetlnej, a informacja z nich na pokładzie tramwaju lub pociągu przechodzi przez systemy łączności, zadanie stworzenia autonomicznego systemu sterowania jest kilkukrotnie uproszczone w porównaniu z autopilotem opartym na SI. W rzeczywistych warunkach organizacja bezzałogowej kontroli ruchu szynowego nie jest możliwa bez użycia wizji komputerowej. To jest zupełnie inny poziom trudności.

Kiedy testowaliśmy nasz prototypowy bezzałogowy tramwaj na ulicach Moskwy, byłem zdumiony, jak stresujące są sytuacje drogowe. Przed tramwajem od czasu do czasu próbowały się prześlizgnąć starsze panie z torbami na zakupy, mogli wpaść pod koła zagapieni studenci w słuchawkach, rozmawiający przez telefon, na trasę wjeżdżali rowerzyści i lekcje nauki jazdy.

Nasz autonomiczny system sterowania Cognitive Tram Pilot zapewnia wykrywanie obiektów na drodze: pojazdów, sygnalizacji świetlnej, pieszych, przystanków, strzałek i ich położenia, przeszkód na drodze, włączając zatrzymywanie się przed nimi i wznowienie ruchu po usunięciu przeszkody. Ponadto utrzymuje bezpieczną odległość od pojazdu z przodu, zapewnia płynne przyspieszenie i zatrzymanie się, kontrolę prędkości podczas jazdy i inne funkcje. Nasze rozwiązania działają w każdych warunkach pogodowych, zapewniając bezpieczeństwo ruchu.

W skład programowo-aparaturowego oprzyrządowania Cognitive Tram Pilot wchodzi: komputerowy system wizyjny, zestaw sensorów, który zależy od konkretnego zadania, typu wagonu i szeregu innych czynników – może zawierać od 10 do 20 kamer rozmieszczonych wzdłuż obwodu tramwaju oraz do 10 radarów. Możliwe jest również zainstalowanie czujników GPS na pokładzie tramwaju. Ponadto wzdłuż trasy przemieszczania się stosowana jest precyzyjna kartografia.

Pana firma przeprowadziła już testy tramwaju z wykorzystaniem systemów wsparcia motorniczego. Jak wypadły? Na jakim modelu tramwaju zostały przeprowadzone?

W 2019 roku wspólnie z naszymi partnerami, firmą „PC Transport Systems”, ogłosiliśmy realizację projektu stworzenia bezzałogowego tramwaju na rynek rosyjski i zagraniczny w Moskwie.

Testy autopilota trwają w zamkniętym obszarze. Fotel kierowcy jest pusty.

Na pierwszym etapie projektu nasz inteligentny system sterowania Cognitive Tram Pilot wypełnia rolę aktywnego asystenta motorniczego tramwaju w niebezpiecznych sytuacjach. Przejmuje kontrolę, gdy motorniczy nie reaguje na nie odpowiednio, a także kontroluje ograniczenie prędkości.

Początkowo testowaliśmy autopilota w zamkniętych obszarach (fabryka/magazyn/plac przed magazynem). Nasz tramwaj umie poruszać się po trasie, zatrzymywać się na przystankach i otwierać drzwi, przepuszczać pieszych, samochody i zatrzymywać się przed przeszkodami. Jednocześnie opracowaliśmy asystenta motorniczego, który był już testowany w warunkach miejskich. Asystent składa się z dwóch głównych podsystemów. Ograniczenie prędkości: pilnuje tego, żeby ​​motorniczy nie przekraczał prędkości (na przykład, zgodnie z zasadami technicznej eksploatacji tramwajów, na mostach nie można jechać szybciej niż 20 km/h, a w tunelach – 10 km/h, strzałki należy mijać z prędkością 5 km/h itd.). Drugim jest automatyczne hamowanie, pilnuje tego, żeby motorniczy nikogo nie zmiażdżył: zwalnia (aż do całkowitego zatrzymania) przed zagrożeniami na drodze, czerwonymi światłami, zamykanymi strzałkami. Przy tym kierowanie tramwajem odbywa się wspólnie z motorniczym. To pozwoliło nam sprawnie przetestować różne części drona w coraz bardziej trudnych warunkach.

Wagon „Vityaz-M” podczas testów w Moskwie

Wreszcie, jesteśmy obecnie w trakcie testowania na „żywej” trasie. W ramach testów systemu asystującego jeździmy obecnie prawdziwą trasą (linia nr 17, Ostankino – Medvedkovo), ale nasz tramwaj nie zabiera pasażerów na przystankach i często się na nich nie zatrzymuje. Nie widać tego z daleka i nikt nie czyta napisu „Objazd”, szczególnie w miejscach, w których istnieje jedyna 17. linia. Dlatego często ludzie, zakładając, że będziemy stać na przystanku, śmiało idą nam naprzeciw.

Do pracy wykorzystywany jest nowoczesny, innowacyjny tramwaj produkowany przez „PC Transport Systems” modelu „Vityaz-M” lub jeszcze nowsza wersja „Lew”.

Jak wyglądają dalsze plany związane z autonomicznym tramwajem? 

Planujemy aktywnie promować nasze rozwiązania zarówno na rynku krajowym, jak i międzynarodowym. Priorytetem jest Europa i centra azjatyckie.

Kiedy i gdzie Pana zdaniem technologia ta zostanie wykorzystana w tramwajach, a może zastąpi motorniczych?

System może być wykorzystywany już teraz. Jeśli w kabinie znajduje się człowiek, on jest odpowiedzialny za sytuację na drodze. Inteligentny system będzie jego niezawodnym asystentem w trudnych sytuacjach. To znacznie poprawi bezpieczeństwo ruchu. Aby uzyskać dostęp do całkowicie bezzałogowych tramwajów bez motorniczego na drogach publicznych, trzeba jeszcze rozwiązać kwestie prawne i legislacyjne. Kto i w jakich przypadkach jest odpowiedzialny za wypadek? Jak rozwiązywać problemy z ubezpieczeniem itp. To zajmie ekspertom około 10 lat. Z punktu widzenia rozwoju technologii nie mamy poważnych problemów. Nie można zapominać, że tramwaj jest transportem publicznym, a miara odpowiedzialności za jego bezpieczeństwo powinna być odpowiednia. Nawiasem mówiąc, w odniesieniu do braku motorniczego nie należy zapominać o czysto psychologicznym aspekcie, gdy pasażerowie wsiadają do wagonu i nikogo nie ma w kabinie. Jak przygotowane jest nasze społeczeństwo na taką sytuację? Dlatego w nadchodzących latach obecność człowieka będzie obowiązkowa.

Pana firma nawiązała współpracę z Hyundai, który także produkuje tramwaje. Czy wspólne przedsięwzięcia obejmują te pojazdy?

Opracowaliśmy komputerowy system wizyjny dla dostawcy komponentów samochodowych pierwszego stopnia Hyundai Mobis. Z powodu wspólnych projektów w innych obszarach możemy ujawniać wyłącznie informację uzgodnioną z naszymi partnerami.

Zajmijmy się bieżącymi działaniami. Konsorcjum złożone ze spółki Shanghai Fuxin Intelligent Transportation Solutions Corp oraz Cognitive Pilot ma opracować oparty na sztucznej inteligencji „komputerowy system wizyjny” dla tramwajów w Szanghaju. Jakie są plany związane z tym projektem?

Miesiąc temu ogłosiliśmy umowę z FITSCO, jednym z największych operatorów infrastruktury szynowej w Chinach, w celu stworzenia systemu SI dla programowo-aparaturowego oprzyrządowania „Mądry tramwaj” do masowego wykorzystania w miejskiej sieci transportowej w Szanghaju.
W trybie automatycznym tramwaj wykryje otaczające go pojazdy, sygnalizację świetlną, pieszych, przystanki, strzałki i ich położenie, a także wszystkie inne przeszkody na drodze. Ponadto tramwaj, podobnie jak w projekcie moskiewskim, zachowa bezpieczną odległość od poprzedzającego go pojazdu, zapewni płynne przyspieszenie i zatrzymanie się. Oczekujemy, że nowa technologia zmniejszy liczbę wypadków w Szanghaju i zminimalizuje ich zależność od czynnika ludzkiego.

Praca sieci neuronowych do wykrywania obiektów sytuacji szynowej

Projekt jest realizowany w trzech głównych etapach: prowadzenie badań i rozwoju, testowanie i dostosowanie systemu do dróg publicznych w Szanghaju, komercjalizacja i skalowanie systemu do innych miast i prowincji Chin. Zadanie techniczne zajmuje około 15 miesięcy na wszystkich etapach. Oczekujemy, że pierwszym rezultatem będzie stworzenie skutecznego systemu wspomagania motorniczego z elementami SI (ADAS). W przypadku braku właściwej reakcji ze strony motorniczego tramwaj automatycznie zmniejszy prędkość i zahamuje przed przeszkodami.

Podczas wszystkich nadchodzących testów motorniczy nadal będzie w kabinie i będzie działał jako kontroler bezpieczeństwa. Mamy nadzieję, że jeśli odniesiemy sukces, będziemy nadal zwiększać poziom SI autopilota tramwaju, a w najbliższej przyszłości będziemy w stanie wypuścić jego całkowicie bezzałogowy prototyp.

W jakie rynki celuje Pana firma? Czy bierze Pan pod uwagę nawiązanie współpracy z innymi producentami tramwajów np. w Europie Zachodniej lub Polsce?

Tak, aktywnie się tym zajmujemy. Rynki europejskie, w tym polski, znajdują się na naszej liście priorytetów.

Rozmawialiśmy o tramwajach, ale technologie opracowane przez Pana firmę są również wykorzystywane w innych obszarach. Jakie są przyszłe plany Cognitive Pilot?

Tworzymy i promujemy nasze rozwiązania do prowadzenia bezzałogowych pojazdów na rynku rosyjskim i światowym w zastosowaniach dla rolnictwa, transportu szynowego i drogowego. Obecnie pierwsze dwa kierunki są naszym priorytetem, ponieważ są bardziej interesujące, opłacalne i rentowne. Dotyczy to zarówno modeli prawnych, jak i ekonomicznych. W przypadku przemysłowego wykorzystania autopilotów w tych segmentach nie trzeba czekać na decyzję prawodawców.

Stworzony przez nas Cognitive Rail Pilot dla branży szynowej spełnia 3-poziomową autonomię i został przetestowany. System zapewnia bezpieczną pracę w trudnych warunkach pogodowych i klimatycznych oraz w każdym świetle. Nawiasem mówiąc, jak pokazały dyskusje na ostatnim berlińskim InnoTrans, problemy te wciąż stanowią problem dla wielu zagranicznych zespołów.

Rozwiązując problem stworzenia autopilota dla kolei, eksperymentowaliśmy z jednym dużym przedsiębiorstwem metalurgicznym posiadającym duży tabor spalinowych lokomotyw manewrowych, używanych do dostarczania surowców do warsztatów i wysyłania produktów na kolej. Ponadto z naszych rozwiązań korzysta wiodąca rosyjska firma kolejowa „Rosyjskie Koleje RŻD” sp. z o.o. W ubiegłym roku zostały one przedstawione kierownictwu korporacji i otrzymały wysokie noty. Zgodnie z umową system jest zainstalowany na 10 lokomotywach manewrowych.

Jeśli chodzi o rolnictwo, oprócz Rosji nasz bezzałogowy system kontroli maszyn rolniczych Cognitive Agro Pilot jest obecnie sprzedawany w Europie, USA, Ameryce Łacińskiej, Chinach i innych krajach. Może być instalowany na kombajnach, traktorach, opryskiwaczach i innych maszynach rolniczych. System analizuje przychodzące obrazy z tylko jednej kamery wideo.

Cognitive Agro Pilot zapewnia bezpieczną pracę w trudnych warunkach pogodowych i przy dowolnym świetle. Co ważne, system „widzący” nie wykorzystuje nawigacji GPS jako podstawy modelu sterowania. Umożliwia wykrywanie nieoczekiwanych przeszkód na drodze maszyny, w tym ludzi, zwierząt, przedmiotów metalowych i kamieni, a także pracę w obszarach o słabym zasięgu sygnału satelitarnego. To nasza przewaga konkurencyjna. Systemy GPS są „ślepe”, a ryzyko wypadków z nimi związanych jest znacznie wyższe.

Jeśli chodzi o nasze plany, powiedziałem już, że celem Cognitive Pilot jest stworzenie międzynarodowego giganta w dziedzinie rozwoju sztucznej inteligencji dla naziemnych dronów. Oczekujemy, że osiągniemy 4-5 miliardów dolarów kapitalizacji w ciągu najbliższych trzech lat.

Materiały Cognitive Pilot