Rosyjscy inżynierowie opracowali i przetestowali drona, który wykrywa barszcz Sosnowskiego (Heracleum sosnowskyi) z powietrza i zaznacza go na zdjęciach w celu późniejszego zniszczenia. Testy wykazały, że dokładność oznaczania barszczu w ramkach wynosi 96,9 proc. Artykuł rozwojowy opublikowany w IEEE Transactions on Computers.

Barszcz Sosnowskiego jest jednym z najbardziej znanych i problematycznych gatunków inwazyjnych w Rosji (jednak rozprzestrzenił się również na Europę). Początkowo jego siedlisko ograniczało się do Kaukazu, ale po podjęciu decyzji o uprawie go w pozostałej części ZSRR w połowie XX wieku zaczął aktywnie rozprzestrzeniać się w nowym środowisku i rozprzestrzeniania się nie można opanować do teraz, kilkadziesiąt lat po zaprzestaniu upraw rolniczych, czy też dziwnych sowieckich eksperymentów.

Jednym z problemów w walce z barszczem jest jego żywotność i rozprowadzanie nasion na dużą skalę nawet z pojedynczych roślin. Z tego powodu, aby wykryć i zmapować zniszczenie tej rośliny, konieczne jest albo ręczne ominięcie pól i innych terytoriów, albo użycie samolotów. Większość satelitów nie daje wystarczająco wysokiej rozdzielczości, aby zidentyfikować pojedyncze rośliny.

Inżynierowie Skoltech, kierowani przez Andrieja Somowa, opracowali algorytm, który pozwala na użycie multikopterów do autonomicznego rozpoznawania barszczu Sosnowskiego w obszarze pod nimi. Jako platformę sprzętową wybrali quadkopter DJI Matrice 200 i komputer jednopłytkowy NVIDIA Jetson Nano ze stosunkowo mocnym akceleratorem wideo, który pozwala im działać bezpośrednio na urządzeniu sieci neuronowej.

Za poszukiwanie barszczu w ramkach z kamery drona odpowiedzialna jest konwolucyjna sieć neuronowa, która odbiera ramkę i przeprowadza semantyczną segmentację, zaznaczając obszary z barszczem. Twórcy wybrali trzy popularne konwolucyjne architektury sieci neuronowych, aby porównać ich wydajność w tym zadaniu,tj. U-Net, SegNet i RefineNet. Sami stworzyli zbiór danych, aby wytrenować algorytmy. W tym celu nakręcili wiele materiałów filmowych z drona w rejonie Moskwy, używając dwóch różnych dronów i jednej kamery akcji (przymocowanej do drona). W rezultacie otrzymali 263 obrazy i oznaczyli obszary z barszczem. Zestaw danych jest dostępny w serwisie GitHub.

Po przeszkoleniu sieci neuronowych autorzy przetestowali je na komputerze jednopłytkowym i stwierdzili, że działają z częstotliwością dziesiątych lub setnych części klatki na sekundę. Najlepszy wynik dała sieć oparta na U-Net - 0,7 klatek na sekundę. Najlepszą klasyfikację wykazała sieć oparta na SegNet z obszarem pod krzywą ROC (wspólna miara do oceny jakości klasyfikacji binarnej) równym 0,969.