Autor: Oluwapelumi Bankole, badacz systemów informacyjnych i cyberbezpieczeństwa, University of Nevada, Las Vegas
Każdego ranka miliony Amerykanów budzą się w domach pełnych podłączonych urządzeń. Termostat wie, kiedy wychodzisz. Kamera w dzwonku do drzwi obserwuje twoją ulicę. Szpital dalej w drodze obsługuje pompy infuzyjne, monitory pacjentów i systemy HVAC, które komunikują się przez tę samą kategorię sieci co twoja inteligentna lodówka. I prawie żadne z tych urządzeń nie są odpowiednio chronione.
Zbudowaliśmy niezwykłą infrastrukturę połączonych maszyn i bronimy jej narzędziami zaprojektowanymi dla innej epoki.
To nie jest problem świadomości. Cyberbezpieczeństwo jest najwyższym priorytetem federalnym. Agencja Cyberbezpieczeństwa i Bezpieczeństwa Infrastruktury (CISA) publikuje ostrzeżenia co tydzień. Miliardy dolarów płyną do zapór ogniowych przedsiębiorstw, ochrony punktów końcowych i centrów operacji bezpieczeństwa. A jednak powierzchnia ataku wciąż rośnie. Stan na 2024 rok, sama amerykańska sieć energetyczna obsługuje ponad 2,3 miliona podłączonych urządzeń IoT, z których wiele działa na przestarzałym oprogramowaniu układowym bez harmonogramu aktualizacji i bez monitorowania.
Luka nie znajduje się między tym, co wiemy, a tym, czego się obawiamy. Luka znajduje się między systemami bezpieczeństwa, które zbudowaliśmy, a środowiskami, w których te systemy faktycznie muszą działać.
Laboratorium nie przypomina rzeczywistego świata
Systemy wykrywania włamań, oprogramowanie zaprojektowane do oznaczania złośliwej aktywności w sieci, znacznie się poprawiły w ciągu ostatniej dekady. Modele uczenia maszynowego i głębokiego uczenia potrafią teraz identyfikować wzorce ataków z niezwykłą dokładnością w warunkach badawczych. Architektury transformerów zapożyczone z przetwarzania języka naturalnego, sieci pamięci długoterminowej i krótkoterminowej wytrenowane na sekwencyjnych danych o ruchu, modele zespołowe łączące wiele klasyfikatorów: literatura akademicka jest pełna systemów osiągających 98 lub 99 procent dokładności.
Te liczby są często mylące.
Wartość dokładności zazwyczaj pochodzi z laboratoryjnego zbioru danych, zebranego w kontrolowanych warunkach, z relatywnie czystymi rozkładami ruchu i testowanego na tym samym typie danych, na których model był trenowany. Rzeczywiste sieci IoT nie wyglądają tak. Są chaotyczne, niejednorodne i stale się zmieniają. Urządzenia od tuzina producentów wysyłają dane w różnych formatach. Wzorce ruchu zmieniają się, gdy ktoś instaluje nowe urządzenie, zmienia rutynę lub po prostu wyjeżdża na tydzień. I co kluczowe, rzeczywiste ataki to rzadkie zdarzenia w morzu normalnego ruchu.
Gdy model jest trenowany na zbiorze danych, w którym ataki stanowią 40 procent rekordów, a następnie wdrażany w sieci, gdzie ataki stanowią 0,1 procent rzeczywistego ruchu, zachowanie modelu zmienia się całkowicie. Nigdy nie nauczył się, jak wygląda prawdziwa rzadkość. Rezultatem jest system, który omija właśnie te zagrożenia, do wychwytywania których został zbudowany, jednocześnie generując wystarczająco dużo fałszywych alarmów, aby przytłoczyć analityków, którzy muszą je przeglądać.
Problem niezrównoważenia klas to nie przypis
W społeczności badawczej niedopasowanie między danymi treningowymi a warunkami rzeczywistymi ma techniczną nazwę: niezrównoważenie klas. Jest dobrze rozumiane, aktywnie badane i konsekwentnie niedoceniane przez organizacje wdrażające te systemy.
Oto główny problem. System wykrywania włamań sieciowych musi sklasyfikować każdy pakiet lub przepływ ruchu jako normalny lub złośliwy. W rzeczywistości zdecydowana większość ruchu jest normalna. Ruch ataku stanowi klasę mniejszościową, czasami reprezentującą mniej niż jeden procent wszystkich obserwowanych zdarzeń. Standardowe modele uczenia maszynowego, zoptymalizowane pod kątem maksymalizacji ogólnej dokładności, szybko uczą się, że najlepsza strategia to po prostu klasyfikowanie prawie wszystkiego jako normalnego. Ta strategia daje doskonałe wyniki dokładności. Daje katastrofalne rezultaty w rzeczywistym świecie.
System, który omija 80 procent ataków, ponieważ został wytrenowany, aby faworyzować klasę większościową, nie jest systemem bezpieczeństwa. To pole wyboru zgodności.
Badania nad technikami takimi jak Adaptive SMOTE, która generuje syntetyczne przykłady ataków klasy mniejszościowej, aby pomóc modelom nauczyć się, jak wyglądają rzadkie zagrożenia, pokazały prawdziwy potencjał. Ale te podejścia muszą być wdrażane rozważnie, testowane na zbiorach danych, które faktycznie odzwierciedlają warunki wdrożenia, i oceniane według właściwych metryk. Czułość, procent rzeczywistych ataków, które system faktycznie wychwytuje, ma znacznie większe znaczenie niż ogólna dokładność, gdy konsekwencją pominiętego wykrycia jest infekcja ransomware w szpitalu lub fałszywe wstrzyknięcie danych do systemu sterowania przedsiębiorstwa użyteczności publicznej.
Wielowymiarowy problem, którego nikt nie chce rozwiązać
Istnieje powiązany problem, który otrzymuje jeszcze mniej uwagi: jak decydujemy, czy system wykrywania włamań jest wystarczająco dobry do wdrożenia.
Większość ocen wybiera jedną lub dwie metryki i je optymalizuje. Dokładność jest powszechna. Wynik F1 jest popularny w pracach akademickich. Ale rzeczywiste wdrożenie IoT wymaga jednoczesnego wyważenia między co najmniej czterema konkurującymi wymiarami: dokładnością wykrywania, wydajnością obliczeniową, wskaźnikiem fałszywych pozytywów i zdolnością adaptacji do nowych typów ataków.
System, który wykrywa 99 procent znanych ataków, ale zużywa więcej mocy obliczeniowej niż urządzenie IoT, które chroni, nie jest systemem możliwym do wdrożenia. System, który działa wydajnie, ale generuje dziesięć fałszywych alarmów na każde prawdziwe zagrożenie, tworzy zmęczenie alarmami tak poważne, że analitycy przestają badać. System zoptymalizowany pod kątem dzisiejszej taksonomii ataków, który nie może się dostosować, gdy przeciwnicy zmienią taktykę, jest systemem o znanej dacie wygaśnięcia.
Brak wspólnych, wielowymiarowych ram oceny oznacza, że organizacje kupujące lub wdrażające systemy wykrywania włamań nie mogą dokonywać znaczących porównań. Dostawca może twierdzić, że ma wiodące w branży wskaźniki wykrywalności, jednocześnie po cichu optymalizując metrykę, która dobrze wygląda w wersji demonstracyjnej i zawodzi w produkcji.
Co trzeba zmienić
Droga naprzód wymaga zmniejszenia dystansu między tym, co budują badacze, a tym, co faktycznie wdrażają operatorzy.
Po pierwsze, społeczność badawcza musi oceniać systemy wykrywania włamań w oparciu o realistyczne rozkłady ruchu, a nie tylko zrównoważone zbiory danych referencyjnych. Testowanie przeciwko CIC-IDS2017 lub NSL-KDD z domyślnymi konfiguracjami daje liczby, które są zasadniczo fikcyjne w porównaniu z tym, jak wygląda prawdziwa sieć szpitalna lub inteligentna sieć energetyczna.
Po drugie, organizacje wdrażające te systemy muszą żądać wielowymiarowych dowodów wydajności przed zakupem. Sam wskaźnik wykrywalności nie wystarczy. Pytaj o wskaźniki fałszywych negatywów w rzadkich kategoriach ataków. Pytaj o dane dotyczące wydajności przy ograniczonych budżetach obliczeniowych. Pytaj, jak system działa sześć miesięcy po wdrożeniu, gdy wzorce ruchu się zmieniły.
Po trzecie i najpilniej, agencje federalne odpowiedzialne za ochronę infrastruktury krytycznej muszą ustanowić minimalne standardy oceny dla wykrywania włamań opartego na AI. CISA i NIST stworzyły doskonałe ramy. Przetłumaczenie tych ram na konkretne, możliwe do przetestowania kryteria wydajności dla systemów bezpieczeństwa IoT to kolejny krok.
Podłączone urządzenia nikąd nie znikną. Atakujący, którzy je sondują, również nigdzie się nie wybierają. Pytanie brzmi, czy systemy, które budujemy, aby je chronić, są faktycznie zbudowane dla świata, w którym te systemy będą działać, czy dla świata, w którym chcielibyśmy żyć, gdy pisaliśmy dane treningowe.
Oluwapelumi Bankole jest badaczem systemów informacyjnych i cyberbezpieczeństwa na University of Nevada w Las Vegas, gdzie jego praca koncentruje się na wykrywaniu włamań opartym na AI dla sieci IoT i chmurowych. Posiada podwójny tytuł magistra w dziedzinie zarządzania systemami informacyjnymi i cyberbezpieczeństwa.
