Bezpieczeństwo aplikacji LLM. Niezbędnik dla programistów, projektantów i red teamów

Bezpieczeństwo aplikacji LLM. Niezbędnik dla programistów, projektantów i red teamów - Opis

Czy nie masz wrażenia, że niemal każdy do swojego stosu oprogramowania pośpiesznie dołącza aplikacje oparte na dużych modelach językowych? Możliwości tej fascynującej technologii wydają się nieograniczone. Ale nie popadaj jeszcze w euforię. Jest haczyk. Bezpieczeństwo. Konsekwencje skutecznego ataku na aplikację LLM mogą się okazać katastrofalne.

Ta książka sprawi, że łatwiej sprostasz wyzwaniom i zdobędziesz specjalistyczną wiedzę, aby zabezpieczyć swoje aplikacje LLM!

MArten Mickos, CEO, HackerOne

Dzięki tej praktycznej książce dogłębnie poznasz zagrożenia specyficzne dla aplikacji opartych na dużych modelach językowych, przeanalizujesz ich charakterystyczne cechy i dowiesz się, jak wyglądają luki w zabezpieczeniach. W ten sposób zdobędziesz praktyczną wiedzę, która podczas tworzenia oprogramowania korzystającego z LLM okazuje się bezcenna. Zapoznasz się również z licznymi wskazówkami i strategiami, które pomogą w zabezpieczaniu aplikacji opartych na sztucznej inteligencji. Niezależnie od tego, czy tworzysz zupełnie nową aplikację, czy zajmujesz się dodawaniem funkcjonalności LLM, znajdziesz tu szeroką gamę przydatnych zagadnień, takich jak architektura dużych modeli językowych, granice zaufania, technika RAG, wstrzykiwanie promptów i wiele innych.

Ciekawsze zagadnienia:

specyfika zabezpieczania dużych modeli językowych
eliminowanie zagrożeń związanych z technologią dużych modeli językowych
krytyczne granice zaufania
wdrażanie mechanizmów chroniących aplikację LLM
usprawnianie budowy bezpiecznego (...) więcej oprogramowania opartego na sztucznej inteligencji

Lektura obowiązkowa dla innowatorów!

Sherri Douville, CEO, Medigram

Spis treści:

Wprowadzenie
1. Co poszło nie tak z chatbotami?

Pomówmy o projekcie Tay
Gwałtowny upadek Tay
Dlaczego doszło do afery z Tay?
To trudny problem

2. Lista OWASP top 10 dla aplikacji używających dużych modeli językowych

Fundacja OWASP
Lista top 10 projektu aplikacji wspomaganych przez duże modele językowe

Realizacja projektu
Przyjęcie
Klucz do sukcesu

Ta książka i lista top 10

3. Architektury i granice zaufania

Sztuczna inteligencja, sieci neuronowe i duże modele językowe - czym się różnią?
Rewolucja transformerów - źródło, wpływ i powiązanie z dużymi modelami językowymi

Pochodzenie transformerów
Wpływ architektury transformerów na sztuczną inteligencję

Rodzaje aplikacji wspomaganych przez duże modele językowe
Architektura aplikacji wspomaganych przez duże modele językowe

Granice zaufania
Model
Interakcja z użytkownikiem
Zbiór danych użytych do wytrenowania modelu
Dostęp do bieżących zewnętrznych źródeł danych
Dostęp do usług wewnętrznych

Podsumowanie

4. Wstrzykiwanie promptu

Przykłady ataków typu wstrzykiwanie promptu

Natarczywa sugestia
Psychologia odwrotna
Wprowadzenie w błąd
Uniwersalne i zautomatyzowane prompty antagonistyczne

Wpływ ataków polegających na wstrzykiwaniu promptu
Bezpośredni i pośredni atak polegający na wstrzykiwaniu promptu

Bezpośrednie wstrzykiwanie promptów
Pośrednie wstrzykiwanie promptów
Najważniejsze różnice

Łagodzenie skutków ataku polegającego na wstrzykiwaniu promptu

Ograniczanie częstotliwości wykonywania zapytań do modelu
Filtrowanie danych wejściowych za pomocą reguł
Filtrowanie za pomocą dużego modelu językowego specjalnego przeznaczenia
Dodawanie struktury promptu
Trenowanie antagonistyczne
Definicja pesymistycznych granic zaufania

Podsumowanie

5. Czy duży model językowy może wiedzieć zbyt wiele?

Rzeczywiste przykłady

Lee Luda
GitHub Copilot i OpenAI Codex

Metody zdobywania wiedzy
Trenowanie modelu

Trenowanie modelu podstawowego
Kwestie dotyczące bezpieczeństwa modeli podstawowych
Dostrajanie modelu
Niebezpieczeństwo związane z trenowaniem

Technika RAG

Bezpośredni dostęp do sieci WWW
Uzyskiwanie dostępu do bazy danych

Uczenie się na podstawie interakcji z użytkownikiem
Podsumowanie

6. Czy modele językowe śnią o wirtualnych baranach?

Dlaczego duży model językowy ulega halucynacji?
Rodzaje halucynacji
Przykłady

Nieistniejące precedensy prawne
Proces dotyczący chatbota linii lotniczej
Nieumyślne skrzywdzenie człowieka
Halucynacje pakietu otwartoźródłowego

Kto ponosi odpowiedzialność?
Najlepsze praktyki w zakresie zmniejszania niebezpieczeństwa

Rozszerzenie wiedzy ściśle związanej z daną dziedziną
Łańcuch myśli, który zachęca do większej dokładności
Mechanizmy przekazywania informacji zwrotnych - potężne
możliwości danych wejściowych użytkownika w zmniejszeniu
niebezpieczeństwa
Przejrzysta komunikacja dotycząca oczekiwanego sposobu użycia modelu i jego ograniczeń
Szkolenie użytkowników - wzmacnianie ich dzięki wiedzy

Podsumowanie

7. Nie ufaj nikomu

Wyjaśnienie zerowego zaufania
Skąd ta paranoja?
Implementacja architektury zerowego zaufania dla dużego modelu językowego

Obserwacja pod kątem nadmiernej działalności
Zabezpieczanie obsługi danych wyjściowych

Tworzenie własnego filtru danych wyjściowych

Wyszukiwanie danych osobowych za pomocą wyrażenia regularnego
Sprawdzanie pod kątem toksyczności
Połączenie filtrów z dużym modelem językowym
Oczyszczanie w celu zapewnienia bezpieczeństwa

Podsumowanie

8. Nie trać głowy

Ataki typu DoS

Atak ilościowy
Atak na protokół
Atak na warstwę aplikacji
Epicki atak typu DoS na firmę Dyn

Przygotowanie ataku typu DoS na duży model językowy

Ataki na ograniczone zasoby
Wykorzystanie okna kontekstu
Nieprzewidywalne dane wejściowe użytkownika

Ataki typu DoW
Klonowanie modelu
Strategie łagodzenia skutków ataku

Mechanizmy obronne ściśle związane z daną dziedziną
Weryfikacja danych wejściowych i ich oczyszczanie
Niezawodne ograniczanie częstotliwości wykonywania zapytań
Ograniczanie poziomu użycia zasobów
Monitorowanie i ostrzeganie
Finansowe wartości progowe i ostrzeżenia

Podsumowanie

9. Znajdź najsłabsze ogniwo

Podstawy łańcucha dostaw

Bezpieczeństwo łańcucha dostaw oprogramowania
Incydent związany z agencją Equifax
Incydent związany z SolarWinds
Luka w zabezpieczeniach Log4Shell

Poznanie łańcucha dostaw w przypadku dużego modelu językowego

Ryzyko w modelu otwartoźródłowym
Zatrucie zbioru danych użytych do wytrenowania modelu
Przypadkowo niebezpieczne dane uczące
Niebezpieczne wtyczki

Tworzenie artefaktów przeznaczonych do śledzenia łańcucha dostaw

Waga SBOM
Karty modeli
Karta modelu a zestawienie komponentów oprogramowania
CycloneDX - standard zestawienia komponentów oprogramowania
Powstanie ML-BOM
Utworzenie przykładowego zestawienia ML-BOM

Przyszłość bezpieczeństwa łańcucha dostaw dużego modelu językowego

Podpis cyfrowy i znak wodny
Bazy danych i klasyfikacje luk w zabezpieczeniach

Podsumowanie

10. Wyciąganie wniosków na przyszłość

Przegląd listy OWASP top 10 dla aplikacji wspomaganych przez duże modele językowe
Studia przypadków

Dzień Niepodległości - głośna katastrofa
2001: Odyseja kosmiczna

Podsumowanie

11. Zaufaj procesowi

Ewolucja ruchu DevSecOps

MLOps
LLMOps

Wbudowanie bezpieczeństwa do procesu LLMOps
Bezpieczeństwo w trakcie procesu programistycznego związanego z dużym modelem językowym

Zabezpieczanie potoku CI/CD
Ściśle związane z dużym modelem językowym narzędzia sprawdzania stanu bezpieczeństwa
Zarządzanie łańcuchem dostaw

Chroń aplikację za pomocą mechanizmów obronnych

Rola mechanizmu obronnego w strategii bezpieczeństwa dużego modelu językowego
Otwartoźródłowe i komercyjne rozwiązania w zakresie mechanizmów obronnych
Łączenie niestandardowych i gotowych mechanizmów obronnych

Monitorowanie aplikacji

Rejestrowanie każdego promptu i odpowiedzi
Scentralizowane zarządzanie zdarzeniami i dziennikami zdarzeń
Analiza sposobu działania użytkownika i encji

Utworzenie własnego red teamu dla sztucznej inteligencji

Zalety red teamu sztucznej inteligencji
Red teamy kontra pentesterzy
Narzędzia i podejścia

Nieustanne usprawnianie

Tworzenie i dostrajanie mechanizmów obronnych
Zarządzanie jakością i dostępem do danych
Użycie techniki RLHF

Podsumowanie

12. Praktyczny framework zapewnienia bezpieczeństwa odpowiedzialnej sztucznej inteligencji

Moc

Procesory graficzne
Chmura
Ruch otwartoźródłowy
Wielomodalność
Autonomiczne agenty

Odpowiedzialność

Framework RAISE
Lista rzeczy do sprawdzenia za pomocą frameworka RAISE

Podsumowanie

O autorze: Steve Wilson jest dyrektorem produktu w firmie Exabeam. Jest znaną postacią w społeczności sztucznej inteligencji i cyberbezpieczeństwa. Ma ponad 25-letnie doświadczenie w zakresie tworzenia platform oprogramowania dla największych firm technologicznych, takich jak Citrix Systems, Oracle i Sun Microsystems. mniej