FDA otwiera konsultacje o generatywnej AI. Regulator rozważa nowy model oceny wyrobów

FDA opublikowała dokument dyskusyjny dotyczący regulacji wyrobów medycznych wykorzystujących generatywną sztuczną inteligencję. Agencja przedstawia w nim możliwe podejście do oceny ryzyka, dowodów przedrynkowych, kontroli zmian i monitorowania działania produktów po wdrożeniu. Uwagi można składać do 19 października 2026 r. Dokument nie jest projektem ani ostateczną wersją wytycznych i nie wprowadza obecnie nowych wymagań regulacyjnych.

FDA chce oceniać nie samą AI, lecz konkretną funkcję wyrobu

Dokument został przygotowany przez Digital Health Center of Excellence działające w ramach Center for Devices and Radiological Health. FDA podkreśla, że nie reguluje generatywnej AI jako technologii. Nadzorem obejmuje konkretne produkty spełniające definicję wyrobu medycznego, w tym urządzenia i oprogramowanie zawierające funkcje wykorzystujące generatywną AI.

Takie rozróżnienie ma znaczenie między innymi dla produktów wielofunkcyjnych. System może zawierać kilka elementów programowych, z których tylko część podlega nadzorowi FDA jako funkcje wyrobu medycznego. Ocena powinna zatem dotyczyć przewidzianego zastosowania, roli danej funkcji oraz ryzyka, jakie może powstać, gdy nie działa ona zgodnie z założeniami.

FDA wskazuje, że generatywna AI różni się od klasycznego oprogramowania medycznego oraz wielu dotychczasowych systemów AI. Może przyjmować otwarte dane wejściowe, wykonywać różne zadania i generować odmienne odpowiedzi na podobne zapytania. Zachowanie produktu może się również zmieniać wskutek aktualizacji modelu bazowego, promptów, mechanizmów wyszukiwania informacji, zabezpieczeń, logiki sterującej lub interfejsu użytkownika.

Dodatkowe wyzwanie stanowią modele bazowe dostarczane przez zewnętrzne firmy. Producent wyrobu nie zawsze ma pełny dostęp do informacji o danych treningowych, architekturze i metodach oceny takiego modelu. Utrudnia to określenie, czy błąd wynika z samego wyrobu, sposobu jego integracji czy działania zewnętrznego komponentu.

Dwie osie mają pomóc w określaniu ryzyka

Jedną z propozycji przedstawionych do konsultacji jest dwuwymiarowy model oceny ryzyka. Pierwsza oś opisuje rodzaj i stopień samodzielności działania funkcji – od dostarczania informacji, przez wskazywanie określonego sposobu postępowania, aż po wykonywanie działań bezpośrednio wpływających na proces medyczny. Druga oś uwzględnia możliwe konsekwencje polegania na nieprawidłowym wyniku.

W tym modelu funkcja przedstawiająca ogólną informację miałaby inny profil ryzyka niż system formułujący jednoznaczne zalecenie albo samodzielnie uruchamiający określone działanie. Znaczenie miałoby również to, czy wynik jest kierowany do profesjonalisty medycznego, czy bezpośrednio do pacjenta, który może mieć ograniczoną możliwość samodzielnej oceny poprawności informacji.

FDA zwraca uwagę, że rozróżnienie między informacją neutralną a informacją wskazującą konkretne działanie nie zawsze będzie jednoznaczne. Stopień wpływu odpowiedzi na zachowanie użytkownika może zależeć od jej treści, szczegółowości, personalizacji i kontekstu, a nie tylko od zastosowania słów takich jak „zalecam” lub „należy”.

Ocena miałaby także uwzględniać przebieg wieloetapowych rozmów z systemem. Funkcja, która na początku przekazuje wyłącznie informacje, może w kolejnych odpowiedziach zacząć kierować użytkownika w stronę konkretnego działania. W takich przypadkach pojedyncza odpowiedź może nie wystarczyć do oceny ryzyka całej interakcji.

Testy kompetencji zamiast sprawdzania każdej możliwej odpowiedzi

FDA rozważa również podejście kompetencyjne do oceny wyrobu przed wprowadzeniem na rynek. Punktem wyjścia jest założenie, że w przypadku systemów generujących otwarte i zmienne odpowiedzi sprawdzenie wszystkich możliwych danych wejściowych i rezultatów może być niewykonalne.

Ocena miałaby obejmować dwa główne etapy: niekliniczne testowanie kompetencji wyrobu oraz potwierdzenie jego działania w warunkach klinicznych lub reprezentatywnych dla rzeczywistego użycia. Testowany powinien być finalny produkt w konfiguracji przeznaczonej do wdrożenia, a nie sam model bazowy oderwany od interfejsu, mechanizmów zabezpieczających i pozostałych elementów systemu.

Benchmarking mógłby obejmować między innymi zdolność do rozpoznawania sytuacji wymagających eskalacji, przestrzeganie granic przewidzianego zastosowania, prawidłowe komunikowanie niepewności, wiedzę kliniczną, analizę danych liczbowych, jakość komunikacji oraz odporność na różnice w danych wejściowych i sposobie formułowania zapytań.

W przypadku systemów agentowych konieczne może być również sprawdzanie planowania i wykonywania zadań wieloetapowych, korzystania z zewnętrznych narzędzi, reagowania na ich błędy oraz respektowania punktów wymagających nadzoru człowieka. FDA wskazuje, że funkcja agentowa może podlegać nadzorowi jako wyrób medyczny na przykład wtedy, gdy jej działania prowadzą do sterowania innym urządzeniem medycznym.

Samo testowanie na przygotowanych zbiorach danych może jednak nie odzwierciedlać rzeczywistej interakcji z użytkownikami i środowiskiem klinicznym. Dlatego regulator rozważa dodatkowe potwierdzenie działania poprzez analizę retrospektywną przypadków, wdrożenie obserwacyjne, w którym wyniki systemu nie wpływają na opiekę, interakcje ze standaryzowanymi pacjentami, niezależną ocenę klinicystów albo prospektywne badanie kliniczne. Zakres dowodów miałby być proporcjonalny do przeznaczenia i ryzyka produktu.

Monitoring po wdrożeniu może stać się częścią oceny działania

Generatywna AI może zmieniać swoje zachowanie po wdrożeniu, także bez bezpośredniej modyfikacji wprowadzonej przez producenta wyrobu. Przyczyną może być aktualizacja zewnętrznego modelu bazowego, zmiana populacji użytkowników, danych wejściowych lub innych elementów środowiska informatycznego.

FDA pyta w związku z tym, czy w określonych sytuacjach można dopuścić większą niepewność na etapie przedrynkowym w zamian za bardziej rozbudowany monitoring po wprowadzeniu wyrobu na rynek. Możliwe mechanizmy obejmują okresowe powtarzanie benchmarków, analizę próbek rzeczywistych wyników przez niezależnych klinicystów oraz kontrolę pogorszenia działania lub dryfu modelu.

W przypadku modyfikacji regulator rozważa podejścia od udokumentowania zmiany w systemie zarządzania jakością po konieczność uzyskania autoryzacji FDA przed jej wdrożeniem. Jednym z możliwych narzędzi pozostaje Predetermined Change Control Plan, jednak FDA pyta, jak stosować taki mechanizm, gdy charakter przyszłych zmian w systemie generatywnym nie może zostać w pełni określony z wyprzedzeniem.

Dokument przedstawia także koncepcję dobrowolnych Device Master Files dla modeli bazowych. Dostawca modelu mógłby przekazywać FDA poufne informacje dotyczące między innymi architektury, pochodzenia danych treningowych, znanych ograniczeń, mechanizmów bezpieczeństwa i zasad informowania o aktualizacjach. Taki dokument nie oznaczałby jednak autoryzacji modelu. Odpowiedzialność za wykazanie bezpieczeństwa i skuteczności konkretnego wyrobu nadal spoczywałaby na jego producencie.

Co konsultacje mogą oznaczać dla polskich producentów?

Dokument FDA nie wprowadza jeszcze obowiązków, ale pokazuje obszary, na które powinni zwracać uwagę polscy producenci rozwijający oprogramowanie medyczne na rynek amerykański. W praktyce może to oznaczać potrzebę dokumentowania nie tylko parametrów samego modelu, lecz całej konfiguracji produktu: promptów systemowych, mechanizmów wyszukiwania danych, zabezpieczeń, interfejsu oraz powiązań z zewnętrznymi komponentami.

Istotne może być również odpowiednie uregulowanie współpracy z dostawcą modelu bazowego. Umowa powinna potencjalnie zapewniać producentowi informacje o nowych wersjach, zmianach mogących wpływać na bezpieczeństwo, dostęp do właściwych danych technicznych i możliwość reagowania na modyfikacje wprowadzane poza jego bezpośrednią kontrolą. Konieczne może być także zdefiniowanie zdarzeń uruchamiających ponowną walidację lub ocenę zmiany w systemie zarządzania jakością.

Dla europejskich producentów oznacza to konieczność uwzględnienia równolegle różnych podejść regulacyjnych. Relację pomiędzy unijnym MDR i AI Act opisaliśmy wcześniej w materiale „Wyrób medyczny wykorzystuje AI. Kiedy producent musi stosować jednocześnie MDR i AI Act?”. Unijne przepisy określają obowiązujące lub etapowo stosowane wymagania, natomiast aktualny dokument FDA jest dopiero początkiem konsultacji dotyczących możliwego modelu nadzoru w Stanach Zjednoczonych.

W obu podejściach widoczny jest jednak wspólny kierunek: ocena systemu AI nie kończy się na jednorazowej walidacji algorytmu. Coraz większego znaczenia nabierają kontrola całej architektury produktu, jakość danych, nadzór nad dostawcami, zarządzanie zmianą oraz monitorowanie działania przez cały cykl życia wyrobu.

Opracowanie własne na podstawie:

1. U.S. Food and Drug Administration, Center for Devices and Radiological Health. Considerations for the Regulation of Generative AI-Enabled Medical Devices: Discussion Paper and Request for Feedback, 18 sierpnia 2026 r.
2. U.S. Food and Drug Administration. FDA Seeks Public Feedback to Inform Regulatory Approach for Generative AI-Enabled Medical Devices, 18 sierpnia 2026 r.
3. Oficjalny profil FDA w serwisie LinkedIn, 18 sierpnia 2026 r.