Assurance case rzadko powstaje od razu w całości. Argumentacja dojrzewa razem z systemem: jest rozwijana, komentowana, uzupełniana, recenzowana i poprawiana, a każdy z tych kroków wymaga zaangażowania i czasu doświadczonych inżynierów. Poniżej pokazujemy, jak ten cykl może być przyspieszony dzięki zastosowaniu narzędzi AI połączonych z PREMIS przez protokół MCP. Istotne jest to, że inżynier może stosować własne narzędzie AI, które zna, które ma już skonfigurowane i które może mieć już wiedzę o systemie będącym przedmiotem argumentacji.
Narzędzie AI wspiera prace nad assurance case
Model Context Protocol (MCP) to otwarty standard, który pozwala modelowi językowemu LLM korzystać z funkcji aplikacji oferującej swoje usługi. PREMIS przez interfejs MCP udostępnia narzędziom AI wybrane operacje, z których korzysta użytkownik: odczyt assurance case, tworzenie elementów wraz z powiązaniami, edycję i przenoszenie elementów, modyfikację relacji oraz dodawanie komentarzy z określeniem ich priorytetu. AI nie musi tworzyć treści „obok”, w oknie chatu, lecz może działać bezpośrednio na argumentacji, nad którą pracuje użytkownik. Cały czas to jednak użytkownik powinien kontrolować, kiedy AI tylko prezentuje mu propozycje zmian argumentacji, a kiedy je rzeczywiście wprowadza do argumentacji w PREMIS.
Poziom zaangażowania AI w prace nad assurance case jest kontrolowany przez użytkownika na dwóch poziomach. Po pierwsze na poziomie technicznym poprzez uprawnienia. Jeżeli podczas tworzenie tokenu dostępowego dla AI zostaną przyznane tylko uprawnienia do odczytu argumentacji, to nie będą możliwe akcje edycji ani dodawanie komentarzy. Drugi poziom kontroli to instrukcje użytkownika dla narzędzia AI. Użytkownik przez swoje polecenia może kontrolować, co AI wykona w ramach interakcji z użytkownikiem, a jakie akcje wykona w argumentacji w PREMIS.
Stosowanie przez inżyniera własnego narzędzia AI daje mu też możliwość zarządzania dostępem do dokumentacji czy modeli systemu, które są stosowane jako dowody w argumentacji. Dzięki temu narzędzie AI w momencie rozpoczęcia pracy nad assurance case, gdy po raz pierwszy łączy się do PREMIS, może już mieć wiedzę o systemie będącym przedmiotem argumentacji. Dzięki temu AI będzie mogło skuteczniej realizować zadania związane z rozwojem i przeglądami argumentacji.
Działania wspierane przez AI
Jako prosty przykład weźmiemy argumentację dotyczącą bezpieczeństwa funkcjonalnego, w której jest claim dotyczący identyfikacji hazardów oraz ich analizy. Załóżmy, że claim ten jest wspierany przez tylko jeden dowód, raport HARA. Przykład ten jest pokazany w video poniżej. Co prawda raport HARA to główny dowód, zwykle odwołujący się do pełnej dokumentacji analizy hazardów, ale użycie tylko tego raportu stanowi duże uproszczenie i pomija argumentację opartą o proces analizy hazardów. Audytor nie otrzymuje na przykład uzasadnienia, skąd mamy pewność, że wszystkie hazardy zostały zidentyfikowane, sam musi to wywnioskować z raportu. Konsekwencja jest taka, że audytor sam analizuje raport HARA i może tylko albo w całości zaakceptować, albo odrzucić. Takie sytuacje występowania uproszczonej argumentacji i przerzucania zadań analitycznych na audytorów powinny być identyfikowane podczas przeglądów argumentacji.
Pierwszym działaniem, w którym AI może wspierać inżyniera, są właśnie przeglądy argumentacji. AI może je realizować, podczas gdy inżynier może określać zakres i kryteria. Wyniki przeglądu mogą być prezentowane w chacie lub zapisywane w argumentacji w formie komentarzy z podaniem priorytetu. W przypadku wspomnianego claima uwaga przeglądu powinna wskazywać na potrzebę rozwinięcia argumentacji zamiast stosowania odwołania do tylko jednego dowodu.
Drugie działanie, to jest proponowanie zmian i dyskusja. AI przedstawia konkretny projekt zmiany, który może być dyskutowany. Inżynier może ocenić projekt zmiany, wskazać elementy do korekty, a ostatecznie zaakceptować lub odrzucić. Istotne jest potwierdzenie przez eksperta, czy AI poprawnie rozumie dany fragment argumentacji. Z jednej strony AI może wskazać słabe punkty argumentacji pominięte przez człowieka, a z drugiej strony każda uwaga i propozycja zmian wymagają analizy i weryfikacji przez eksperta. Zmiana może być dyskutowana dowolnie długo, zanim zostanie zaakceptowana.
Wprowadzenie zmiany to trzecie działanie. Zmiany mogą być rozproszone i dotyczyć wielu miejsc w argumentacji. Wykonanie takiej zmiany przez AI jest często sporą oszczędnością czasu w porównaniu do wykonania ręcznego. Po wykonaniu zmiany narzędzie AI raportuje zakres wykonanej zmiany, na przykład podaje listę dodanych lub zmodyfikowanych elementów. Forma prezentacji zmiany jest dostosowana do jej charakteru. W przypadku zmiany istniejących elementów prezentowany jest stan sprzed zmiany i po zmianie.
Istotnym kolejnym działaniem jest kontrola postępu w realizacji wyników przeglądu i weryfikacja wykonanych zmian. Narzędzie AI podsumuje wykonane zmiany, ile uwag z przeglądu zostało uwzględnionych, a ile czeka na realizację. Jeżeli wyniki przeglądu są w chacie AI, to tu jest kontrolowany postęp prac, a jeżeli były zapisane w komentarzach w argumentacji w PREMIS, to postęp prac nad wynikami przeglądu może być kontrolowany niezależnie od AI, również przez inne osoby w zespole. Systematyczna obsługa uwag z przeglądu jest równie ważna, jak sama realizacja przeglądu. Aby zamknąć przegląd, musimy mieć pewność, że każda uwaga była sprawdzona i albo zrealizowana, albo odrzucona w wyniku jej analizy.
Wydajność procesu
Główne cele to oczywiście wydajność i skuteczność procesu. Prace nad assurance case wymagają zaangażowania expertów, a każda oszczędność pracochłonności to mierzalny zysk. Całość prac musi być realizowana pod nadzorem eksperów, część zadań może być z powodzeniem delegowana do narzędzi AI. W praktyce skuteczny jest model pracy z doradzaniem lub kontrolowaniem zmian argumentacji przez AI. Z punktu widzenia czasu pracy człowieka ważne jest też wsparcie AI w wyszukiwaniu drobnych niespójności, błędów odwołań czy wersjonowania, literówek i niedokładnych sformułowań. To są sprawy o małym znaczeniu merytorycznym, ale czasem zajmujące sporo czasu, szczególnie, gdy są późno wykryte. W sumie, dzięki zaangażowaniu AI w prace nad assurance case, eksperci mogą spędzać więcej czasu na tym, co najważniejsze, czyli koncepcji argumentacji i ocenie jej siły, a nie na mechanicznych zadaniach edycji. Interfejs MCP w PREMIS jest technicznym środkiem, który to umożliwia. PREMIS staje się platformą dyskusji i współpracy zespołu inżynierów oraz AI, zapewniając wysoką efektywność procesu.
Ryzyka stosowania AI są związane ze skutecznością procesu. Brak nadzoru lub zbyt słaby nadzór ekspertów może prowadzić do poważnych problemów jakości argumentacji. Jeżeli problemy zostaną wykryte przez certyfikatora, może to skończyć się odrzuceniem systemu ze względu na błędy i niewłaściwe zastosowanie AI, jak miało to miejsce w przypadku opisanym w FDA Warning Letter 320-26-58 w kwietniu 2026. Korzyści ze stosowania AI mogą być osiągnięte tylko wtedy, gdy będzie to narzędzie dla eksperta, który cały czas będzie ponosił odpowiedzialność na jakość assurance case. AI może wspierać eksperta, ale to on ma decydować, które zadania mogą być delegowane do AI. Rolą AI jest bycie asystentem AI i takie podejście wspiera PREMIS.