Jak mówi przysłowie „ważna jest droga, a nie cel”. Dla nas dotyczy to również argumentacji assurance case. Postrzegamy je jako obiekty dynamiczne, które ewoluują w cyklu życia systemu. Ważny jest sposób, w jaki zarządzany jest status oraz zmiany argumentacji oraz dowodów, aby w końcu uzyskać ważną i przekonującą argumentację.
Taki punkt widzenia jest sprzeczny z koncepcją statycznego raportu assurance case. Oczywiście, zatwierdzony raport assurance case jest statyczny, ale powinniśmy się raczej koncentrować na procesie jego rozwoju i ewolucji. W ostatnim etapie prac zwykle jest już trudno dodać jakość Należy ją budować od samego początku. Jakość końcowego raportu assurance case powinna wynikać z jakości całego procesu. Praktyką, którą możemy polecić, jest ciągłe przeglądanie argumentacji z wykorzystaniem mechanizmu oceny.
Ocena jest sposobem komunikacji jakości argumentacji pomiędzy osobami uczestniczącymi w rozwoju assurance case. Ocena obejmuje dwa elementy: wartości oceny oraz komentarze do nich.
Kolory stosowane do prezentacji wyników oceny w diagramach ułatwiają szybki przegląd stanu argumentacji:
- kolor zielony reprezentuje zaakceptowane fragmenty argumentacji
- kolor czerwony jest stosowany dla elementów odrzuconych przez osoby oceniające, gdzie w komentarzach mogą opisać przyczyny odrzucenia.
- żółty kolor oznacza niepewność, zwykle z powodu braku informacji, niejednoznaczności lub nieprzydatności dla danego celu argumentacji.
Komentarze pomagają identyfikować przyczyny problemów i błędów argumentacji oraz mogą zawierać wskazówki sposobu poprawy. Użytkownicy mogą wymieniać się komentarzami, odpowiadać na nie w toku dyskusji wypracować docelowe rozwiązanie dla argumentacji.
Oceny są też pomocne w śledzeniu postępu prac. Celem jest osiągnięcie w pełni zaakceptowanej, czyli zielonej argumentacji. Gdy pojawiają się oceny negatywne i niektóre części argumentacji zostają odrzucone, pojawia się kolor czerwony. Argumentacja musi być zmieniona tak, aby po ponownej ocenie czerwony kolor zniknął.
Ocena argumentacji jest zwykle realizowana w dwóch etapach. Etap pierwszy to jest samocena argumentacji przez tworzący ją zespół. Ukończona argumentacja może być poddana przeglądowi przez niezależnych audytorów lub organizację certyfikującą.
Czy częsta lub ciągła ocena ma sens, gdy argumentacja jeszcze jest modyfikowana? Każda zmiana dowolnego element argumentacji lub dowodu powoduje konieczność ponownej oceny. Problem polega na tym, aby określić, które oceny przestały być już aktualne. NOR-STA pomaga w tym i wskazuje miejsca wymagające ponownego przeglądu i oceny.
Dla argumentacji modularnych mechanizm oceny uwzględnia również zależności od powiązanych modułów. Dany moduł może być zaakceptowany tylko wtedy, gdy zostaną zaakceptowane wszystkie moduły podrzędne. Zmiany w modułach podrzędnych mają natychmiastowy wpływ na oceny modułów wyższych poziomów. Oceny są automatycznie przekazywane w górę architektury assurance case. Zapewnia to ciągłą kontrolę zmian w dużych modularnych argumentacjach.
Krótkie podsumowanie:
- Oceny dają informację, które części argumentacji są kompletne i przeszły przez przegląd.
- W przypadku zmian argumentacji NOR-STA wskaże elementy do ponownej oceny.
- To działa też dla modularnych argumentacji, bo ocena jest przekazywana przez interfejsy modułów.
Mechanizm oceny w NOR-STA jest jednym z elementów umożliwiających ciągłą ewolucję assurance case.