Организация тестирования: каждый тест должен иметь уникальный для данного проекта идентификатор; должны быть представлены инструкции для проведения тестирования, описание аппаратуры и ПО тестирования, а также инструкции для выполнения повторного тестирования.
Описание тестов: каждый тест должен иметь уникальный для проекта идентификатор и ссылку на соответствующий пункт в разделе организации тестирования, последнее относится и к тестовым вариантам. Кроме того, должны быть приведены ссылки на проверяемые требования, указаны условия выполнения (конфигурация аппаратуры и ПО и др.), входные данные, ожидаемые результаты, критерии оценки результатов, процедура тестирования для каждого тестового варианта, допущения и ограничения.
Допускается включение перечисленной в данном подразделе информации в документ «Процедуры верификации ПО» (см. 12.21), если заказчик не требует разработки отдельного документа, описывающего квалификационное тестирование.
12.23 Результаты верификации ПО
Документ «Результаты верификации ПО» описывает выходные результаты процесса верификации ПО. Результаты верификации ПО должны:
— указать результат выполнения (прошел/не прошел) для каждого просмотра, анализа и выполненного теста и заключительный результат верификации;
— идентифицировать элемент конфигурации и/или версию ПО, которые прошли просмотр, анализ или тестирование;
— содержать результаты анализа покрытия и анализа трассируемости для тестов, просмотров и анализов, выполненных в процессе верификации.
12.24 Отчет о квалификационном тестировании ПО
Отчет о тестировании ПО — отчет о квалификационном тестировании (испытаниях), выполненном для системы или подсистемы ПО. Данный документ должен включать в себя:
— общую оценку результатов тестирования, идентификацию всех несоответствий и ограничений;
— описание возможных различий тестовой и эксплуатационной сред;
— описание рекомендуемых улучшений в тестируемом ПО;
— детальные результаты тестирования;
— описание обнаруженных дефектов.
Допускается включение перечисленной в данном разделе информации в документ «Результаты верификации ПО» (12.23), если заказчик не требует разработки отдельного документа, описывающего результаты квалификационного тестирования.
12.25 Указатель конфигурации среды жизненного цикла ПО
Документ «Указатель конфигурации среды жизненного цикла ПО» идентифицирует конфигурацию среды жизненного цикла ПО, определяет аппаратную и программную среду разработки для регенерации ПО, повторной верификации или модификации ПО. Этот указатель должен идентифицировать:
— аппаратную среду и системное ПО, используемые для разработки ПО на протяжении всего жизненного цикла;
— инструментальные средства разработки ПО, такие как компиляторы, редакторы связей и загрузчики, средства обеспечения целостности данных (такие, как средства вычисления контрольных сумм или циклического избыточного кода);
— среду тестирования, используемую для верификации программного средства, например инструментальные средства верификации ПО;
— аттестованные инструментальные средства и соответствующие документы об аттестации этих средств.
Примечание. Данный документ может быть включен в Указатель конфигурации ПО как его часть.
12.26 Указатель конфигурации ПО
Указатель конфигурации ПО определяет конфигурацию программного средства. Указатель конфигурации ПО должен идентифицировать:
— программное средство;
— исполняемый объектный код;
— каждый компонент исходного кода;
— ранее разработанное ПО, если оно используется в данном программном средстве;
— документы жизненного цикла ПО;
— носители данных для архива и выпуска версии;
— инструкции для компоновки исполняемого объектного кода, включая, например, инструкции и информацию для компилирования и редактирования связей; процедуры, используемые для восстановления ПО при регенерации, тестировании или модификации;
— ссылку на Указатель конфигурации среды жизненного цикла ПО (12.25), если он оформлен как отдельный документ;
— способ контроля целостности данных для исполняемого объектного кода, если он используется.
Примечание — Данный документ может быть создан для одной версии программного средства или может включать в себя информацию о последующих или альтернативных версиях программного средства.
12.27 Спецификация программного средства
Спецификация программного средства содержит описание или ссылки на описания исполняемого ПО, исходных файлов и информацию о программной реализации, включая информацию проекта построения, компиляции, построения и процедуры модификации для ЭКПО.
Спецификация программного средства должна содержать описание:
— требований, включающих в себя обеспечение передачи ПО и обоснование требований, которым должна соответствовать достоверная копия ЭКПО;
— методов, используемых для демонстрации того, что данное ПО является достоверной копией ЭКПО.
12.28 Сообщения о дефектах
Сообщения о дефектах являются средством для идентификации и регистрации аномального поведения программного средства, несогласованности процессов с планами ПО и стандартами разработки ПО и недостатков документации жизненного цикла ПО. Сообщения о дефектах должны включать в себя:
— идентификацию элемента конфигурации и/или этапа жизненного цикла ПО, где был обнаружен дефект;
— идентификацию элемента конфигурации, который необходимо модифицировать, или описание процесса, который должен быть изменен;
— описание дефекта, достаточное для его понимания и устранения;
— описание корректирующих действий, предназначенных для устранения зарегистрированного дефекта.
12.29 Протоколы управления конфигурацией ПО
Результаты работ процесса управления конфигурацией ПО должны быть зарегистрированы в протоколах управления конфигурацией ПО. Они включают в себя, например, все идентификации конфигурации, протоколы об установлении базовой линии и регистрации в библиотеке, отчеты об истории изменений, протоколы о передаче в архив и протоколы о выпуске версии. Приведенные выше примеры не содержат всех конкретных типов информации, которую необходимо представлять в указанных документах.
Примечание — Поскольку процесс управления конфигурацией ПО интегральный по своей природе, результаты его часто включают как составную часть в другие документы жизненного цикла ПО.
12.30 Протоколы обеспечения качества ПО
Результаты работ процесса обеспечения качества ПО должны быть зарегистрированы в протоколах обеспечения качества. Они могут включать в себя протоколы просмотров и аудитов, протоколы совещаний, регистрацию отклонений от санкционированных процессов или протоколы проверки соответствия ПО.
12.31 Итоговый документ разработки ПО
Итоговый документ разработки ПО — основной документ по демонстрации соответствия Плану сертификации в части ПО. Этот документ должен содержать следующие разделы:
— Краткий обзор системы. Данный раздел содержит краткий обзор системы, включая описание ее функций и их распределение на программную и аппаратную реализацию, архитектуру, используемые процессоры, интерфейсы аппаратных средств/ПО, требования по обеспечению безопасности. Этот раздел также описывает все отличия от краткого обзора системы в Плане сертификации в части ПО.
— Краткий обзор ПО. Этот раздел кратко описывает функции ПО с акцентированием на обеспечении безопасности и используемой концепции разбиения и объясняет отличия от краткого обзора ПО в Плане сертификации в части ПО.