• уровня реализации вузом задач высшего образования;
• уровня учебных достижений в терминах компетентностного подхода и корреспондирующей с ним совокупностью знаний, умений, навыков.
Если сосредоточиться на процессе обучения, то динамический анализ качества можно вести на различных уровнях.
Первый уровень – планирование обучения, когда определенные представления о планируемом качестве подготовки закладываются в образовательные программы по каждой дисциплине. Второй уровень – этап реализации образовательных программ в учебном процессе, на котором качество подготовки обучаемого приходится рассматривать в сочетании с целым спектром факторов, определяемых личностными особенностями усвоения, качеством преподавания и организации учебного процесса. Третий уровень анализа качества подготовки обычно проводится с позиций оценки результатов осуществленного учебного процесса.
В целом можно сделать вывод о том, что эффективность работы по анализу динамики изменения качества образования во многом зависит от того, насколько правильно структурирована совокупность компетенций, насколько она поддается операционализации, представляется в виде некоторой системы показателей, поддающихся измерению либо экспертному оцениванию. Уже сейчас на этапе перехода к новым стандартам следует отказаться от прежнего эклектического подхода к оцениванию качества результатов обучения в аттестации и разработать системный подход к формированию содержания измерителей, выбору их видов и форм заданий, построению стандартизованных шкал и интерпретации результатов аттестации в условиях их высокой надежности, валидности и сопоставимости.
Ядро такого системного подхода должна составлять методология педагогических измерений, к ведущим принципам которой следует отнести:
• сочетание количественных и качественных уровней измерения, характерное для бипарадигмальной методологии;
• привлечение психодиагностических методик и специальной теории для измерения изменений качества результатов образования;
• учет совокупности факторов, оказывающих влияние на формирование компетенций, анализ их методами линейного иерархического моделирования;
• обеспечение высокой надежности (объективности) результатов измерений (максимизация дисперсии наблюдаемых результатов измерения, минимизация дисперсии ошибочных компонентов, систематический контроль внешней дисперсии, привнесенной посторонними факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое неустранимое влияние);
• обеспечение высокой конструктной, содержательной и прогностической валидности (обоснованности) результатов измерений;
• применение методов анализа размерности пространства измерений и использование методов многомерного шкалирования;
• применение лонгитюдных (проводимых с учетом фактора времени) измерений в аттестационных процессах, переход к режиму мониторинга качества результатов образования;
• применение различных измерителей (тесты учебных достижений, тесты практических умений, кейсы, портфолио, психологические тесты);
• использование, факторного, дисперсионного и метаанализа для изучения данных о качестве подготовки студентов;
• сочетание внешних и внутренних экспертиз при аттестации.
Для реализации этих принципов в аттестации необходим ряд подготовительных работ, в число которых входят:
• создание общей концептуальной базы аттестации;
• разработка профессиограмм для различных направлений подготовки;
• структурирование и операционализация компетенций (перевод в плоскость измерений);
• концептуальный выбор размерности измерений;
• определение дизайна измерений (схемы сочетания измерителей, обеспечивающих построение количественных и качественных шкал);
• формирование репрезентативных выборок студентов или выпускников для апробации измерителей;
• разработка первой версии инструментария (предметно-ориентированных тестов, компетентностных тестов, портфолио, кейс-измерителей, анкет и т.д.);
• апробация, оценивание размерности пространства измерений и определение числа шкал;
• получение экспертных (внутренних и внешних) и статистических оценок качества инструментария;
• анкетирование работодателей;
• коррекция инструментария;
• проведение измерений;
• сбор и обработка данных;