В.И. Звонников, М.Б. Челышкова
Контроль качества обучения при аттестации: компетентностный подход
Список сокращений
ЕГЭ – единый государственный экзамен
ИСО 9001 – международные стандарты
КИМ – контрольно-измерительные материалы
ППС – профессорско-преподавательский состав
ПТМ – педагогические тестовые материалы
СМК – система менеджмента качества
ФГОС – федеральный государственный образовательный стандарт
АEA – American Evaluation Association (Американская ассоциация оценки)
AMA – American Management Association (Американская ассоциация менеджмента)
CES – Canadian Evaluation Society (Канадское общество оценки)
EQUIS – European Quality Improvement System (Европейская система совершенствования качества)
ETS – Educational Testing Service (Служба образовательного тестирования, США)
IRT – Item Response Theory (теория современного конструирования тестов)
ISO – International Organization for Standardization (Международная организация по стандартизации)
SOLO – Structure of the Observed Learning Outcomes (структура наблюдаемых результатов обучения)
SPSS – Statistical Package for the Social Sciences (статистический пакет для социальных наук)
ТQM – Total Quality Management (концепция всеобщего управления на основе качества)
TUNING PROJECT – Настройка образовательных структур в Европе (проект)
Примечание редактора электронного текста: Для корректрого отображения спецсимволов рекомендуется просматривать текст с использованием шрифта Lucida Sans Unicode.
Введение
В настоящем учебном пособии рассматриваются корректные подходы к оценке качества результатов образования в рамках компетентностного подхода. Оно содержит краткие теоретические и методические сведения о компетентностном подходе и измерениях в образовании, методики разработки аттестационных тестов, обзор возможностей инновационных измерителей и требования к их характеристикам, методики обработки и анализа данных тестирования.
В интересах краткости и доступности изложения в книге опущены темы, посвященные разработке междисциплинарных тестов, многомерному шкалированию, факторному анализу, современной теории тестов (Item Response Theory) и некоторые другие. Иными словами, в настоящем пособии не нашли отражения наиболее сложные методики аппарата педагогических измерений, которые используются профессионалами и необходимы для полноценной реализации компетентностного подхода к оценке качества результатов обучения. Поэтому изучение представленного в книге учебного материала можно и нужно рассматривать как важный, но лишь первый шаг в деле освоения практических умений оценивания компетенций студентов при их аттестации и внедрении компетентностного подхода в сферу высшего образования.
На содержание этой книги повлияли два обстоятельства, послужившие побудительным мотивом к ее появлению. Первое из них – это введение в высшей школе нового поколения федеральных государственных образовательных стандартов. А второе – отсутствие в нашей стране необходимого опыта педагогических измерений. И хотя статистическая теория обоснования качества тестовых оценок хорошо развита за рубежом, а в России вышло несколько учебных пособий на эту тему, создание тестов у нас по-прежнему обычно ведется интуитивно, без опоры на научные методы теории измерений.
Преподаватели посвящают немалое время разработке многочисленных контрольных заданий, имитирующих по форме тесты. Фактически же эти задания остаются обычными вопросами, поскольку их основные характеристики не опираются на доказательные количественные оценки. В первую очередь речь идет о количественных оценках валидности задания, числа оцениваемых переменных (размерности задания) и вклада ошибочного компонента по отдельным заданиям в общую ошибку измерения. Именно этим характеристикам и их оценкам на основе развернутого статического анализа данных измерений в настоящем учебном пособии уделяется большое внимание.
Разработка любого аттестационного теста требует обязательного обоснования релевантности его содержания переменной или переменным измерения, использования математико-статистических методов для проверки соответствия теста определенным критериям качества и анализа точности обеспечиваемых им оценок. Необходимость такого обоснования резко возрастает в связи с введением федеральных государственных образовательных стандартов третьего поколения, где требования к качеству результатов образования формулируются в виде набора общекультурных и профессиональных компетенций.
Весьма высокая сложность контрольно-оценочных процессов, связанная с латентной природой результатов обучения, усугубляется специфическими характеристиками компетенций. К ним относятся многомерность, междисциплинарность, связь с индивидуальными задатками обучаемых, а также объективация компетенций после окончания обучения. Таким образом, сам компетентностный подход требует актуализации методов оценивания конструктной, прогностической и содержательной валидности, надежности и размерности результатов оценочных процессов с учетом различных факторов, влияющих на качество результатов образования.