Модель, предложенная Ф. М. Юсуповым, позволяет спрогнозировать минимальный объем выборки, достаточной для стандартизации теста.
Соответствующая модель для расчета параметров теста с эквивалентными по трудности заданиями (тест «скорость») предложена в работе В. Н. Дружинина [6].
Эмпирически проверка теста интеллекта на валидность и надежность – процедура стандартная и хорошо отражена в методических руководствах [1].
Главное, что следует заметить: все разработанные тесты рассматривают интеллект как некоторую непрерывную величину (по аналогии с ростом или весом), которой люди характеризуются в разной степени.
Подразумевается, что, как большинство биологических и социальных параметров, интеллект характеризуется нормальным распределением людей вдоль оси континуума.
Можно предположить, что существующие тесты интеллекта, включающие в себя задания разной сложности, захватывают разные участки этого континуума. Парадоксально, что это не отражается на характеристиках распределения людей по результатам тестирования! Возможно, к этому приводит искусственный подбор заданий и процедура нормализации шкалы.
Число баллов в каждом тесте интеллекта имеет верхнюю и нижнюю границы, а не простирается в бесконечность, следовательно, уместно говорить лишь о квазинормальности любого распределения людей по отношению к шкале тестового балла.
При подсчете баллов во всех тестах используется кумулятивная аддитивная модель: суммируются баллы, набранные за выполнение каждого отдельного задания, несмотря на их (заданий) содержательную разнородность.
На первый взгляд пользоваться гипотезой о прямой зависимости вероятности решения задачи от уровня способности, с определенными оговорками, можно лишь для тестов с эквивалентными по трудности заданиями. В тестах «уровня» более целесообразно было бы применять шкалу трудности, измеряя способность самым сложным заданием, которое решил испытуемый. Однако решение зависит от массы случайных факторов, начиная с угадывания и кончая индивидуальной интерпретацией тестовой задачи испытуемым.
На примере теста Равена мой аспирант Ф. М. Юсупов проверил, в какой мере валидны различные модели подсчета тестовых баллов:
1) традиционный, применявшийся в тесте балльный показатель,
2) сумма рангов сложности решенных заданий,
3) количество правильно выполненных заданий (оценка трудности заданий не учитывалась),
4) сумма показателей сложности решенных задач (сложность определялась отношением числа решивших задачу к общему числу испытуемых).
Время работы испытуемых с тестом не ограничивалось. Результаты исследования показали, что наихудшей дифференцирующей способностью обладает показатель, не учитывающий трудности задания, что естественно, поскольку мы имеем дело с тестом уровня. Наилучшая дифференцирующая способность у модифицированного показателя трудности [5]. Показатель, учитывающий сложность в рангах, и традиционный показатель заняли второе и третье место.
Для удобства факторизации показателей был введен пятый ранг наиболее сложного выполненного задания.
Факторизация по методу главных компонент с последующим их вращением по методу Г. Кайзера дала два значимых фактора (см. табл. 6). Наибольший вес по первому фактору имел традиционный показатель продуктивности, используемый в тесте Равена, а наименьший – показатель, учитывающий ранг наиболее сложного решенного задания.
Соответственно второй фактор имел максимальную нагрузку на последний показатель и минимальную – на традиционный, используемый в тесте Равена.
Поскольку первый фактор объяснял 64,9% дисперсии, а второй только 32%, можно было сделать совершенно очевидный вывод, что успешность выполнения теста Равена, несмотря на то что он является типичным тестом «уровня», определяется скоростным фактором интеллекта в большей мере, чем фактором, обусловливающим решение сложных заданий. Естественно, результаты факторизации показали, что это разные факторы, и, следовательно, тесты «скорости» измеряют иной «интеллект», чем тесты «уровня». Этот результат тем более интересен, что тест Равена мы использовали без ограничения времени решения (не как тест «скорости», а как тест «уровня»).
Второй фактор интерпретируется как предельная возможность испытуемого при выполнении теста, что в большей мере соответствует теоретическому пониманию способности как свойства психики.