Валидность измерительного инструмента такого типа (в какой степени он измеряет то, что призван измерять) также обычно оценивается двумя разными способами. Первый – измерение его конструктной валидности, то есть соответствие характеристик, измеряемых пунктами теста, тем характеристикам, которые они призваны измерять. Эта процедура обычно включает использование факторного анализа для демонстрации согласованности внутренней структуры теста или корреляции с другими сходными инструментами. Второй способ состоит в измерении критериальной валидности (иногда называемой прогностической валидностью), то есть в доказательстве возможности на основе полученных баллов предсказать результаты выполнения других тестов, относительно которых существует уверенность, что они чувствительны к изучаемому конструкту.
Шихану (Sheehan, 1967а) удалось подтвердить наличие высокой корреляции между баллами, полученными при использовании сокращенной и первоначальной версии ОМО на одних и тех же испытуемых. Применение факторного анализа для определения внутренней структуры сокращенной формы ОМО выделяет первичный фактор, отражающий яркость переживаемых образов, а иногда и вторичные факторы, относящиеся к отдельным сенсорным модальностям (A. Richardson, 1994, р. 17–18). Тем не менее, как будет показано в следующем разделе, попытки продемонстрировать прогностическую валидность сокращенной формы ОМО были менее успешными.
Как в оригинальной, так и в сокращенной версии ОМО вопросы, относящиеся к каждой сенсорной модальности, предъявлялись в отдельном блоке, что, по мнению Уайта, Эштона и Ло (White, Ashton and Law, 1978), могло вызывать эффект смещения ответа за счет тенденции давать одинаковые ответы на вопросы, относящиеся к одной модальности. Поэтому они переформулировали 35 вопросов под единый формат и поставили их в случайном порядке, так что следующие друг за другом вопросы соответствовали разным модальностям. Это привело к общему повышению баллов (указывающему на меньшую яркость образов), которое Уайт с соавт. расценили как доказательство умеренного смещения ответов в предыдущих версиях ОМО. Еще одним результатом рандомизации вопросов стал «развал» факторной структуры теста, в которой две хемосенсорные модальности (обоняние и вкус) нагрузили один фактор, а две «механические» (слуховая и тактильная) – другой. Рандомизированную версию сокращенной формы ОМО можно найти в книге А. Ричардсона (А. Richardson, 1994).
Используя оригинальную версию ОМО, Шихан (Sheehan, 1967а) обнаружил, что женщины в большинстве сенсорных модальностей имеют более яркие и четкие образы, чем мужчины, но эти различия малы и статистически незначимы. В нескольких исследованиях с использованием сокращенной версии ОМО было установлено, что женщины имеют более яркие образы, чем мужчины, но эти различия также невелики, и в большинстве исследований половые различия не достигают уровня статистической значимости (см. J.T.E. Richardson, 1991). Эштон и Уайт (Ashton and White, 1980) заново проанализировали данные, полученные Уайтом с соавт. в 1978 году, и не обнаружили никаких различий между яркостью образов у мужчин и женщин. Они пришли к выводу, что половые различия, полученные по оригинальной сокращенной версии опросника ОМО, являются артефактом блоковой организации 35 пунктов опросника по сенсорным модальностям, которая приводила к тому, что женщины предпочитали использовать более «либеральный» критерий принятия решения при оценке переживаемых ими образов.
Тем не менее, некоторые результаты, полученные на рандомизированной версии ОМО, а именно, несогласованная факторная структура (White, Ashton and Law, 1978) и отсутствие половых различий (Ashton and White, 1980), можно рассматривать и как артефакты рандомизации порядка предъявления пунктов опросника. Вполне вероятно, что рандомизация усложнила использование испытуемыми устойчивых и согласованных критериев принятия решения при переходе от одного вопроса к другому.
В отличие от людей, участие которых в исследованиях проходит в форме интервью, испытуемые, заполняющие опросники, не имеют возможности сопоставить свое понимание отдельных пунктов со значением, вкладываемым в него создателями или исследователями. И все же, как показали Стэк и Шварц (Stack and Schwarz, 1992), при заполнении опросников деятельность испытуемых включает некоторые элементы общения и сотрудничества. При отсутствии эксплицитной обратной связи испытуемые пытаются использовать какие-либо подсказки для определения заложенного в опроснике значения каждого пункта, и зачастую эти подсказки ищутся именно в содержании стоящих по соседству вопросов. Следовательно, рандомизация последовательности лишает испытуемого основного источника информации о значении отдельных пунктов опросника и приводит к снижению надежности и понятности измерительного инструмента в целом.
