Понятно, что сверхстандартизация может быть причиной искажения внешней валидности. В описанном выше исследовании цель — получить в той или иной мере обобщенные выводы относительно эффективности апелляции к рассудку или эмоциям. Для нас нежелательно, чтобы результаты зависели от индивидуальных качеств говорящего или от способа подачи текста, так как полученные в этом случае выводы нельзя считать справедливыми для конкретного исследования.
Трудности, создаваемые сверхстандартизацией, доказывают значение, которое в научном исследовании имеет воспроизведение. При воспроизведении, по определению, сохраняются неизменными те характеристики, на изучение эффекта которых направлено само исследование; к примеру, обращение к эмоциям или к рассудку в гипотетическом исследовании эффективности убеждения. В то же время другие характеристики практически неизбежно изменяются, особенно если исследование воспроизводит другой исследователь, в другой лаборатории. Поэтому человек, выступающий в роли убеждающего, скорее всего будет другим, как и экспериментатор, взаимодействующий с испытуемыми, а также помещение, в котором проводится эксперимент, время года и т. д. Обнаружив те же эффекты эмоционального и рационального убеждения, несмотря на все изменения, мы сможем более уверенно говорить о том, что тот или иной результат действительно обусловлен характером обращения. И наоборот, если бы нам не удалось воспроизвести изначально полученные результаты, это означало бы, что параметры процедуры, считавшиеся несущественными, в действительности не так уж несущественны.
Когда сверхстандартизация становится проблемой в исследовании психологии развития? Пожалуй, чаще всего в случаях, аналогичных тем, которые описали Кзмпбелл и Стэнли: когда все данные собирает один экспериментатор. В обзоре журналов по психологии развития (табл. 1.3) учитывалось в том числе и количество экспериментаторов, принимавших участие в исследованиях, в которых могли иметь значение характеристики экспериментатора. В 30 % отчетов из тех, в которых имелась подобная информация, указывалось на наличие одного экспериментатора; только в 22 % случаев количество экспериментаторов достигало четырех. Обратите внимание, что по меньшей мере 69 % статей при данном подсчете не учитывалось, поскольку в них не содержалась информация о количестве экспериментаторов; в действительности в 52 % отчетов вообще отсутствовала какая-либо информация об экспериментаторах.
Неудивительно, что исследования, проводимые одним экспериментатором столь распространены. Использование одного экспериментатора требует меньше расходов, меньше времени на подготовку и не связано с проблемой составления графика проведения исследования и подбора экспериментаторов. Каким бы заманчивым ни казался этот выбор, всегда помните о том, что если экспериментатор работает в одиночку, то становится константным элементом экспериментальной процедуры, элементом, который может влиять на результаты исследования. Совпадение результатов, полученных разными экспериментаторами, служит залогом внешней валидности исследования.
Некоторые систематические ошибки
Мы пришли к заключению, что недостаточная или чрезмерная стандартизация может создать определенные проблемы. В этом разделе будет рассмотрено еще несколько, теперь уже более специфических причин искажения валидности. При этом я ссылаюсь на работы Кэмпбелл и Стэнли (Campbell & Stanley, 1966), а также Куки Кэмпбелл (Cook & Campbell, 1979), выводы которых сведены в табл. 2.4. Мы проанализируем четыре специфические причины: инструментарий, систематическую ошибку при отборе испытуемых, фактор истории и реактивность.
Как отмечалось в главе 4, инструментарий — это фактор изменения физических инструментов измерения либо экспериментаторов и наблюдателей в ходе проведения исследования. Поэтому он попадает в категорию неудовлетворительной стандартизации: некоторый аспект процедуры, который должен быть неизменным, в Действительности изменяется в процессе исследования. Хотя в некоторых случаях изменения затрагивают инструментарий в буквальном смысле (например, секундомер, неисправно работающий в сырую погоду), чаще всего изменения касаются человека, выполняющего роль экспериментатора или наблюдателя. К примеру, в ходе исследования экспериментатор приобретает мастерство и уверенность при инструктировании испытуемых. Или наоборот, процесс работы утомляет и разочаровывает экспериментатора, и он начинает допускать небрежности. В любом случае, процедура, которую проходят первые испытуемые, будет отличаться от той, которую проходят следующие.
