Наибольшее значение проблема инструментария приобретает тогда, когда изменения, происходящие в ходе исследования, смешиваются с одной из изучаемых независимых переменных. Рассмотрим исследование, в котором осуществляется сравнение успешности выполнения 1 -классниками и 2-классниками некой экспериментальной задачи. Исследователь решает протестировать большинство или всех 1-классников прежде, чем тестировать 2-классников. Для этого может быть множество причин: возможность работать только с одним учителем в одном кабинете, получение разрешения родителей только в одном классе, «нетерпение пойти поиграть* детей из одной группы, желание учителей, чтобы тестирование в их классе прошло как можно быстрее, и т. д. Однако исследователь, уступающий давлению факторов удобства, рискует упустить из вида потенциально значимый источник смещения. Если есть хоть какая-то вероятность изменения экспериментатора в ходе проведения исследования, различия между 1- и 2-классниками нельзя будет интерпретировать однозначно.
Вопрос инструментария встает не только при сравнении разных возрастных групп, но и при сравнении двух или более экспериментальных условий. Часто в исследовании с несколькими условиями легче всего сначала собрать данные для одного условия, а затем — для другого, поскольку в этом случае в одном сеансе за-действуется только один набор материалов и методик. Однако вновь цена удобства — возможное смешение. Лучше, если бы время, когда проводится тестирование в одних экспериментальных условиях, примерно соответствовало времени, когда проводится тестирование в других экспериментальных условиях.
Есть и еще один источник систематических ошибок в ситуации, когда переход к другому экспериментальному условию происходит только после завершения работы с предыдущим. Это систематические ошибки, обусловленные повсеместным требованием получения родительского разрешения на проведение практически любого исследования с детьми. Допустим, исследователь разослал по домам детей одного из классов бланки разрешений. 15 бланков вернулись незамедлительно, и эти 15 детей тестируются в условиях 1. Неделю спустя были возвращены еще 15 бланков, и эти дети тестируются в условиях 2. В этом случае валидность может исказить (помимо фактора инструментария) систематическая ошибка при отборе. Вполне вероятно, что родители, заполнившие бланки незамедлительно, отличаются от тех, кто затягивал процедуру. Тогда и дети из обеих групп, скорее всего, будут различаться независимо от изменения условия 1 на условие 2.
Необходимость предотвращения смешения факторов возраста или экспериментальных условий со временем тестирования подтверждается еще одним фактом. Как бы ни были постоянны поведение экспериментатора и процедуры, в ходе исследования могут изменяться другие потенциально значимые факторы. Это хорошо известно любому исследователю, который хоть раз пытался протестировать школьников накануне праздника или просто днем в пятницу. Исследование — это лишь одно из множества событий в жизни испытуемых, и необходимо позаботиться о том, чтобы это множество событий не привело к смешению при каком бы то ни было сравнении.
От сказанного выше легко перейти к рассмотрению переменной, которая в работах Кэмпбслл и Стэнли (1966) названа историей. В том смысле, в котором этот термин употребляют Кэмпбелл и Стэнли, история связана с вопросом, который мы только что затронули: с влиянием внешних по отношению к исследованию событий на результат этого исследования. Особое значение данная проблема приобретает в планах «претест-поеттест», в которых некое постороннее событие ведет к появлению альтернативного объяснения обнаруженных изменений. Допустим, мы изучаем отсроченное удовлетворение желания, то есть способность детей отказываться от немедленного получения небольшой награды ради получения через некоторое время чего-то более привлекательного (исследование Паттерсон и Картер (Patterson & Carter, 1979), кратко описанное в главе 2, направлено на изучение именно этого понятия). В нашем исследовании ребенок стоит перед выбором: получить одну конфету сразу или подождать до следующего дня и получить несколько конфет. Оценив способность детей к отсрочиванию удовольствия, мы вводим экспериментальное воздействие, направленное на развитие этой способности. Экспериментальная программа длится всю вторую половину октября, а повторное тестирование осуществляется в начале ноября. Мы обнаруживаем, что после прохождения экспериментальной программы детям легче устоять перед соблазном немедленного получения сладостей. Является ли это подтверждением эффективности наших действий? Необязательно, если учесть, что на один из дней между первой и второй проверкой выпадает Хэллоуин, а следовательно, и море сладостей. Имеет место смешение экспериментального воздействия и фактора истории, которое затрудняет интерпретацию результатов.
