Добротное исследование должно отвечать требованиям и внутренней, и внешней валидности. Как замечают Кэмпбелл и Стэнли (Campbell & Stanley, 1966), «внутренняя валидность — это базовый минимум, без которого невозможно интерпретировать ни один эксперимент» (р. 5). С точки зрения логики, при отсутствии внутренней валидности невозможно обобщить результаты исследования, поскольку они вообще невалидны. Однако внешняя валидность также играет огромную роль. Внутренне валидные выводы бессмысленны, если они не работают за пределами экспериментальной ситуации.
Внутренняя валидность также является необходимым условием третьей формы валидности — конструктной. Конструктная валидность имеет отношение к теоретической точности: правильно ли мы объясняем причинно-следственные связи, которые были обнаружены в исследовании? Иными словами, если допустить, что выводы внутренне валидны, знаем ли мы, почему получили определенные результаты? Предположим, мы уверены в том, что манипуляции с контекстом в исследовании Черри и Парк действительно обусловливают различия в успешности запоминания. Почему контекст имел значение? Вероятно, наиболее очевидное объяснение — которым руководствуются в большинстве подобных исследований — заключается в том, что важны именно отчетливость и детальность визуальной информации: местоположение предмета лучше всего запоминается тогда, когда он помещен в достаточно дифференцированную среду. Однако вероятно и другое обоснование. Возможно, модель была более интересна и привлекательна, чем схема, что вызывало более пристальное внимание, а отсюда лучшее запоминание. Согласно этой точке зрения, любые манипуляции, которые повышают уровень внимания, должны повышать и успешность выполнения задания вне зависимости от отчетливости фона или наличия ориентиров. Возможно также, что испытуемые чувствовали себя более уверенно перед пространственной моделью, так как она более привычна, чем абстрактная схема, и именно повышение уверенности улучшало результаты. Если правдоподобные альтернативные объяснения нельзя исключить, тогда исследование характеризует недостаточная конструктная валидность. Сказанное выше — всего лишь предварительные замечания о конструктах, которые в дальнейшем мы будем рассматривать с разных точек зрения. Пока же сделаем еще одно замечание, касающееся валидности. Оно имеет отношение к трудности достижения в одном исследовании всех форм валидности. Эта трудность обусловлена тем, что меры, принимаемые исследователем с целью повышения одной формы валидности, работают против другой формы. Необходимость компромиссного выбора наиболее очевидна в отношении внутренней и внешней валидности. В целом, чем жестче контроль, тем выше внутренняя валидность исследования — то есть тем больше уверенности может быть у экспериментатора в том, что переменные связаны между собой именно так, как он предполагает. В то же время искусственный характер ситуации жестко контролируемого эксперимента ставит под угрозу возможность перенесения результатов на внелабораторные условия. И наоборот, исследование, проведенное в естественной обстановке при естественном поведении, не ставит под сомнение возможность обобщения, поскольку ситуации, на которые исследователь хочет перенести свои выводы, максимально приближены к тем, которые он изучает. Однако недостаток экспериментального контроля может крайне затруднить установление валидных отношений.
При принятии решений, касающихся переменных, нужно отвечать на вопрос «какие»: какие независимые переменные я буду изменять и какие потенциальные следствия этих изменений я буду измерять? Но важен также ответ на вопрос «кто»: на ком я буду изучать связи между независимыми и зависимыми переменными?
Формирование группы участников эксперимента называется отбором. Отбор важен по причине ограниченности рамок исследования. За очень редкими исключениями психологи не имеют возможности обследовать всех людей, которые их интересуют. Изучающий период младенчества, к примеру, не будет обследовать всех младенцев в мире, даже всех, родившихся в США, или (вероятно) даже тех, кто родился в определенном регионе. Вместо этого он обследует выборку, на основе результатов которой он надеется сделать общие выводы об интересующей его популяции. Обобщение правомерно, если выборка репрезентативна в отношении популяции. Это, как явствует, вопрос внешней валидности.
