Большим плюсом уравнивания является то, что оно обеспечивает четкий контроль переменных, которые в противном случае привели бы к появлению систематических ошибок. Если IQ действительно связан с величиной нашей зависимой переменной, то совершенно необходимо предотвращение смешения IQ и экспериментальных условий. Уравнивание также имеет ряд статистических преимуществ. Так же как и внутрисубъектные планы, план уравненных групп снижает нежелательную дисперсию и таким образом повышает мощность статистических критериев.
Основные недостатки уравнивания так или иначе касаются следующего вопроса: стоит ли оно того? Отбор, как правило, требует от исследователя приложения больших усилий, особенно если он должен предварительно протестировать всех потенциальных испытуемых (при отсутствии возможности воспользоваться уже собранными данными). Если переменная, по которой проводилось уравнивание, в
действительности не связана с величиной зависимой переменной, тогда уравнивание нам ничего не дает. Если выборка достаточно велика и используется случайное приписывание, группы, по всей видимости, при любых условиях будут эквивалентными, поэтому вновь уравнивание нам ничего не дает. Суть состоит в том, чтобы оценить эффективность затрат. Я уже отмечал, что планирование любого исследования связано с отбором нескольких подходящих приемов из большого набора потенциально информативных процедур. Тратить свое ограниченное время и усилия на процедуры, не повышающие качества исследования, — просто непрофессионально.
Помимо риска пустой траты усилий уравнивание иногда создает специфические трудности. В некоторых случаях прохождение испытуемыми предварительного тестирования может повлиять на их ответы при тестировании, имеющем экспериментальное значение (то, что Кэмпбелл и Стэнли назвали переменной реактивности). Возможно, к примеру, что некоторые дети испытывают тревогу, когда их забирают из класса для проведения теста интеллекта, и поэтому подозрительно относятся к дружелюбному экспериментатору, который приглашает их «пойти поиграть». Попытка создать игровую атмосферу для проведения исследования поэтому может свестись к нулю, что отразится на валидности. Уравнивание иногда приводит к выбыванию испытуемых. Если испытуемых подбирать описанным выше способом, единицей измерения становится уравненная группа, а не отдельный ребенок — к примеру, тройки подобранных по IQ детей в исследовании с тремя экспериментальными условиями. Если кто-то из тройки по той или иной причине выбывает, то нужно исключать и двух оставшихся. Везде, где велика вероятность выпадений, произведение уравнивания может оказаться невыгодным.
Есть ситуация, в которой уравнивание — заманчивый, но обычно ложный путь. Это случай, когда исследователь хочет уравнять изначально неэквивалентные группы. Мы уже встречались с примером этого, рассматривая различия в уровне образования между выборками молодых и пожилых людей. Обсудим еще один пример, взятый из работы исследователей Нила и Либерта (Neale & Liebert, 1986). Представьте, что вы хотите определить, добиваются ли те, кто окончил среднюю школу, большего материального благополучия, чем те, кто ее не закончил. Однако вас беспокоит, что эти две группы различаются по среднему IQ — допустим, 105 у выпускников и 90 у не окончивших. По причине несоответствия IQ любое из обнаруженных межгрупповых различий получает альтернативное объяснение: возможно, разница в благосостоянии является простым отражением различий в когнитивных способностях и не имеет ничего общего с окончанием или неокончанием школы. Поэтому вы решаете уравнять группы по параметру IQ Исключив IQ как потенциальную причину смешения, можно с большим основанием отнести различия в уровне благосостояния на счет преимуществ среднего образования.
Эта процедура имеет, по крайней мере, три недостатка, два из которых мы обсудим здесь, а рассмотрение третьего отложим до следующих разделов. Во-первых, данная процедура накладывает определенные ограничения на внешнюю валидность, поскольку по меньшей мере одна из двух групп не будет абсолютно репрезентативна (то есть либо нетипично высокий IQ у не окончивших школу, либо нетипично низкий IQ у окончивших школу). Во-вторых, приводя в соответствие
