Эксперименты
Эксперименты проводятся для того, чтобы понять причинно-следственные связи, влияние изменений одной переменной на другие.
К числу преимуществ экспериментов следует отнести то, что они позволяют:
А) устанавливать связи между зависимыми и независимыми переменными;
Б) отследить временную последовательность воздействия и замера;
В) контролировать помехи;
Г) получать достоверные результаты.
Недостатками экспериментов являются:
А) значительные временные затраты (особенно, если надо выявить результаты длительных воздействий, например, реальной рекламной кампании);
Б) дороговизна;
В) сложность организации;
Г) неизвестный срок годности результатов (результаты эксперимента будут полезными только в том случае, если организация успеет воспользоваться выявленным преимуществом).
Каждый эксперимент состоит из шести основных этапов независимо от того, кем он осуществляется, и от предмета изучения (рисунок. 4.2.9).
1. Определение цели эксперимента.
Все экспериментальные цели можно объединить в три группы:
А) изучение наличия влияния одного фактора на другой. Например, влияет изменение упаковки на степень покупательских предпочтений;
Б) исследование величины влияния одного фактора на другой. Например, насколько изменится объем продаж в результате проведения рекламной игры;
В) определение перечня факторов, оказывающих влияние. Например, какие факторы оказывают влияние на объем продаж конкретного товара.
2. Выбор зависимых и независимых переменных.
В каждом эксперименте имеется, по крайней мере, одна зависимая переменная, одна независимая переменная и манипулирование.
Зависимая переменная (переменные) — это то, что исследователь стремится объяснить, т.е. критерий, используемый для того, чтобы оценить влияние независимой переменной. Изменения зависимой переменной, произошедшие под воздействием независимых переменных, замеряются.
Независимая переменная (переменные) используется для объяснения изменений зависимой переменной. Ее значения исследователь меняет с целью замера результирующих изменений других переменных.
Манипулирование – это варьирование независимой переменной (переменными) в процессе осуществления эксперимента.
Эксперименты дают возможность установить причинную связь, т.е. предположить, что причина изменений зависимой переменной (переменных) обусловлена манипуляциями, совершенными с независимой переменной (переменными). Однако прежде чем признать эту причинную связь, необходимо соблюсти три критерия.
События должны происходить в соответствующем порядке. Для того чтобы одно событие влекло за собой другое, оно должно предшествовать ему.
Причина должна быть статистически связана с эффектом. Это свойство при чинно-следственной связи, называемое совместной вариацией (ковариацией), требует, чтобы причина и следствие происходили или сменяли друг друга в одно и то же время.
Альтернативные объяснения должны быть сведены к минимуму. Если невозможно устранить все альтернативные толкования результатов эксперимента, необходимо построить эксперимент таким образом, чтобы исключить максимальное количество альтернативных причинных факторов. Когда все правдоподобные альтернативные толкования результатов будут исключены, можно быть уверенным в том, что манипулирование с независимой переменной обусловило наблюдаемые перемены зависимой величины.
Хотя для установления причинной связи важны все три критерия, наиболее значительным все же представляется третий из них, так как он влияет на интровалидность эксперимента.
3. Обеспечение валидности экспериментов.
Проводя эксперименты, мы преследуем две цели:
- сделать надежные выводы об эффектах, обнаруженных в ходе экспериментов над конкретными отобранными для этого объектами;
- распространить эти выводы на все объекты из исследуемой совокупности.
Возможность достижения первой цели означает наличие интровалидности экспериментов, возможность достижения второй цели — наличие экстровалидности.
Валидность (от франц. valide - законный, действительный) - применительно к исходной статистической информации, используемой в маркетинговых исследованиях: надежность информации, отсутствие в ней ошибок из-за неточности выбранной методики сбора данных. Применительно к экспериментам это показатель качества эксперимента, гарантирующего обоснованность выводов.
Интровалидность или внутренняя достоверность (internal validity) означает, таким образом, что выявленные изменения зависимых переменных являются результатом именно запланированных нами различий в значениях независимых переменных, а не влияния каких-либо других факторов. Следовательно, для обеспечения интровалидности все потенциально важные внешние факторы должны контролироваться. Интровалидность минимально необходима. Если ее нет, то вообще не о чем говорить; в экспериментах ничего не обнаружено.
Уровень интровалидности снижается, когда присутствуют альтернативные объяснения. Исследователи выделяют семь типов возможных угроз интровалидности эксперимента.
Наличие подобных угроз при проведении эксперимента снижает вероятность того, что основанные на результатах исследований решения будут корректными, поскольку уменьшается степень уверенности исследователя в существовании причинно-следственной связи между экспериментальным манипулированием и результатами экспериментов.
1. Факторы зрелости (maturation) – это влияние на ход проведения эксперимента изменений в самих единицах наблюдения. Эти изменения не связаны с изменениями независимых или зависимых переменных, а обусловлены течением времени. Для эксперимента, в котором участвуют люди, фактор зрелости проявляется по мере того, как респонденты становятся старше, опытнее, устают или раздражаются, теряют интерес к происходящему. Зрелость затрагивает также и другие единицы наблюдения, а не только людей. Например, магазины с течением времени могут изменять площадь торгового зала, оформление, маршруты движения покупателей, структуру.
Частным случаем проявления фактора зрелости является фактор естественного развития. Во время эксперимента отношение, поведение и физиология респондентов меняются. Опрашиваемые лица могут устать, проголодаться, испытывать жажду, заскучать или утратить интерес к исследованию в процессе проведения эксперимента. Именно эти изменения естественного развития представляют угрозу для интровалидности. Все они могут потенциально повлиять или исказить проявление зависимой переменной.
К концу эксперимента интерес респондентов к нему и к его теме может значительно снизиться по сравнению с тем, что было вначале. Это повлечет за собой поверхностные ответы на анкетирование, проводимое в конце эксперимента. Анализ таких ответов может некорректно отразить глубину отношения и заинтересованности респондентов в испытуемом товаре, хотя в действительности они в нем более заинтересованы, а на вопросы анкеты отвечали односложно, чтобы побыстрее закончить свое участие в эксперименте.
2. Основной эффект тестирования (main testing effect) возникает, когда результаты второго замера сближаются с результатами первого из-за того, что объекты тестирования о нем помнят. Так бывает, например, когда человек при втором анкетировании старается вспомнить, что он говорил первый раз, и, по возможности, сказать то же самое, хотя в действительности его мнение уже могло измениться. И если человека спрашивают о разных брендах товара, а между замерами ему была показана реклама, то оценка ее влияния будет искажена воспоминаниями об отношении к брендам до показа рекламы. Таким образом, основной эффект тестирования снижает внутреннюю валидность экспериментов.
Одним из проявлений основного эффекта тестирования является фактор взаимодействия (interaction), который имеет место, когда беседа, проведенная в начале эксперимента, увеличивает чувствительность и восприимчивость респондента к действию независимой переменной и, следовательно, влияет на его реакцию при измерении зависимой переменной. Угроза взаимодействия не требует непосредственного влияния предварительного измерения. Взаимодействие происходит всякий раз, когда независимая переменная с большей вероятностью замечается респондентом и вызывает его реакцию, нежели без предварительного измерения. Таким образом, факторы взаимодействия возникают тогда, когда предварительное измерение и независимая переменная оказывают особенное комбинированное воздействие на зависимую переменную.
3. Инструментальная погрешность (instrumentation). Это изменения в использовании измерительных инструментов (например анкеты) или методов фиксации данных во время эксперимента.
Этот эффект возникает, когда по тем или иным причинам приходится менять инструменты измерения, например, отдельные шкалы в анкете. Такая ситуация, скажем, вызвана деноминацией в январе 1996 года. Другой пример — необходимость смещения шкалы просто для учета инфляции. Механически пересчитанная шкала будет восприниматься по-иному. Ведь известно, что «круглые числа» и ближайшие к ним снизу (например, 1000 и 999) по-особому воспринимаются людьми. А учет инфляции смещает эти «реперные точки».
Как следует из изложенного выше, влияние изменений в инструментарии имеет место большей частью тогда, когда в процессе эксперимента проводятся замеры факторов-характеристик до и после изменения базисного фактора. Эффективность действий интервьюеров также бывает различной в различное время. Даже если претест и посттест проводят одни и те же интервьюеры, сами они со временем изменяются и это влияет на результат.
Подобные изменения воздействуют на интровалидность эксперимента, так как неизвестно, чему приписывать различия в отношении или поведении, наблюдаемые до и после экспериментального манипулирования: самому процессу манипулирования, изменению измерительных инструментов, методики записи, способов сбора данных или непоследовательному проведению интервью.
4. Эффект статистической регрессии (statistical regression) возникает в том случае, если единицы наблюдения с крайними значениями показателей приближаются к средним значениям в процессе эксперимента. Эффекты статистической регрессии означают дрейф крайних, отличающихся от остальных, оценок в сторону средней величины.
Тестируемые единицы могут существенно отличаться по своему состоянию или могут быть специально отобраны для эксперимента по причине своей маржинальности. Люди могут отбираться для исследования в силу своего экстремального поведения, например, с точки зрения потребления алкоголя. Предположим, что потребительская панель образована именно из таких индивидуумов. Тогда вполне вероятно, что при последующем обследовании сообщаемые ими данные об употреблении алкоголя будут близки к среднему значению.
В другом случае структурное исследование, посвященное анализу потребления конкретной марки апельсинового сока, может выявить несколько семей, которые выпили по 10 упаковок сока в течение недели. Возможно, это произошло потому, что у одного из членов этой семьи был день рождения, и, таким образом, последующие измерения могут выявить, что они потребляют апельсиновый сок примерно в тех же количествах, что и большинство семей.
Аналогичную угрозу представляет фактор отбора (selection), который имеет отношение к составу и характерным особенностям групп, участвующих в проведении экспериментальных исследований, и возникает при проведении экспериментов с экспериментальной и контрольной группами. Фактор отбора для интровалидности проявляется всякий раз, когда характерные черты этих двух групп перед началом проведения эксперимента отличаются. Фактор отбора имеет место, когда участники экспериментальных и контрольных групп отличаются по важным демографическим признакам, установкам, поведению, а также своим первоначальным уровнем в отношении зависимой переменной или по вероятной восприимчивости к воздействию независимой переменной. Возможность возникновения этого риска можно свести к минимуму, используя метод случайного отбора при распределении участников в экспериментальную и контрольную группу.
5. Предварительное измерение (preliminary measurement). Факторы предварительного измерения и взаимодействия тесно связаны между собой. Каждый из них возможен в том случае, если участники опрашиваются перед экспериментальным манипулированием и воздействием независимой переменной. Фактор предварительного измерения возникает тогда, когда беседа, проведенная в начале эксперимента, непосредственно сказывается на действиях и поведении респондента, фиксируемых беседой, проведенной уже после экспериментального манипулирования. В отличие от взаимодействия угроза предварительного измерения на валидность происходит без предъявления независимой переменной. Все наблюдаемые изменения в отношении и поведении происходят в результате воздействия первоначального измерительного средства.
6. Влияние фона (background). Фоном в контексте проведения экспериментов называются события и воздействия, которые имеют место в эксперименте, помимо тех воздействий, которыми исследователь целенаправленно манипулирует, и потенциально влияют на его результат, измеряемый зависимой переменной (переменными). Угрозы фонового влияния могут происходить из нескольких источников. Некоторые фоновые влияния возникают при обстоятельствах, не поддающихся какому-либо контролю. Например, результаты эксперимента по измерению воздействия различных способов стимулирования потребления некоторых безалкогольных напитков могут быть искажены из-за нескольких недель непрогнозируемой, не по сезону жаркой или холодной погоды. Некоторые фоновые влияния являются результатом преднамеренных действий других лиц. Способность компании влиять на результаты экспериментов конкурентов (обычно именуемых "противодействием конкурентов") служит одной из причин возрастающей популярности смоделированного (или лабораторного) пробного рынка.
7. Выбывание (lossing). Фактор выбывания характерен для экспериментов с контрольной и экспериментальной группами и имеет отношение к составу этих групп.
Угроза выбывания для интровалидности возникает всякий раз, когда характеристики экспериментальных и контрольных групп различаются по важным демографическим переменным, отношениям, поведению, первоначальному уровню в отношении зависимой переменной или вероятной восприимчивостью к воздействию независимой переменной при завершении эксперимента. Угроза валидности, связанная с выбыванием, обычно имеет место, когда отличающиеся типы людей перестают участвовать в проведении исследований в каждой из групп.
Экстровалидность или внешняя достоверность (external validity) связана с возможностью обобщения выявленной в процессе эксперимента причинно-следственной зависимости. Иными словами, экстровалидность означает возможность генерализации, обобщения выводов о наличии зависимости и их распространения на другие объекты, периоды времени за пределами изученной в ходе экспериментов ситуации. Поэтому экстровалидность оказывается под угрозой, если для экспериментов были отобраны слишком «лабораторные», далекие от реальной жизни ситуации. А значит, угрозы для экстровалидности во многом являются платой за стремление во что бы то ни стало обеспечить интровалидность экспериментов: фиксируя внешние переменные, мы неизбежно снижаем общность выводов.
Для обеспечения экстровалидности экспериментов необходимо учитывать следующие факторы.
1. Исторические факторы (history). Как хорошо мы бы ни спланировали эксперименты, в период их проведения может что-то произойти. И чем дольше длится эксперимент, тем больше шансов, что за это время возникнет существенный внешний эффект.
В противоположность своему названию, исторические факторы не имеют отношения к событиям, происходившим до начала эксперимента. Под историческими факторами понимаются специфические события, посторонние по отношению к эксперименту, но происходящие одновременно с ним. Такого рода события могут воздействовать на значения зависимых переменных.
2. Интерактивный эффект тестирования (interactive testing effect). Его влияние можно оценить количественно, измеряя значения зависимых переменных до и после представления респондентам базисных факторов или условий. Интерактивный эффект тестирования снижает экстровалидность и заключается, например, в том, что человек, которого спрашивали об отношении к брендам, более подготовлен к восприятию рекламы, чем тот, кому таких вопросов не задавали.
3. Отклонение выборки, ошибка отбора (selection bias) возникает в результате неверного определения состава групп единиц наблюдения для оценки действия независимой переменной. Это отклонение возникает, когда порядок формирования групп единиц наблюдения приводит к созданию групп, отличающихся по какой-либо зависимой переменной еще до начала эксперимента. Если единицы наблюдения объединяются в группы по собственному выбору либо на основе произвольных указаний исследователя, возможно возникновение отклонения выборки. Например, обнаруженные различия между двумя группами магазинов, которым были назначены разные значения независимых переменных, могут быть всего лишь результатом того, что в первой группе просто оказалось больше крупных магазинов, чем во второй, а крупные магазины по-иному «откликаются» на тестовое воздействие.
4 . Фактор множественных воздействий (plural influences), который может иметь место в случае, если одни и те же респонденты подвергаются нескольким экспериментальным воздействиям, поскольку эффекты предыдущих воздействий обычно устранить не удается.
5. Фактор отсеивания (mortality) — фактор, связанный с выбытием части единиц наблюдения в процессе эксперимента. Это происходит по многим причинам, в том числе в связи с отказом части респондентов участвовать дальше в эксперименте. Отсеивание единиц наблюдения искажает результаты эксперимента, поскольку трудно определить, является ли реакция выбывших элементов на независимый фактор в среднем такой же, как и у оставшихся элементов.
Факторы, снижающие валидность экспериментов, можно классифицировать как внутренние и внешние (табл. 4.21).
Таблица.4.21. Классификация внешних и внутренних факторов, снижающих валидность экспериментов.
Название Интровалидность Экстровалидность
Внутренние факторы 1. Основной эффект тестирования
2. Инструментальная погрешность
3. Эффект статистической регрессии
4. Предварительное измерение 1. Отклонение выборки
Внешние факторы 1. Факторы зрелости
2. Влияние фона
3. Выбывание 1. Исторические факты
2. Интерактивный эффект тестирования
3. Фактор множественных воздействий
4. Фактор отсеивания
Очень желательно иметь план проведения эксперимента, обеспечивающий требования и интро- и экстровалидности, но в практических маркетинговых исследованиях, как правило, приходится отступать от требований одной из них для достижения другой. Чтобы обеспечить контроль за посторонними факторами, исследователь вынужден проводить эксперимент в искусственных условиях (лабораторный эксперимент). Это позволяет обеспечить интровалидность, но ограничит возможность обобщения результатов, тем самым, нарушая экстровалидность. Эксперимент же, проводимый в естественных условиях (полевой эксперимент) обеспечивает высокую экстравалидность, однако попадает под воздействие множества угроз интровалидности.
Различные типы факторов, снижающих валидность, не взаимоисключающие. Они могут действовать одновременно и взаимодействовать.
Можно выделить следующие способы контроля факторов, снижающих валидность.
1. Рандомизация (randomization) представляет собой один из методов контроля посторонних факторов, включающий случайный отбор единиц наблюдения в экспериментальные группы на основе использования случайных чисел. Варианты базисных факторов или условий для отдельных экспериментальных групп определяются также случайным образом. Например, респонденты случайным образом распределяются в три группы для проведения эксперимента. Один из трех образцов рекламного ролика, выбранный случайным образом, предлагается для просмотра каждой группе. В результате случайного отбора посторонние факторы одинаково влияют на результаты оценки каждого из трех вариантов независимой переменной. Случайный отбор — приоритетный метод обеспечения равнозначности экспериментальных групп. Тем не менее, случайный отбор оказывается неэффективным, если размер экспериментальной группы невелик, поскольку он обеспечивает равнозначность групп лишь в среднем. Таким образом, существует возможность проверить эффективность метода случайного отбора, оценивая влияние возможных посторонних факторов на каждую из экспериментальных групп с последующим сравнением результатов.
2. Выравнивание (matching). Этот метод предполагает группировку единиц наблюдения на основе набора базовых критериев, прежде чем они подвергаются воздействию независимых переменных и состоит в разбиении совокупности объектов тестирования на схожие по внешним характеристикам группы и отборе по одинаковому числу схожих объектов в каждую группу.
Этот метод имеет два основных недостатка. Во-первых, группировка единиц наблюдения может быть проведена лишь по ограниченному числу критериев, т.е. сформированные таким образом экспериментальные группы могут быть равнозначными по установленным критериям, но неравнозначными по другим критериям. Во-вторых, если критерии группировки не влияют на зависимые переменные, то применение выравнивания бесполезно.
3. Статистический контроль (statistical control) представляет собой один из методов контроля факторов, снижающих валидность, предполагающий измерение их влияния с его последующей корректировкой методами статистического анализа. Речь идет о применении методов ковариационного и дисперсионного анализа для оценки значимости влияния независимых переменных на зависимые. При этом учитываются также и внешние переменные.
4. Контроль методики (design control) состоит в использовании специальных методик эксперимента. При этом формы контроля и обеспечивающие его специальные методики проведения эксперимента могут быть различны. Например, в мире широко используется контролируемое продвижение нового товара с помощью электроники на пробном рынке. Этот метод позволяет контролировать ряд посторонних факторов, влияющих на динамику продаж нового продукта, и изменять базисные факторы в заданном направлении. Он дает возможность убедиться в том, что новый продукт достаточно представлен в магазинах, привлекательно расположен на соответствующих полках магазина, представлен на достаточном количестве рекламных плакатов, имеется на складах в достаточном количестве, и достиг запланированной интенсивности продвижения на рынок, рекламы и уровня цены в предусмотренные сроки.
Определенные способы контроля позволяют снижать угрозы со стороны различных факторов, снижающих валидность экспериментов (табл. 4.22).
Таблица 4.22. Методы контроля факторов, снижающих валидность.
Способы контроля Факторы, снижающие валидность экспериментов
Рандомизация Отклонение выборки
Фактор множественных воздействий
Выравнивание Интерактивный эффект тестирования
Выбывание
Статистический контроль Факторы зрелости
Влияние фона
Исторические факторы
Факторы отсеивания
Контроль методики Основной эффект тестирования
Инструментальная погрешность
Эффект статистической регрессии
Предварительное измерение
3. Выбор модели эксперимента. Модели эксперимента можно классифицировать на две большие группы: классические и статистические. Основное различие между ними состоит в том, что в рамках классических экспериментов исследуют воздействие только одного уровня независимой переменной каждый раз. С другой стороны, статистические модели позволяют изучить влияние различных уровней воздействия независимой переменной, а также влияние двух и более независимых переменных. На рисунке 4.2.10 представлена классификация наиболее часто используемых моделей эксперимента.
При рассмотрении основных типов экспериментальных проектов используют следующие общепринятые термины:
X – подверженность индивидуума или группы экспериментальной процедуре;
О – процесс регистрации или измерения тестируемых единиц;
EG – экспериментальная группа;
CG – контрольная группа.
1. Классические модели экспериментов можно классифицировать следующим образом.
1.1. Предварительные экспериментальные модели являются скорее поисковыми исследованиями, в которых контроль влияния внешних факторов на результаты эксперимента практически отсутствует. Предварительные эксперименты не могут быть квалифицированы как экспериментальные исследования, поскольку они практически не имеют ценности с точки зрения выявления причинно-следственной связи.
Однако предварительные эксперименты могут помочь сформировать гипотезы относительно таких связей, и именно по этой причине мы их здесь обсуждаем. После того как выдвинуты основные гипотезы относительно причинно-следственных связей между переменными, можно провести дополнительные исследования, которые позволят говорить о причинности с большей уверенностью.
Среди наиболее широко используемых предварительных экспериментальных моделей можно перечислить следующие.
1.1.1. Модель «одна группа, только после». Самый простой вид эксперимента – это проведение экспериментального воздействия на субъект или группу и измерение результатов. Например, предприятие-поставщик коммунальных услуг может провести кампанию, направленную на пропаганду утепления домов, в январе в г. Могилеве. Далее они могут измерить число обращений потребителей в компании, занимающиеся утеплением домов, с целью получения информации относительно стоимости этих услуг. Большое число запросов позволит говорить о том, что затраты на рекламу оказались оправданными и аналогичную кампанию имеет смысл провести в других городах. Данная модель эксперимента может быть записана следующим образом в виде символов:
EG X О
То есть измерение проводится после того как экспериментальная группа была подвергнута экспериментальному воздействию.
Проблема в том, что результаты, возможно, объясняются событиями, которые являются внешними по отношению к эксперименту, в том числе историческим фактором и фактором зрелости.
Рисунок. 4.2.10 Классификация моделей эксперимента.
1.1.2. Модель «контрольная группа, не прошедшая выравнивание». Один из способов нивелирования упомянутых выше факторов — использование контрольной группы. Например, если доступны данные по запросам потребителей относительно утепления домов в г. Гомеле, их можно сравнить с числом запросов, полученных в г. Могилеве. Эта модель будет записана следующим образом:
EG X О1
CG О2
Верхняя строка соответствует группе Могилев, а нижняя — Гомель, которая, естественно, не получает никакого экспериментального воздействия. Тогда нас будет интересовать разность О1 - О2. Горизонтальная линия означает, что группы разделены и что экспериментальное воздействие не достигает контрольной группы. Однако, если люди в Гомеле читают газеты, выходящие в Могилеве, это не будет соответствовать действительности.
Еще одной существенной проблемой, которая имела место в первой модели и от которой не удалось избавиться во второй, является фактор отбора.
1.1.3. Модель «контрольная группа, прошедшая выравнивание». Одним из способов уменьшения искажения вследствие отбора является проведение выравнивания экспериментальной и контрольной групп. Так, если предполагается, что средняя температура воздуха влияет на восприятие жителями города рекламы утепления, города следует выровнять по этому признаку, Тогда контрольный город будет выбран таким образом, чтобы средняя температура воздуха в нем была аналогична средней температуре в Могилеве. Конечно, можно найти другой город, который соответствует Могилеву и по другим характеристикам кроме температуры (например, по проценту неутепленных домов или по демографическим переменным). Эта модель эксперимента запишется следующим образом:
EG М X О1
CG М О2
Здесь М обозначает, что две группы прошли выравнивание по некоторой интересующей нас переменной.
Использование контрольной группы, прошедшей выравнивание, особенно привлекательно, когда процедура формирования выборки или соображения бюджета исследования ограничивают размеры выборки.
1.1.4. Модель «одна группа, до и после». Модели, которые мы рассматривали до сих пор, были моделями «только после», поскольку до проведения эксперимента измерений не предполагалось. Еще один подход к совершенствованию контроля — добавить измерение до экспериментального воздействия:
EG О1 Х О2
Измерение до экспериментального воздействия позволяет повысить степень контроля, поскольку если город большой, то измерение О1 также будет проведено на большой совокупности. Тогда нас интересует изменение от О1 к О2, скорректированное с учетом сезонных колебаний. Измерение до экспериментального воздействия может быть добавлено в любую из предварительных экспериментальных моделей. Оно позволит повысить чувствительность, поскольку добавляется еще один вид контроля разрушающих переменных. Однако измерение до экспериментального воздействия может стать источником таких угроз интровалидности как факторы предварительного измерения и выбывания и инструментальная погрешность.
1.2. Истинные экспериментальные модели. Большинство проблем, о которых говорилось выше, могут быть взяты под контроль посредством использования процедуры случайного распределения. Рандомизация предполагает распределение членов совокупности между экспериментальными воздействиями таким образом, чтобы для каждого экспериментального воздействия каждый член с равной вероятностью попадал под данное воздействие. Основной целью случайного распределения является распределение индивидуумов между воздействиями таким образом, чтобы субъекты с различающимися характеристиками были равномерно распределены между ними. Это делается для устранения влияния внешних переменных. Экспериментальные модели, которые предусматривают использование процедуры случайного распределения, называются истинными экспериментальными моделями. Такие модели существенно превосходят предварительные эксперименты с точки зрения уверенности, с которой можно сделать заключение о присутствии причинно-следственной связи.
Среди наиболее часто используемых истинных экспериментальных моделей можно перечислить следующие.
1.2.1. Модель «две группы, только после». Предположим, что для нашего исследования мы можем использовать 30 городов. Мы случайно набираем экспериментальную группу из 15 городов, а остальные 15 попадают в контрольную группу. Благодаря рандомизации маловероятно, что города, попавшие в экспериментальную группу, окажутся больше, холоднее или богаче, нежели города, попавшие в контрольную. Все эти факторы должны демонстрировать тенденцию к усреднению. Конечно, по мере увеличения размера выборки будет увеличиваться и степень выравнивания, которой удается достичь благодаря рандомизации.
Модель «две группы, только после» с рандомизацией может быть записана следующим образом:
EG R X О1
CG R О2
Здесь R означает, что единицы тестирования были случайным образом распределены между экспериментальной и контрольной группами. Если размеры выборки достаточно велики, рандомизация обеспечивает идентичность экспериментальной и контрольной групп.
Преимущество этой модели перед моделью «две группы, до и после» состоит в том, что в ней отсутствует искажение, которое имеет место в результате проведения предварительного тестирования, поскольку измерения до экспериментального воздействия не проводятся.
1.2.2. Модель «две группы, до и после». Добавление контрольной группы и рандомизации к модели «одна группа, до и после» (модель предварительного эксперимента) дает следующую модель истинного эксперимента:
EG R О1 X О2
CG R О3 О4
Эта модель предполагает использование контрольной группы, которая помогает контролировать исторические эффекты и эффекты зрелости и, кроме того, контролировать влияние О1 на О2 (часть эффекта измерения до экспериментального воздействия). Интересующим нас результатом здесь является разность разностей (O1 - О2) и (О3 - 04). Тем не менее данная модель не позволяет контролировать фактор предварительного измерения. Может случиться так, что предварительное измерение сделает респондентов более чувствительными, что повлияет на результаты.
1.2.3. Модель четырех групп Соломона. Возможное решение проблем, свойственных модели «две группы, до и после», заключается в добавлении к ней групп «только после»:
EG R О1 X О2
CG R О3 О4
EG R X О5
CG R О6
Такая модель позволяет контролировать эффект измерения до экспериментального воздействия как на O1 так и на Х и О2. В ходе этого эксперимента рассчитываются несколько показателей (т. е. (О2 - О4), (О2 - О4) - (О4 - О3), (О6 - О5)). Если между этими показателями наблюдается согласие, можно сделать заключение относительно X. Если же согласие не наблюдается, то возможно непосредственно измерить эффект воздействия и предварительного измерения [(О2 - О4) - (О5-О6)].
1.3. Квазиэкспериментальные модели дают исследователю некоторую степень контроля (больше, нежели предварительные эксперименты), однако случайного распределения субъектов — как в истинных экспериментальных моделях — не происходит. Тем не менее, квазиэксперименты обычно дают больше показателей и больше информации, чем обычные предварительные эксперименты. Наиболее популярными и наиболее часто используемыми квазиэкспериментальными моделями являются модели временных рядов и продолжительные панельные исследования.
1.3.1. Модели временных рядов. Эти модели аналогичны модели «одна группа, до и после», за исключением того, что используется несколько измерений, в течение которых имеет место экспериментальное воздействие. Символически подобные модели записываются следующим образом:
EG О1О2О3О4 Х О5О6О7О8
Существует два варианта таких моделей — в зависимости от того, проводятся ли все измерения по одной выборке или по разным.
Изучение тенденций (исследование тренда) — это измерения, которые проводятся с течением времени и для которых последовательно формируются случайные выборки из той же совокупности.
с очевидностью можно говорить лишь в случае С.
Рисунок. 4.2.11. Модель временного ряда.
Данные исследований тренда можно анализировать лишь в агрегатной форме, в ней они и собираются. Вопрос состоит в том, являются ли данные, полученные после экспериментального воздействия, продолжением ранее наблюдавшихся тенденций, или же они свидетельствуют о существенном изменении. На рисунке 4.2.11 о существенном изменении
Исследования тренда дадут существенно больше информации, если анализировать несколько тенденций одновременно. Например, если имеются данные по динамике цен и долей рынка или объемов продаж, можно рассчитать эластичность спроса по цене.
Наличие данных по нескольким периодам времени означает, что фактор зрелости вряд ли является причиной наблюдаемого результата. Исторические факторы, как и инструментальная погрешность, остаются потенциальной угрозой достоверности. Наиболее трудно исключить вероятность того, что к наблюдаемым изменениям привело некоторое параллельное событие. Если специалист собирается использовать такую модель эксперимента, он должен постоянно сохранять бдительность и следить за возможными конкурирующими объяснениями. В идеале об этом следует подумать до проведения экспериментального воздействия и убедиться, что данные, которые потребуются для того, чтобы подтвердить или опровергнуть конкурирующие гипотезы, будут собраны. Это может потребовать ведения погодных сводок, сбора информации по ценам связанных продуктов и т. д.
1.3.2. Продолжительные панельные исследования предполагают серию измерений одной выборки в течение длительного периода времени и позволяют получить информацию о том, каким образом потребитель делает выбор. Можно выявить каждого отдельного человека, чье отношение или поведение изменилось, в отличие от статистических характеристик временного ряда. Это особенно важно для категорий продуктов, за стабильными продажами которых скрываются большие, но компенсирующие друг друга потери и приобретения отдельных покупателей.
Поскольку данные при использовании панелей обычно получают от отдельных индивидуумов, существует значительная угроза интровалидности эксперимента со стороны эффекта предварительного измерения. К другим угрозам валидности можно перечислить исторические факторы, инструментальную погрешность и отклонение выборки.
2. Статистические модели отличаются от классических тем, что они позволяют изучать эффекты различных уровней воздействия экспериментальной переменной, а также эффекты двух или более независимых переменных. Статистические модели являются моделями «только после», требуют сравнительно сложных процедур анализа данных, для того чтобы выделить эффекты различных независимых переменных и/или уровней воздействия. Двумя принципиальными аспектами статистических моделей являются: (1) схемы экспериментов, посредством которых выбираются уровни воздействия для различных объектов; (2) методы, которые используются для анализа результатов эксперимента. Наиболее часто используемыми статистическими моделями являются следующие.
2.1. Полностью случайная модель — самый простой вариант статистической модели. При ее использовании единицы тестирования распределяются между экспериментальными воздействиями по случайному принципу. Таким образом, можно распределить любое число единиц тестирования между любым числом воздействий. Тестирование мероприятий по стимулированию продаж с помощью личного опроса является наилучшим полем для применения этой модели. Из телефонного справочника можно случайным образом сформировать экспериментальную и контрольную группы. Предположим, что необходимо протестировать три мероприятия по стимулированию продаж и выяснить какое из них позволит обеспечить наибольшее число покупок. Производится формирование случайной выборки из 900 респондентов, которые, также по случайному принципу, делятся на три группы по 300 человек в каждой. Тогда эксперимент запишется следующим образом:
EG R X1 О1
EG R X2 О2
EG R X3 О3
Здесь X1, означает первый «уровень» экспериментального воздействия, а именно использование первого из трех мероприятий; Х2 — второй уровень и т. д. Отдельная контрольная группа не предусмотрена. Каждое из трех воздействий является контрольным по отношению к остальным. Цель эксперимента заключается в сопоставлении трех экспериментальных воздействий.
Другой вариант модели предполагает экспериментальное воздействие и регистрацию реакции в одной анкете. Фактически это лучший метод получения реакции потребителей на различные маркетинговые мероприятия с использованием опросов.
2.2. Модель рандомизированных блоков. Модели, в которых используется прошедшая рандомизацию контрольная группа, предполагают, что рандомизация проводится по всем переменным, поскольку экспериментальная группа не должна систематически отличаться от контрольной ни по одной переменной. Однако различия все же будут наблюдаться, если размеры выборки не очень велики. Например, даже если выборка сформирована из 900 человек, группа, которая подверглась первому мероприятию по стимулированию продаж, может оказаться более заинтересованной в этом предложении, в ней может оказаться больше женщин или мужчин. Таким образом, появляется возможность утверждать, что более качественные результаты, полученные в результате первого мероприятия, на самом деле объясняются этими характеристиками выборки.
Процедура выравнивания позволяет гарантировать, что по тем переменным, по которым выравнивание произведено, различий между группами не будет. Рандомизация касается всех переменных, а не только тех, по которым производится выравнивание.
Модель прошедших рандомизацию блоков предполагает совместное использование рандомизации и выравнивания. В ходе исследования определяют, какая переменная является наиболее важной, и контролируют ее посредством введения блоков. Это означает, что контролируемая переменная используется для выделения блоков, после чего эксперимент с рандомизацией проводится внутри каждого блока. Символически модель можно записать следующим образом:
EG R X О1
CG R О2
EG R X О3
CG R О4
Пунктирная линия разделяет два эксперимента.
Допустим, существует гипотеза о том, что женщины будут более благосклоннно, чем мужчины, реагировать на стимулирование продаж товаров для детей. Тогда необходимо гарантировать, что группы, принимающие участие в эксперименте, не будут различаться по половому признаку. Использование эффекта блоков означает, что эксперимент просто будет проведен для женских и мужских групп. Таким образом, 450 случайно выбранных женщин случайным образом делятся на три различных тестовых группы. Аналогично, 450 случайно выбранных мужчин также случайным образом делятся на три тестовые группы. Этот эксперимент можно представить следующим образом:
EG1 R X1 О1 А – раздача образцов детской косметики
EG2 R X2 О2 Б –скидки за количество товаров
EG3 R X3 О3 В – купоны на получение подарка
EG1 R X1 О1 А – раздача образцов детской косметики
EG2 R X2 О2 Б –скидки за количество товаров
EG3 R X3 О3 В – купоны на получение подарка
2.3. Модель латинского квадрата. Это метод, который позволяет уменьшить число групп, если взаимодействия между уровнями воздействия и контролируемыми переменными можно считать незначительными. Примером использования модели латинского квадрата является следующий эксперимент.
Цель эксперимента состояла в том, чтобы предоставить необходимую информацию лицам, принимающим решения относительно степени подробности указания на упаковке продукта сведений о его витаминном составе. Необходимо было определить, как изменение информации о витаминном составе йогуртов влияет на восприятие и предпочтения потребителей. Было проведено тестирование четырех уровней информации. В первом случае было представлено лишь простое утверждение о качестве продукта. Во втором — перечислены основные категории питательных веществ, включая витамины. В третьем случае была представлена информация по количественному содержанию каждой категории. В четвертом - перечислены все виды витаминов с их количественным содержанием; этот вариант был наиболее подробным.
Контролируемых переменных, или переменных, по которым производилась блокировка, было две: магазин и марка. Использовались четыре марки йогуртов, каждая из которых была представлена по соответствующей цене; были использованы четыре варианта размещения интервьюера поблизости от магазина. 50 покупателей прошли интервью в каждом из этих пунктов. Предполагалось, что взаимодействие вариантов представления информации (воздействий) и магазинов или марок будет незначительным, поэтому можно было использовать модель латинского квадрата. Эта модель представлена на рисунке 4.2.12 Следует отметить, что уровень воздействия I появляется в каждом магазине однажды и только однажды; то же самое можно сказать и о марках продукта. Таким образом, например, результаты уровня воздействия I не будут искажены в лучшую сторону из-за того, что одна из марок пользуется большей популярностью, нежели остальные, или из-за того, что покупатели одного из магазинов уделяют больше внимания информации о питательной ценности продукта.
Магазины
1 2 3 4
Йогурт Активиа
1520 руб. III IV I II
Йогурт Данон
1555 руб. II III IV I
Йогурт Активиа
1700 руб. I II III IV
Йогурт Данон
1730 руб. IV I II III
Рисунок. 4.2.12. Модель латинского квадрата: уровни воздействия I, II, III, IV.
Каждому респонденту продемонстрировали четыре упаковки йогурта. Например, в магазине № 1 респондентам были показаны: йогурт «Активия» по 1520 руб. с информацией, соответствующей уровню воздействия III, йогурт «Данон» по 1555 руб. с уровнем воздействия II и т. д. После того как респонденту демонстрировались четыре упаковки йогурта, его просили оценить каждую из них по шести разным 9-балльным шкалам. Таким образом, этот эксперимент является примером использования сразу нескольких параметров.
Таблица 4.23. Средние оценки отношения и предпочтения различных уровней информации о витаминном составе продукта на этикетках йогуртов.
Уровни воздействия Шкала
Нравится Хорошая покупка Вкусный Нежный Здоровая пища Предпочитаю
Уровень I 4,73 4,88 5,05 5,78 4,86 2,47
Уровень II 4,49 4,38 4,87 5,39 4,90 2,28
Уровень III 4,63 4,71 4,87 5,65 5,13 2,55
Уровень IV 4,86 4,91 5,07 5,99 5,32 2,69
Если бы мы использовали модель прошедших рандомизацию блоков, для каждой ячейки потребовалось бы четыре экспериментальные группы — по одной на каждый уровень воздействия. При использовании латинского квадрата для каждой ячейки требуется лишь один уровень воздействия, так что минимальное число требуемых групп составляет 16 вместо 64. Применение латинского квадрата обычно предполагает отдельную выборку для каждой ячейки. В данном случае одни и те же 50 респондентов из магазина № 1 были использованы для каждой ячейки первого столбца. Каждому респонденту предложили представить свою реакцию на четыре продукта. Таким образом, блокировка по признаку магазина позволила контролировать не только переменную «магазин», но и многие другие характеристики выборки. В результате эксперимент оказался более чувствительным. Однако опыт оценки потребителем одного продукта мог быть перенесен им на оценку другого, в результате чего могли появиться некоторые искажения.
Модель латинского квадрата позволяет исследователю контролировать две переменные без необходимости увеличения выборки. Тем не менее, она требует равного числа строк, столбцов и уровней воздействия, что накладывает некоторые ограничения. Кроме того, данную модель невозможно использовать для того, чтобы оценивать эффекты взаимодействий.
2.4. Факторные модели. В факторной модели одновременно рассматриваются две и более экспериментальных переменных. Каждое сочетание уровней экспериментальных воздействий применяется к случайно выбранным группам.
Предположим, что потребительский товар необходимо протестировать в 12 городах. Предлагается апробировать три уровня качества телевизора: высокий, средний и низкий. Кроме того, требуется рассмотреть два уровня цены — высокий и низкий. Факторная модель, которая получится в результате, может быть записана следующим образом:
EG1 R X1 (высокое качество, высокая цена) О1 n=2
EG2 R X2 (высокое качество, низкая цена) О2 n=2
EG3 R X3 (среднее качество, высокая цена) О3 n=2
EG4 R X4 (среднее качество, низкая цена) О4 n=2
EG5 R X5 (низкое качество, высокая цена) О5 n=2
EG6 R X6 (низкое качество, низкая цена) О6 n=2
Таблица 4.23. Объемы продаж телевизоров в результате проведения факторного эксперимента при различных уровнях качества и цены, шт.
Название Высокая цена Низкая цена Средние продажи
Высокое качество 104,0 583,0 343,5
Среднее качество 21,0 275,0 148,0
Низкое качество 3,0 20,0 11,5
Средние продажи 42,7 292,7 167,7
Таким образом, в одном эксперименте были выявлены эффекты двух переменных. Однако ценность факторного эксперимента заключается в том, что он позволяет определять и контролировать факторы взаимодействия.
На рисунке. 4.2.13 представлены результаты влияния фактора взаимодействия в графической форме. Теперь можно составить более четкое представление о воздействии качества товара. Если цена на продукт устанавливается на низком уровне, эффект от качества практически исчезает, в то время как при высокой цене эффект качества будет намного более существенным. Это иллюстрирует фактор взаимодействия между двумя переменными. Таким образом, основной эффект следует отличать от эффекта взаимодействия.
Рис. 4.2.13. Пример эффектов взаимодействия качества и цены телевизоров.
На рисунке 4.2.13 наблюдается эффект цены, поскольку средние результаты, полученные при низком уровне цен, выше результатов, полученных при высоком. Присутствует и эффект качества, поскольку средние результаты, полученные при разных уровнях качества, различаются. Наблюдается также и эффект взаимодействия.
Факторный эксперимент может включать три и более переменных. Тогда каждая переменная будет обеспечивать свой основной эффект, а каждая пара — возможный фактор взаимодействия. Конечно, потребуется экспериментальная группа для каждого сочетания уровней экспериментальных воздействий. То есть, если будут испытываться три уровня качества, два уровня цены и два варианта мер по стимулированию продаж, всего придется протестировать 12 условий (например, городов).
Далее, для того чтобы каждая ячейка дала надежную оценку соответствующей комбинации воздействий, желательно, чтобы в нее входили несколько городов. Если же выборка формируется не из городов, а отдельных респондентов, то их может потребоваться несколько сот на каждую экспериментальную группу. Таким образом, одной из проблем факторных моделей является то, что число экспериментальных групп может очень быстро стать очень большим. Естественно, можно использовать модель латинского квадрата, если можно пренебречь взаимодействиями.
Факторные модели также могут быть расширены таким образом, чтобы ввести эффект блоков. Так, эксперимент с ценой и качеством мог бы быть проведен два раза: один раз в небольших городах, а второй — в крупных. Далее, факторные модели могут быть разработаны с использованием процедуры выравнивания (вместо рандомизации) в качестве способа формирования экспериментальных групп.
4. Проведение эксперимента. Процедура проведения эксперимента осуществляется согласно выбранной ранее модели. При проведении эксперимента необходимо тщательно следить за процессом, чтобы все шло именно так, как запланировано.
Ошибки на этой стадии обычно делают результаты эксперимента недостоверными.
5. Анализ данных. Для того чтобы результаты и заключения были объективными, при анализе данных, полученных в ходе эксперимента, должны использоваться статистические и логические методы: дисперсионный анализ, факторный анализ, контент-анализ, ?-критерий, корреляционный и регрессионный анализы (глава 5).
6. Заключение и рекомендации. После того как анализ данных проведен, экспериментатор должен дать заключение практического характера относительно
полученных результатов и рекомендовать направление дальнейших действий.
Похожие рефераты:
