Верны ли следующие высказывания в группе с увеличением порядкового номера: Ваш браузер не поддерживается

Чтобы вычислить значение хи-квадрат, сложите результаты для каждой ячейки — Итого = 70,42

СТЕПЕНИ СВОБОДЫ

Теоретически значение статистики хи-квадрат нормально распространяется; то есть значение статистики хи-квадрат выглядит как нормальная (колоколообразная) кривая. Таким образом, мы можем использовать свойства нормальной кривой для интерпретации значения, полученного в результате нашего расчета статистики Хи-квадрат.

Если значение, которое мы получаем для Хи-квадрат, достаточно велико, то можно сказать, что это указывает на уровень статистической значимости при котором можно предположить, что связь между двумя переменными существовать.

Однако от того, достаточно ли велико значение, зависит на две вещи: размер таблицы непредвиденных обстоятельств, из которой хи-квадрат статистика рассчитана; и уровень альфа, который мы выбрали.

Чем больше размер таблицы непредвиденных обстоятельств, тем должно быть больше значение Хи-квадрат, чтобы получить статистические данные. значимость при прочих равных условиях. Точно так же более строгие уровень альфа, тем больше должно быть значение хи-квадрат, для достижения статистической значимости при прочих равных условиях.

Термин «степени свободы» используется для обозначения размер таблицы непредвиденных обстоятельств, на которой значение Хи-квадрат статистика вычислена. Степени свободы рассчитываются как произведение (количество строк в таблице минус 1) умноженное на (количество столбцов в таблице минус).

Для таблицы с двумя строками ячеек и двумя столбцами ячеек формула это:

df = (2 — 1) x (2 — 1) = (1) x (1) = 1

Для таблицы с двумя строками ячеек и тремя столбцами ячеек формула это:

df = (3 — 1) x (2 — 1) = (2) x (1) = 2

Для таблицы с тремя строками ячеек и тремя столбцами ячеек формула это:

df = (3 — 1) x (3 — 1) = (2) x (2) = 4

При сообщении об уровне альфа обычно сообщается как «меньше» некоторого уровня, с использованием знака «меньше» или <. Таким образом, это сообщается как p <0,05 или p <0,01; если ты не сообщая точное значение p, например p =.04 или p = 0,22.

ТАБЛИЦЫ РАСПРЕДЕЛЕНИЯ

Найдите в таблице степени свободы (обычно перечислены в столбце внизу страницы).Далее найдите желаемый уровень альфа (обычно перечисляются в строке вверху страницы). Найти пересечение степеней свободы и уровня альфа, и что — это значение, которое вычисленный хи-квадрат должен быть равен или превышать для достижения Статистическая значимость.

Например, для df = 2 и p = 0,05 значение хи-квадрат должно равно или превышает 5,99, чтобы указать, что отношения между двумя переменные, вероятно, не случайно. Для df = 4 и p =.05, Площадь Чи должно быть равно или превышать 9,49.

ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ

Вычисленное значение Хи-квадрат на заданном уровне. альфа и с заданной степенью свободы, это тип измерения «прошел-не прошел». Это не похоже на меру ассоциации, которая может варьироваться от 0,0 до (плюс или минус) 1.0, и которые можно интерпретировать в любой точке распределения. Либо вычисленное значение хи-квадрат достигает необходимого уровня для статистическая значимость или нет.

Важно отметить, что Chi Square, как и другие тесты для статистической значение:

1) не указывает на силу связи между двумя переменными

2) не указывает направление ассоциации между двумя переменными

3) не указывает вероятность ошибки типа I

4) не учитывает достоверность и обоснованность исследования

5) не дает абсолютных убедительных доказательств родства

Напомним, для примера выше:

1) сформулируйте гипотезу исследования:

Существует взаимосвязь между типом посещаемой программы обучения и Успешность трудоустройства стажеров

2) сформулируйте нулевую гипотезу:

Нет никакой связи между типом обучающей программы, которую вы посещали. и успешность трудоустройства стажеров

3) рассчитать тест на статистическую значимость

Хи-квадрат = 70.42

4) вычислить степени свободы по таблице непредвиденных обстоятельств

df = 1

5) выбираем уровень альфа

р = 0,05

6) найдите значение хи-квадрат в таблице при p = 0,05 и df = 1

.

Хи-квадрат = 3,84

7) интерпретируем результат

Вычисленное значение Хи-квадрат (70,42) превышает значение в таблице. для p =.05 и df = 1 (хи-квадрат = 3,84). Следовательно, мы можем отклонить нулевой гипотезы (с вероятностью ошибки 5%) и принять гипотезу исследования что существует связь между типом посещаемой программы обучения и успешность трудоустройства стажеров.

Использование T-тестов

T-тесты — это тесты на статистическую значимость, которые используются с данными уровня интервала и отношения. Т-тесты можно использовать в нескольких различные виды статистических тестов:

1) проверить, есть ли различия между двумя группами на одном и том же переменная, основанная на среднем (среднем) значении этой переменной для каждой группы; например, набирают ли учащиеся частных школ более высокие баллы по тесту SAT чем учащиеся государственных школ?

2) проверить, больше ли среднее (среднее) значение группы, чем какой-то стандарт; например, средняя скорость автомобилей на автострадах в Калифорния выше 65 миль в час?

3) проверить, имеет ли одна и та же группа разные средние (средние) баллы по разные переменные; например, те же клерки более продуктивны на Компьютеры IBM или Macintosh?

Чтобы вычислить значение t,

Чтобы вычислить значение t,

а) сформулируйте гипотезу исследования;

Средняя зарплата ассистентов-мужчин выше средней заработная плата аспирантов-женщин в ЦГСУ.

б) сформулируйте нулевую гипотезу;

Нет разницы в средней зарплате выпускников мужского и женского пола. помощники в CSULB.

в) выбрать уровень альфа

выберите значение для альфы, например p = 0,05, p = 0,01 или p = 0,001

Как и другие статистические данные, t-тест имеет распределение что приближается к нормальному распределению, особенно если размер выборки больше 30.Поскольку мы знаем свойства нормальной кривой, мы может ли он сказать нам, насколько далеко от среднего значения распределения, рассчитанного нами t-рейтинг.

Нормальная кривая распределена около нулевого среднего, со стандартным отклонением, равным единице. Т-балл может падать по нормальной кривой либо выше, либо ниже среднего; то есть либо плюс, либо минус какой-то стандарт единицы отклонения от среднего.

T-балл должен быть далеко от среднего, чтобы достичь статистической значимости.То есть он должен сильно отличаться от значение среднего распределения, то, что имеет только низкий вероятность возникновения случайно, если нет связи между две переменные. Если мы выбрали значение p = 0,05 для альфы, мы смотрим для значения t, которое попадает в крайние 5% распределения.

Если у нас есть гипотеза, которая утверждает ожидаемое направление результатов, например, что зарплата ассистентов-мужчин выше, чем заработная плата ассистентов-выпускников женского пола, то мы ожидаем, что t-показатель попадет только в один конец нормального распределения.Мы ожидаем расчетный t-показатель попадет в крайние 5% распределения.

Однако, если у нас есть гипотеза, которая только утверждает что между двумя группами есть разница, но не указано, какая ожидается, что группа получит более высокий балл, чем рассчитанный t-балл может попасть в любой конец нормального распределения. Например, наша гипотеза может случиться так, что мы ожидаем найти разницу между средними зарплатами мужчин и женщин-ассистентов (но мы не знаем, какие будет выше или ниже).

Для гипотезы, не указывающей направления, нам нужно использовать «двусторонний» t-критерий. То есть мы должны искать значение t, которое попадает в один из крайних концов («хвостов») распределения. Но поскольку t может попасть в любой из хвостов, если мы выберем p = 0,05 в качестве альфа, мы необходимо разделить 5% на две части по 2-1 / 2% каждая. Итак, двусторонний тест требует, чтобы t принял более экстремальное значение для достижения статистической значимости чем односторонний тест t.

e) вычислить t

T-балл рассчитывается путем сравнения среднего значение некоторой переменной, полученное для двух групп; расчет также включает дисперсия каждой группы и количество наблюдений в каждой группе. Например,

Таблица 3. Заработная плата мужчин и женщин-выпускников в CSULB

Для расчета t,
1) вычтите среднее значение второй группы из среднего значения первой группа
2) вычислить для каждой группы дисперсию, деленную на количество наблюдения минус 1
3) сложите вместе результаты, полученные для каждой группы на втором этапе.
4) извлеките квадратный корень из результатов третьего шага
5) разделите результаты первого шага на результаты четвертого шага.

Например,

1) вычесть среднее значение второй группы из среднего значения первой группы

17095-14885 = 2210

2) рассчитайте для каждой группы дисперсию, деленную на количество наблюдений. минус 1

Ассистенты-мужчины:

[40056241 / (403-1)] = [40056241 / (402)] = 99642

Стажеры-выпускницы:

[21864976 / (132-1)] = [21864976 / (131)] = 166908

3) сложите результаты, полученные для каждой группы на втором этапе

99642 + 166908 = 266550

4) извлеките квадратный корень из результатов третьего шага

квадратный корень из 266550 = 516.28

5) разделите результаты первого шага на результаты четвертого шага

2210 / 516,28 = 4,28

Степени свободы

Степени свободы для t-критерия вычисляются путем сложения количество наблюдений для каждой группы, а затем вычитание числа два (потому что есть две группы).Например, (403 + 132 — 2) = 533

Распределение Т

Найдите правильную таблицу количества хвостов. потом найти пересечение степеней свободы и значение альфа в таблице.Это значение должно соответствовать вычисленному t-баллу. равно или больше, чтобы указать статистическую значимость.

Для одностороннего теста t, с df = 533 и p = 0,05, t должно быть равно или превышать 1,645.

Для двустороннего теста t, с df = 533 и p = 0,05, t должно быть равно или превышать 1.960.

Интерпретировать значение t

В этом примере вычисленный t-показатель 4,28 превышает табличное значение t, поэтому мы можем отклонить нулевую гипотезу об отсутствии связи между полом ассистента и заработной платой ассистента, и вместо этого принять гипотезу исследования и сделать вывод, что существует связь между полом ассистента и заработной платой ассистента.

Однако помните, что это только одна статистика, на основе только одной выборки в определенный момент времени из одного исследовательского проекта.Это не абсолютное убедительное доказательство существования отношений, а скорее поддержка гипотезы исследования. Это всего лишь одно свидетельство, это необходимо учитывать вместе со многими другими доказательствами на тот же предмет.

ОТЧЕТНОСТЬ ОБ ИСПЫТАНИЯХ СТАТИСТИЧЕСКИХ ЗНАЧЕНИЕ

В исследовательских отчетах тесты статистической значимости сообщаются тремя способами. Во-первых, можно сообщить результаты теста. в текстовом обсуждении результатов.Включают:

1) гипотеза

2) использованная статистика теста и ее значение

3) степени свободы

4) значение альфа (p-значение)

Например,

Работники организаций с неавторитарным управлением Было установлено, что стили более удовлетворены работой, чем рабочие в организациях с авторитарным стилем управления (Chi Square = 50.57, df = 4, p <0,05).

Средняя заработная плата ассистентов-мужчин выше, чем у аспирантов. женщины-ассистенты аспирантуры (t = 4,28, df = 533, p <0,05).

Не было обнаружено различий в показателях трудоустройства между профессиональными учебными заведениями. программы и программы рабочих навыков (Chi Square = 1,2, df = 1, p> 0,05).

Второй метод сообщения результатов испытаний для статистической значимости — это отчет об испытании и его значении, степенях свободы и p-значение внизу таблицы непредвиденных обстоятельств или распечатки с указанием данных, на которых были основаны расчеты.

Таблица 1. Трудоустройство по типу обучения (наблюдаемая частота)

Таблица 3. Заработная плата мужчин и женщин-ассистентов выпускников в CSULB

Третий способ сообщить о тестах, имеющих статистическую значимость состоит в том, чтобы включить их в таблицы, показывающие результаты расширенного анализа данных, включая ряд переменных. Например, вот несколько результаты исследования пожилых испаноязычных женщин в Эль-Пасо, Техас, и Лонг-Бич, CA.

Таблица 4. Характеристики участников семинара в возрасте 40 лет и старше

Заключительные комментарии

Тесты на статистическую значимость используются, потому что они представляют собой общий критерий, который могут понять многие люди, и они передают важную информацию об исследовательском проекте это можно сравнить с результатами других проектов.

Однако они не гарантируют, что исследование были тщательно спроектированы и выполнены. Фактически, тесты на статистическую значимость могут вводить в заблуждение, потому что это точные цифры.Но у них нет отношений практической значимости результатов исследования.

Наконец, всегда нужно использовать меры ассоциации. наряду с тестами на статистическую значимость. Последние оценивают вероятность того, что отношения существуют; в то время как первые оценивают сила (а иногда и направление) отношений. У каждого свои использовать, и их лучше всего использовать вместе.

Определение Т-теста

Что такое Т-тест?

T-тест — это тип выводимой статистики, используемый для определения значительного различия между средними значениями двух групп, которые могут быть связаны по определенным характеристикам.Он в основном используется, когда наборы данных, такие как набор данных, записанный как результат 100-кратного подбрасывания монеты, будут следовать нормальному распределению и могут иметь неизвестные отклонения. T-критерий используется в качестве инструмента проверки гипотез, который позволяет проверить предположение, применимое к совокупности.

T-критерий рассматривает t-статистику, значения t-распределения и степени свободы для определения статистической значимости. Чтобы провести тест с тремя или более средствами, необходимо использовать дисперсионный анализ.

Ключевые выводы

• t-тест — это тип выводимой статистики, используемый для определения, есть ли значительная разница между средними значениями двух групп, которые могут быть связаны по определенным признакам.
• t-критерий — один из многих тестов, используемых для проверки гипотез в статистике.
• Для расчета t-критерия требуются три ключевых значения данных. Они включают разницу между средними значениями из каждого набора данных (называемую средней разницей), стандартное отклонение каждой группы и количество значений данных каждой группы.
• Существует несколько различных типов t-теста, которые могут быть выполнены в зависимости от данных и типа требуемого анализа.

Объяснение Т-теста

По сути, t-тест позволяет нам сравнивать средние значения двух наборов данных и определять, принадлежат ли они к одной и той же совокупности. В приведенных выше примерах, если мы возьмем выборку студентов из класса A и другую выборку студентов из класса B, мы не ожидаем, что у них будут точно такие же среднее значение и стандартное отклонение.Точно так же образцы, взятые из контрольной группы, получавшей плацебо, и образцы, взятые из группы прописанного лекарства, должны иметь немного разные среднее значение и стандартное отклонение.

Математически t-критерий берет выборку из каждого из двух наборов и устанавливает постановку задачи, предполагая нулевую гипотезу о том, что два средних значения равны. На основе применимых формул вычисляются определенные значения и сравниваются со стандартными значениями, и предполагаемая нулевая гипотеза принимается или отклоняется соответственно.

Если нулевая гипотеза подлежит отклонению, это означает, что показания данных надежны и, вероятно, не являются случайными. T-тест — лишь один из многих тестов, используемых для этой цели. Статистики должны дополнительно использовать тесты, отличные от t-критерия, для изучения большего количества переменных и тестов с более крупными размерами выборки. Для большой выборки статистики используют z-критерий. Другие варианты тестирования включают тест хи-квадрат и f-тест.

Существует три типа t-критериев, которые подразделяются на зависимые и независимые t-тесты.

Неоднозначные результаты испытаний

Предположим, производитель лекарств хочет протестировать недавно изобретенное лекарство. Он следует стандартной процедуре: опробовать препарат на одной группе пациентов и дать плацебо другой группе, называемой контрольной группой. Плацебо, назначенное контрольной группе, представляет собой вещество, не имеющее предполагаемой терапевтической ценности, и служит эталоном для измерения реакции другой группы, которой вводят данное лекарство.

После испытания препарата члены контрольной группы, получавшей плацебо, сообщили об увеличении средней продолжительности жизни на три года, в то время как члены группы, которым прописали новое лекарство, сообщили об увеличении средней продолжительности жизни на четыре года.Мгновенное наблюдение может указывать на то, что препарат действительно работает, поскольку результаты лучше для группы, принимающей препарат. Однако также возможно, что наблюдение может быть вызвано случайным происшествием, особенно неожиданной удачей. T-критерий полезен, чтобы сделать вывод, верны ли результаты и применимы ли они ко всей совокупности.

В школе 100 учеников класса А набрали в среднем 85% со стандартным отклонением 3%. Еще 100 учеников, принадлежащих к классу B, набрали в среднем 87% со стандартным отклонением 4%.Хотя средний показатель для класса B лучше, чем для класса A, может быть неправильно делать вывод о том, что общая успеваемость учеников в классе B лучше, чем у учеников в классе A. Это связано с естественной изменчивостью. в тестовых баллах в обоих классах, поэтому разница может быть чисто случайной. С помощью t-теста можно определить, справился ли один класс лучше, чем другой.

Допущения T-теста

1. Первое предположение, сделанное в отношении t-критериев, касается шкалы измерения.Предположение для t-теста состоит в том, что шкала измерения, применяемая к собранным данным, соответствует непрерывной или порядковой шкале, такой как баллы для теста IQ.
2. Второе допущение состоит в том, что для простой случайной выборки данные собираются из репрезентативной, случайно выбранной части общей совокупности.
3. Третье предположение заключается в том, что данные при нанесении на график дают нормальное распределение, колоколообразную кривую распределения.
4. Последнее предположение — однородность дисперсии.Однородная или равная дисперсия существует, когда стандартные отклонения образцов примерно равны.

Расчет Т-тестов

Для расчета t-критерия требуются три ключевых значения данных. Они включают разницу между средними значениями из каждого набора данных (называемую средней разницей), стандартное отклонение каждой группы и количество значений данных каждой группы.

Результат t-теста дает t-значение. Это вычисленное t-значение затем сравнивается со значением, полученным из таблицы критических значений (называемой таблицей T-распределения).Это сравнение помогает определить влияние одной только случайности на разницу и выходит ли разница за пределы этого диапазона вероятности. С помощью t-критерия задается вопрос, представляет ли разница между группами истинное различие в исследовании или это, возможно, бессмысленное случайное различие.

Таблицы Т-распределения

Таблица Т-распределения доступна в одностороннем и двухстороннем форматах. Первый используется для оценки случаев, которые имеют фиксированное значение или диапазон с четким направлением (положительным или отрицательным).Например, какова вероятность того, что выходное значение останется ниже -3 или получит больше семи при броске пары кубиков? Последний используется для анализа границ диапазона, например для запроса, попадают ли координаты в интервал от -2 до +2.

Расчеты можно выполнять с помощью стандартных программ, которые поддерживают необходимые статистические функции, например, в MS Excel.

Т-значения и степени свободы

На выходе t-критерий дает два значения: t-значение и степени свободы.Значение t представляет собой отношение разницы между средним значением двух наборов образцов и вариацией, которая существует в наборах образцов. В то время как значение числителя (разница между средним значением двух наборов образцов) легко вычислить, знаменатель (вариация, которая существует в наборах образцов) может стать немного сложнее в зависимости от типа задействованных значений данных. Знаменатель отношения является мерой дисперсии или изменчивости. Более высокие значения t-значения, также называемого t-оценкой, указывают на то, что между двумя наборами выборок существует большая разница.Чем меньше t-значение, тем больше сходства существует между двумя наборами образцов.

• Большой t-балл указывает на то, что группы разные.
• Маленький t-балл указывает на схожесть групп.

Степени свободы относятся к ценностям в исследовании, которые могут варьироваться и имеют важное значение для оценки важности и обоснованности нулевой гипотезы. Вычисление этих значений обычно зависит от количества записей данных, доступных в наборе выборки.

Коррелированный (или парный) Т-тест

Коррелированный t-тест выполняется, когда образцы обычно состоят из согласованных пар одинаковых единиц или когда есть случаи повторных измерений. Например, могут быть случаи, когда одни и те же пациенты проходят тестирование повторно — до и после получения определенного лечения. В таких случаях каждый пациент используется в качестве контрольного образца против самого себя.

Этот метод также применяется в случаях, когда образцы каким-либо образом связаны или имеют совпадающие характеристики, например, сравнительный анализ с участием детей, родителей или братьев и сестер.Коррелированные или парные t-тесты относятся к зависимому типу, поскольку они включают случаи, когда два набора выборок связаны.

Формула для вычисления t-значения и степеней свободы для парного t-критерия:

Взаимодействие с другими людьми Т знак равно иметь в виду 1 — иметь в виду 2 s ( разница ) ( п ) где: иметь в виду 1 а также иметь в виду 2 знак равно Средние значения каждого из наборов образцов s ( разница ) знак равно Стандартное отклонение разностей значений парных данных п знак равно Размер выборки (количество парных отличий) \ begin {align} & T = \ frac {\ textit {mean} 1 — \ textit {mean} 2} {\ frac {s (\ text {diff})} {\ sqrt {(n)}}} \\ & \ textbf {where:} \\ & \ textit {mean} 1 \ text {и} \ textit {mean} 2 = \ text {Средние значения каждого из наборов образцов} \\ & s (\ text {diff}) = \ text {Стандартное отклонение различий значений парных данных} \\ & n = \ text {Размер выборки (количество парных различий)} \\ & n-1 = \ text {Степени свободы} \ end {выровнено} T = (n) s (diff) mean1 − mean2, где: mean1 и mean2 = средние значения каждого из наборов выборок s (diff) = стандартное отклонение разностей значений парных данных n = размер выборки (количество парных отличий)

Остальные два типа относятся к независимым t-критериям.Выборки этих типов выбираются независимо друг от друга, то есть наборы данных в двух группах не относятся к одним и тем же значениям. Они включают такие случаи, как группа из 100 пациентов, разделенная на две группы по 50 пациентов в каждой. Одна из групп становится контрольной и получает плацебо, а другая группа получает предписанное лечение. Это две независимые выборочные группы, не связанные друг с другом.

Т-тест на равную дисперсию (или объединенный)

T-критерий равной дисперсии используется, когда количество выборок в каждой группе одинаково или дисперсия двух наборов данных одинакова.Следующая формула используется для вычисления t-значения и степеней свободы для t-критерия равной дисперсии:

Взаимодействие с другими людьми Т-значение знак равно м е а п 1 — м е а п 2 ( п 1 — 1 ) × v а р 1 2 + ( п 2 — 1 ) × v а р 2 2 п 1 + п 2 — 2 × 1 п 1 + 1 п 2 где: м е а п 1 а также м е а п 2 знак равно Средние значения каждого наборов образцов v а р 1 а также v а р 2 знак равно Дисперсия каждого из наборов образцов \ begin {align} & \ text {T-value} = \ frac {mean1 — mean2} {\ frac {(n1 — 1) \ times var1 ^ 2 + (n2 — 1) \ times var2 ^ 2} {n1 + n2 — 2} \ times \ sqrt {\ frac {1} {n1} + \ frac {1} {n2}}} \\ & \ textbf {где:} \\ & mean1 \ text {и} mean2 = \ text { Средние значения каждого} \\ & \ text {из наборов выборок} \\ & var1 \ text {и} var2 = \ text {Дисперсия каждого из наборов образцов} \\ & n1 \ text {и} n2 = \ text { Количество записей в каждом наборе образцов} \ end {выровнено} T-значение = n1 + n2−2 (n1−1) × var12 + (n2−1) × var22 × n11 + n21 mean1 − mean2, где: mean1 и mean2 = средние значения каждого из наборов выборок var1 и var2 = Дисперсия каждого из наборов образцов

а также,

Взаимодействие с другими людьми Степени свободы знак равно п 1 + п 2 — 2 где: п 1 а также п 2 знак равно Количество записей в каждом наборе образцов \ begin {align} & \ text {Степени свободы} = n1 + n2 — 2 \\ & \ textbf {где:} \\ & n1 \ text {и} n2 = \ text {Количество записей в каждом наборе образцов} \ \ \ end {выровнено} Степени свободы = n1 + n2−2, где: n1 и n2 = количество записей в каждом наборе образцов. 2} {n2}} \\ & \ textbf { где:} \\ & mean1 \ text {и} mean2 = \ text {Средние значения каждого} \\ & \ text {наборов выборок} \\ & var1 \ text {и} var2 = \ text {Дисперсия каждого из наборы образцов} \\ & n1 \ text {и} n2 = \ text {Количество записей в каждом наборе образцов} \\ \ end {выровнено} T-значение = n1var12 + n2var22 mean1 − mean2, где: mean1 и mean2 = средние значения каждого из наборов образцов, var1 и var2 = дисперсия каждого из наборов образцов, n1 и n2 = количество записей в каждом наборе образцов.

а также,

Взаимодействие с другими людьми Степени свободы знак равно ( v а р 1 2 п 1 + v а р 2 2 п 2 ) 2 ( v а р 1 2 п 1 ) 2 п 1 — 1 + ( v а р 2 2 п 2 ) 2 п 2 — 1 где: v а р 1 а также v а р 2 знак равно Дисперсия каждого из наборов образцов п 1 а также п 2 знак равно Количество записей в каждом наборе образцов \ begin {align} & \ text {Degrees of Freedom} = \ frac {\ left (\ frac {var1 ^ 2} {n1} + \ frac {var2 ^ 2} {n2} \ right) ^ 2} {\ frac {\ left (\ frac {var1 ^ 2} {n1} \ right) ^ 2} {n1 — 1} + \ frac {\ left (\ frac {var2 ^ 2} {n2} \ right) ^ 2} {n2 — 1}} \\ & \ textbf {где:} \\ & var1 \ text {и} var2 = \ text {Дисперсия каждого из наборов образцов} \\ & n1 \ text {и} n2 = \ text {Количество записей в каждом наборе образцов} \\ \ end {выровнено} Степени свободы = n1−1 (n1var12) 2 + n2−1 (n2var22) 2 (n1var12 + n2var22) 2, где: var1 и var2 = дисперсия каждого из наборов выборок n1 и n2 = число записей в каждом наборе выборок

Определение правильного Т-теста для использования

Следующая блок-схема может использоваться для определения того, какой t-критерий следует использовать на основе характеристик наборов образцов.Ключевые элементы, которые следует учитывать, включают сходство записей выборки, количество записей данных в каждом наборе выборки и дисперсию каждого набора выборок.

Пример Т-теста неравной дисперсии

Предположим, что мы измеряем по диагонали картины, полученные в художественной галерее. Одна группа образцов включает 10 картин, а другая — 20 картин. Наборы данных с соответствующими средними значениями и значениями дисперсии следующие:

Хотя среднее значение набора 2 выше, чем среднее значение набора 1, мы не можем заключить, что популяция, соответствующая набору 2, имеет более высокое среднее значение, чем совокупность, соответствующая набору 1.Является ли разница с 19,4 до 21,6 результатом чистой случайности или действительно существуют различия в общей численности всех картин, полученных в художественной галерее? Мы устанавливаем проблему, принимая нулевую гипотезу о том, что среднее значение одинаково для двух выборок, и проводим t-тест, чтобы проверить, правдоподобна ли гипотеза.

Поскольку количество записей данных различается (n1 = 10 и n2 = 20), и дисперсия также различается, значение t и степени свободы вычисляются для указанного выше набора данных с использованием формулы, упомянутой в T-тесте неравной дисперсии. раздел.

Значение t составляет -2,24787. Поскольку знак минус можно игнорировать при сравнении двух значений t, вычисленное значение составляет 2,24787.

Значение степеней свободы составляет 24,38 и уменьшается до 24 из-за определения формулы, требующей округления значения до минимально возможного целого числа.

Можно указать уровень вероятности (альфа-уровень, уровень значимости, p ) в качестве критерия для принятия. В большинстве случаев можно принять значение 5%.

Используя значение степени свободы как 24 и уровень значимости 5%, просмотр таблицы распределения значений t дает значение 2,064. Сравнение этого значения с вычисленным значением 2,247 показывает, что вычисленное значение t больше табличного значения на уровне значимости 5%. Следовательно, можно с уверенностью отвергнуть нулевую гипотезу об отсутствии разницы между средними. Набор населения имеет внутренние различия, и они не случайны.

что такое размер эффекта и почему он важен

Это размер эффекта, глупо
Что такое размер эффекта и почему он важен

Роберт Коу
Педагогическая школа Даремского университета, электронная почта [email protected]

Статья , представленная на Ежегодной конференции британских образовательных учреждений. Исследовательская ассоциация, Эксетерский университет, Англия, 12-14 сентября. 2002 г.

Аннотация

Размер эффекта — это простой способ количественной оценки разницы между две группы, которые имеют много преимуществ перед использованием тестов только статистическая значимость. Размер эффекта подчеркивает размер разница, а не путать это с размером выборки.Тем не мение, в первичных отчетах редко упоминается величина эффекта и мало учебников, Курсы по методам исследования или компьютерные пакеты обращаются к этой концепции. В этой статье дается объяснение того, что такое размер эффекта, как он рассчитывается и как его можно интерпретировать. Отношение между обсуждается размер эффекта и статистическая значимость, а также использование Доверительные интервалы для последнего обозначены. Некоторые преимущества и обсуждаются опасности использования размеров эффекта в метаанализе и другие возникают проблемы с использованием размеров эффекта.Номер описаны альтернативные меры величины эффекта. Наконец, совет по резюмируется использование размеров эффекта.

В 1992 г. Билл Клинтон и Джордж Буш-старший. боролись за пост президента США Состояния. Клинтон с трудом удерживал свое место в мнении опросы. Буш продвигался вперед, опираясь на свой статус опытный мировой лидер. Джеймс Карвилл, один из лучших Клинтона советники решили, что их стремление к президентству необходимо сосредоточить.Опираясь на проведенное им исследование, он придумал простой фокус для своей кампании. Карвилл писал, что все возможности, которые у него были. четыре слова — «Это экономика, тупица» — на доске для Билла. Клинтона видеть каждый раз, когда он выходил говорить.

«Размер эффекта» — это просто способ количественной оценки размера разница между двумя группами. Легко подсчитать, легко понятны и могут применяться к любому измеренному результату в образовании или Социальная наука.Это особенно ценно для количественной оценки эффективность конкретного вмешательства по сравнению с некоторыми сравнение. Это позволяет нам выйти за рамки упрощенного «ли это?» работать или нет? гораздо более изощренным: «Насколько хорошо это работать в разных контекстах? ‘ Более того, делая акцент на самый важный аспект вмешательства — размер эффект, а не его статистическая значимость (что объединяет размер эффекта и размер выборки), он способствует более научному подходу к накоплению знаний.По этим причинам размер эффекта важный инструмент в отчетности и интерпретации эффективности.

Однако рутинное использование размеров эффекта обычно ограничивается метаанализом — для объединения и сравнения оценок из разных исследований — и это слишком редко в оригинальных отчетах о образовательные исследования (Кесельман и др. , 1998). Это несмотря на тот факт, что измерения величины эффекта были доступны по крайней мере для 60 лет (Huberty, 2002) и Американская психологическая ассоциация официально побуждает авторов сообщать о размерах эффекта с тех пор, как 1994 — но с ограниченным успехом (Wilkinson et al., 1999). Формулы для расчета размеров эффекта не появляются в большинстве учебники по статистике (кроме тех, которые посвящены метаанализу), являются не фигурирует во многих статистических компьютерных пакетах и ​​редко преподается на курсах по стандартным методам исследования. По этим причинам даже исследователь, убежденный в мудрости использования мер размер эффекта, и не боится противостоять ортодоксальности обычная практика, может оказаться, что точно знать довольно сложно как это сделать.

Однако следующее руководство написано для не статистиков. неизбежно использовались некоторые уравнения и технический язык.Это описывает, что такое размер эффекта, что он означает, как его можно использовать и некоторые потенциальные проблемы, связанные с его использованием.

1. Зачем нам нужен «размер эффекта»?

Рассмотрим эксперимент, проведенный Доусоном (2000) для исследования влияние времени суток на обучение: учатся ли дети лучше в утром или днем? В состав группы вошли 38 детей. эксперимент. Половина были случайным образом распределены для прослушивания рассказа и ответить на вопросы об этом (на пленке) в 9 утра, чтобы другая половина услышала точно такая же история и ответьте на те же вопросы в 3 часа дня.Их понимание измерялось количеством ответов на вопросы правильно из 20.

Средний балл для утренней группы составил 15,2, для утренней — 17,9. дневная группа: разница 2,7. Но насколько велика разница это? Если результат был измерен по знакомой шкале, например, GCSE оценок, интерпретация разницы не будет проблемой. Если средняя разница составляла, скажем, пол-балла, у большинства людей ясное представление об образовательном значении эффекта чтения рассказ в разное время суток.Однако во многих экспериментах есть нет знакомой шкалы для записи результатов. В экспериментатору часто приходится изобретать шкалу или использовать (или адаптировать) уже существующий — но, как правило, не тот, чья интерпретация будет знаком большинству людей.

(а) (б)

Рисунок 1

Один из способов решить эту проблему — использовать величину вариации в баллах, чтобы контекстуализировать разницу. Если бы не было перекрытия в все и каждый человек в послеобеденной группе добился большего успеха тест, чем все в утренней группе, тогда это могло бы показаться очень существенная разница.С другой стороны, если распространение оценки были большими, и перекрытие было намного больше, чем разница между группами, тогда эффект может показаться менее значительным. Поскольку у нас есть представление о количестве вариаций, обнаруженных в группы, мы можем использовать это как критерий для сравнения разница. Эта идея выражена количественно при расчете эффекта . размер . Эта концепция проиллюстрирована на рисунке 1, на котором показаны два возможные способы, которыми разница может варьироваться в зависимости от перекрытия.Если разница была такая, как на графике (а), она была бы очень значительной; в график (б), с другой стороны, разница вряд ли будет заметно.

2. Как рассчитывается?

Размер эффекта — это просто стандартизированная средняя разница между две группы. Другими словами:

Уравнение 1

Если не очевидно, какая из двух групп является «экспериментальной» (т. е. тот, которому давали тестируемое «новое» лечение) и какой «контроль» (тот, которому дан «стандарт» лечение — или отсутствие лечения — для сравнения), разница может еще рассчитать.В этом случае «размер эффекта» просто измеряет разницу между ними, поэтому при цитировании важно размер эффекта, чтобы сказать, в каком направлении производился расчет.

Стандартное отклонение — это мера разброса набора значения. Здесь это относится к стандартному отклонению населения. из которых были взяты разные группы лечения. На практике, однако об этом почти никогда не известно, поэтому от стандартного отклонения контрольной группы или от «объединенного» значение от обеих групп (см. вопрос 7 ниже, чтобы подробнее обсудить это).

В эксперименте Доусона с эффектами времени суток стандартная отклонение (SD) = 3,3, поэтому величина эффекта составила (17,9 — 15,2) / 3,3 = 0.8.

3. Как можно интерпретировать величину эффекта?

Одной из особенностей размера эффекта является то, что он может быть напрямую преобразован в заявления о совпадении двух образцов с точки зрения сравнение процентилей.

Размер эффекта в точности эквивалентен Z-баллу стандартное нормальное распределение.Например, размер эффекта 0,8 означает что средний балл человека в экспериментальной группе составляет 0,8 стандартные отклонения выше среднего человека в контрольной группе, и следовательно, превосходит 79% контрольной группы. С двумя группы из 19 человек в эксперименте с эффектами времени суток, средний человек в «дневной» группе (то есть тот, кто был бы ранжирован 10 ^-е в группе) набрали бы примерно столько же, сколько и 4 ^-е самый высокий человек в «утренней» группе.Визуализация эти два человека могут дать довольно наглядную интерпретацию разница между двумя эффектами.

В таблице I показано преобразование величины эффекта (столбец 1) в процентили. (столбец 2) и эквивалентное изменение в порядке ранжирования для группы из 25 человек. (столбец 3). Например, для размера эффекта 0,6 значение 73% указывает на то, что средний человек в экспериментальной группе оценка выше 73% от контрольной группы, которая изначально была эквивалент. Если группа состояла из 25 человек, это то же самое, что говоря, что средний человек (т.е. занял 13 место ^-е в рейтинге группа) теперь будет на одном уровне с человеком, занимающим 7 ^-е место в контрольная группа. Обратите внимание, что размер эффекта 1,6 повысит средний человек должен быть на одном уровне с человеком с самым высоким рейтингом в контрольной группе, поэтому размеры эффекта больше указанного показаны на с точки зрения высшего человека в большой группе. Например, размер эффекта 3,0 принесет среднему человеку в группе 740 уровень с ранее занимал первое место в группе.

Таблица I: Расшифровка величины эффекта

Другой способ концептуализировать перекрытие — это вероятность того, что можно было угадать, из какой группы пришел человек, на основе только по их тестовой оценке — или какому-либо другому значению, которое сравнивали.Если величина эффекта была 0 (т.е. две группы были одинаковыми), тогда вероятность правильного предположения будет ровно половиной или 0,50. С разницей между двумя группами, эквивалентной размеру эффекта 0,3, перекрытия еще много, и вероятность при правильном определении групп возрастает лишь незначительно до 0,56. С размер эффекта 1, вероятность сейчас 0,69, чуть более двух третей шанс. Эти вероятности показаны в четвертом столбце таблицы I. Понятно, что совпадение экспериментальной и контрольной групп является существенным (и поэтому вероятность все еще близка к 0.5), даже если размер эффекта довольно большой.

Немного другой способ интерпретации размеров эффекта использует эквивалентность стандартизованной разницы средних ( d ) и коэффициент корреляции, р . Если членство в группе закодировано с фиктивной переменной (например, обозначая контрольную группу 0 и экспериментальной группы на 1) и корреляцию между этой переменной и рассчитав результат, можно получить значение р. . От сделав некоторые дополнительные предположения, можно легко преобразовать d в r в целом, используя уравнение r ² = d ² / (4 + d ² ) (другие формулы и таблицу преобразования см. в Cohen, 1969, стр. 20-22).Розенталь и Рубин (1982) используют интересное свойство r , чтобы предложить дальнейшую интерпретацию, которую они называют отображение размера биномиального эффекта (BESD). Если показатель результата снижен к простой дихотомии (например, является ли оценка выше или ниже конкретное значение, такое как медиана, которое можно рассматривать как ‘успех’ или ‘неудача’), r можно интерпретировать как разница в пропорциях в каждой категории. Например, эффект размер 0.2 указывает на разницу в 0,10 в этих пропорциях, так как будет в том случае, если 45% контрольной группы и 55% лечения группа достигла определенного порога «успеха». Обратите внимание, однако, что если общая доля «успешных» не приближается к 50%, это интерпретация может вводить в заблуждение (Strahan, 1991; McGraw, 1991). Значения BESD показаны в столбце 5.

Наконец, Макгроу и Вонг (1992) предложили Статистические данные размера эффекта (CLES), которые, как они утверждают, легко понятны не статистикам (показано в столбце 6 Таблицы I).Этот вероятность того, что оценка, полученная случайным образом из одного распределение будет больше, чем оценка, полученная от другого. Они приведите пример роста молодых людей мужского и женского пола, которые отличаются размером эффекта около 2, и переводим это разница с CLES 0,92. Другими словами, «в 92 из 100 слепых свиданий среди молодых людей самец будет выше самки » (стр. 361).

Следует отметить, что значения в таблице I зависят от предположение о нормальном распределении.Интерпретация эффекта размеры с точки зрения процентилей очень чувствительны к нарушениям этого предположение (см. вопрос 7 ниже).

Другой способ интерпретировать размеры эффекта — сравнить их с влияют на размеры знакомых различий. Например, Коэн (1969, стр. 23) описывает размер эффекта 0,2 как «малый» и дает чтобы проиллюстрировать это на примере, разница между высотами 15-летних и 16-летних девочек в США соответствует эффект такого размера. Размер эффекта 0.5 описывается как «средний» и «достаточно большой, чтобы быть видимым невооруженным глазом». Эффект 0,5 размер соответствует разнице роста 14 лет и 18-летние девушки. Коэн описывает величину эффекта 0,8 как «грубо ощутимый и, следовательно, большой » и приравнивает его к различию от 13 до 18 лет. В качестве дальнейшего Например, он утверждает, что разница в IQ между обладателями Кандидат наук. степень и «типичный первокурсник колледжа» сопоставимы с размер эффекта 0.8.

Коэн признает опасность использования таких терминов, как «маленький», «средний» и «большой» вне контекста. Glass et al. (1981, стр.104) особенно критически относятся к этому подходу, утверждая, что эффективность конкретного вмешательства можно интерпретировать только в отношении других вмешательств, направленных на то же эффект. Они также отмечают, что практическая важность эффекта полностью зависит от его относительных затрат и выгод. В образовании, если можно было бы показать, что внесение небольших и недорогих изменений повысить успеваемость даже на 0.1, тогда это может быть очень значительным улучшением, особенно если улучшение применяется единообразно ко всем учащимся, и тем более, если Эффект был кумулятивным с течением времени.

Таблица II: Примеры средней величины эффекта от исследования

Стекло и др. (1981, стр.102) приводят пример того, что эффект размер 1 соответствует разнице примерно в год обучения об успеваемости учащихся начальной школы (т.е. начальные школы. Однако анализ стандартного теста на правописание использованный в Великобритании (Vincent and Crumpler, 1997) предполагает, что увеличение возраста правописания с 11 до 12 соответствует величине эффекта около 0,3, но, кажется, варьируется в зависимости от конкретного используемого теста.

В Англии распределение оценок GCSE по обязательным предметам (например, математика и английский) имеют стандартные отклонения от 1,5 до 1,8 балла, поэтому улучшение на одну оценку GCSE представляет собой эффект размер 0.5 — 0,7. Поэтому в контексте средних школ внесение изменения в практику, величина эффекта которого была известна как 0,6 приведет к улучшению оценки GCSE для каждого ученика в каждый предмет. Для школы, в которой раньше учились 50% учеников. при получении пяти или более оценок A * — C этот процент (другие вещи равны, и предполагая, что эффект одинаково распространяется на весь учебный план) возрастет до 73%. Даже «небольшой» эффект Коэна 0,2 приведет к увеличению с 50% до 58% — разница в том, что большинство школ, вероятно, отнесли бы к категории весьма существенных.Олейник и Algina (2000) приводят аналогичный пример, основанный на тесте Iowa Test of Базовые навыки

Наконец, может значительно помочь интерпретация размеров эффекта. на нескольких примерах из существующих исследований. В таблице II перечислены выбранные из них, многие из которых взяты из работы Липси и Уилсона (1993). В Приведенные примеры приведены для иллюстрации использования размера эффекта. меры; они не предназначены для того, чтобы быть окончательным суждением по относительная эффективность различных вмешательств. Интерпретируя их, поэтому следует иметь в виду, что большинство метаанализов из которые они получены, могут быть (и часто подвергались) критике за множество слабых мест, то ряд обстоятельств, при которых эффекты могут быть ограничены, и что размер эффекта цитируемое среднее значение, которое часто основано на довольно сильно различающихся значения.

Похоже, что очень немногие из них имеют эффекты, которые были бы описаны в книге Коэна. классификация как нечто иное, чем «малый». Это кажется особенно это касается влияния на успеваемость учащихся. Без сомнения, это отчасти в результате широкого разброса популяции как целое, относительно которого рассчитывается мера величины эффекта. Один может также предположить, что на достижения труднее повлиять, чем другие результаты, возможно, потому что большинство школ уже используют оптимальные стратегии, или потому что разные стратегии могут быть эффективными в разных ситуациях — сложность, которая плохо улавливается единая средняя величина эффекта.

4. Какова взаимосвязь между «величиной эффекта» и «значимостью»?

Размер эффекта определяет величину разницы между двумя групп, и поэтому можно сказать, что это истинная мера значимость разницы. Если, например, результаты Доусона Эксперимент «эффекты времени суток» применим в целом, мы может задать вопрос: «Насколько сильно это изменит обучение детей, если им преподали конкретную тему в днем, а не утром? Лучший ответ, который мы могли бы дать это было бы с точки зрения размера эффекта.

Однако в статистике слово «значимость» часто используется для обозначения означают «статистическую значимость», то есть вероятность того, что разница между двумя группами могла быть просто случайностью отбор проб. Если вы возьмете две пробы из одной и той же популяции, всегда будет разница между ними. Статистическая значимость составляет обычно рассчитывается как p-значение, вероятность того, что разница хотя бы одного размера возникла бы случайно, даже если бы действительно не было разницы между двумя популяциями.Для различия между средними значениями двух групп, это p-значение будет обычно рассчитывается по t-критерию. Условно, если p < 0,05 (т.е. менее 5%), разница считается достаточно большой, чтобы 'значительный'; если нет, то это «несущественно».

Есть ряд проблем с использованием «критериев значимости» таким образом (см., например, Cohen, 1994; Harlow et al. ., 1997; Томпсон, 1999). Главный из них заключается в том, что величина p существенно зависит от на две вещи: размер эффекта и размер образец.Можно было бы получить «значительный» результат, если бы эффект были очень большими (несмотря на то, что у них была лишь небольшая выборка), или если выборка были очень большими (даже если реальный размер эффекта был крошечным). это важно знать статистическую значимость результата, так как без этого есть опасность сделать твердые выводы из исследований где выборка слишком мала, чтобы оправдать такое доверие. Тем не мение, статистическая значимость не , а не говорит вам о самом важном вещь: размер эффекта .Один из способов преодолеть это путаница заключается в том, чтобы сообщить о величине эффекта вместе с оценкой его вероятный «предел ошибки» или «доверительный интервал».

5. Каков предел погрешности при оценке величины эффекта?

Понятно, что если размер эффекта рассчитывается по очень большой выборке он, вероятно, будет более точным, чем рассчитанный на основе небольшого образец. Этот «предел ошибки» можно количественно оценить, используя идею доверительного интервала, который предоставляет ту же информацию, что и обычно содержится в тесте значимости: с доверительной вероятностью 95% интервал »эквивалентен принятию« 5% уровня значимости ».К рассчитать 95% доверительный интервал, вы предполагаете, что полученное вами значение (например, оценка размера эффекта 0,8) является «истинным» значением, но подсчитайте величину вариации этой оценки, которую вы получите, если вы неоднократно брали новые образцы того же размера (т. е. разных выборки 38 детей). На каждые 100 таких гипотетических новых выборки, по определению, 95 дадут оценки величины эффекта в пределах «95% доверительного интервала». Если этот доверительный интервал включает ноль, то это то же самое, что сказать, что результат не статистически значимый.Если же, с другой стороны, ноль находится за пределами диапазон, то он «статистически значим на уровне 5%». Использование доверительного интервала — лучший способ передать это информации, поскольку акцент делается на размере эффекта, который важная информация, а не p-значение.

Формула для расчета доверительного интервала для эффекта размер дан Hedges and Olkin (1985, стр. 86). Если размер эффекта оценка по выборке d , тогда она нормально распределена, со стандартным отклонением:

Уравнение 2

(где N _E и N _C — числа в опытная и контрольная группы соответственно.)

Следовательно, 95% доверительный интервал для d будет от

d — 1,96 с [ d ] к д + 1,96 с [ д ]

Уравнение 3

Чтобы снова использовать цифры из эксперимента со временем суток, N _E = N _C = 19 и d = 0,8, поэтому s [ d ] = (0,105 + 0,008) = 0,34. Следовательно, 95% доверительный интервал равен [0,14, 1,46].Обычно это интерпретируется (несмотря на факт, что такая интерпретация не является строго оправданной — см. Oakes, 1986 за поучительное обсуждение этого) как означающего, что «истинный» эффект времени суток, скорее всего, будет между 0,14 и 1,46. Другими словами, он почти наверняка положительный (т.е. днем лучше, чем утром) и разница вполне может быть большой.

6. Как можно объединить знания о величине эффекта?

Одним из основных преимуществ использования размера эффекта является то, что когда конкретный эксперимент был воспроизведен, различная величина эффекта оценки из каждого исследования можно легко объединить, чтобы получить общую наилучшая оценка размера эффекта.Этот процесс синтеза результаты экспериментов в единую оценку размера эффекта известны как «метаанализ». В его нынешнем виде он был разработан специалист по статистике образования, Джин Гласс (См. Гласс и др. ., 1981) хотя корни метаанализа можно проследить гораздо дальше назад (см. Lepper et al. , 1999), и в настоящее время широко используется не только в образовании, но в медицине и во всех социальных науках. А краткое и доступное введение в идею метаанализа может быть найдено у Фитц-Гиббона (1984).

Метаанализ, однако, может гораздо больше, чем просто произвести общий «средний» размер эффекта, хотя это часто и важно. Если, для конкретного вмешательства некоторые исследования дали большие эффекты, и некоторые небольшие эффекты, будет иметь ограниченную ценность просто объединить их вместе и говорят, что средний эффект был «средний». Много более полезным было бы изучить оригинальные исследования на предмет каких-либо различия между теми, с большими и маленькими эффектами, и попытаться понять, какие факторы могут объяснить разницу.Самый лучший метаанализ, таким образом, предполагает поиск отношений между размеры эффекта и характеристики вмешательства, контекст и дизайн исследования, в котором они были обнаружены (Rubin, 1992; см. также Lepper et al. al. (1999) для обсуждения проблем, которые могут быть созданы невыполнение этого требования, а также некоторые другие ограничения применимости метаанализ).

Важность репликации в получении доказательств того, что работает нельзя переоценить. В эксперименте Доусона с определением времени суток Эффект оказался достаточно большим, чтобы его можно было статистически и образовательно значимый.Потому что мы знаем, что ученики были распределены случайным образом для каждой группы, мы можем быть уверены, что шанс начальные различия между двумя группами маловероятны учитывать разницу в результатах. Кроме того, использование предварительное тестирование обеих групп перед вмешательством делает это еще меньше вероятный. Однако мы не можем исключить возможность того, что разница возникла из-за какой-то особенности, свойственной детям в этот конкретный эксперимент. Например, если ни у кого из них не было завтрака в тот день, это может быть причиной плохой работы утренняя группа.Однако в этом случае результат, вероятно, не будет обобщить на более широкую популяцию школьников, большинство из которых позавтракал бы. В качестве альтернативы эффект может зависеть от от возраста студентов. Студентам Доусона было 7-8 лет; Это вполне возможно, что эффект можно уменьшить или обратить вспять с помощью старшие (или младшие) ученики. Это иллюстрирует опасность реализация политики на основе единственного эксперимента. Уверенность в общность результата может быть только после повсеместного тиражирования.

Важное следствие способности метаанализа объединить результаты в том, что даже небольшие исследования могут дать значительный вклад в знания. Тип эксперимента, который может быть проведен один учитель в школе может задействовать в общей сложности менее 30 человек. студенты. Если эффект не будет огромным, исследование такого размера будет наиболее целесообразным. маловероятно получить статистически значимый результат. В соответствии с общепринятая статистическая мудрость, следовательно, эксперимент не Стоит делать. Однако если результаты нескольких таких экспериментов в сочетании с метаанализом общий результат, вероятно, будет статистически значимо.Кроме того, в нем будут важные сильные стороны того, что они получены из различных контекстов (таким образом, увеличивая уверенность в его универсальности) и из реальной производственной практики (тем самым повышая вероятность того, что политика осуществима и может быть реализовано достоверно).

Здесь следует сделать последнее предостережение об опасности комбинирования несоизмеримые результаты. Учитывая два (или более) числа, всегда можно рассчитать среднее. Однако, если они имеют размер эффекта от эксперименты, которые существенно различаются по показателям результатов использованный, то результат может быть совершенно бессмысленным.Это может быть очень заманчиво, после того как были рассчитаны размеры эффекта, рассматривать их как все то же самое и теряют из виду свое происхождение. Конечно, есть много примеров метаанализа, в котором сопоставление эффекта размеры несколько сомнительны.

Следовательно, при сравнении (или объединении) размеров эффектов следует внимательно подумайте, относятся ли они к одним и тем же результатам. Этот совет применим не только к метаанализу, но и к любому другому сравнению размеров эффекта. Кроме того, из-за чувствительности размера эффекта оценки надежности и ограничения диапазона (см. ниже), следует также подумайте, основаны ли эти показатели результатов на одном и том же (или достаточно похожие) инструменты и такие же (или в достаточной мере аналогичные) популяции.

Также важно сравнивать только подобное с похожим с точки зрения процедуры, используемые для создания измеряемых различий. в учебная литература, такое же название часто называют вмешательствами которые на самом деле очень разные, например, если они по-разному, или если они просто недостаточно хорошо определены, чтобы было ясно, являются ли они одинаковыми или нет. Это могло бы также будет то, что в разных исследованиях использовались одни и те же четко определенные и практические методы лечения, но фактическая реализация отличалась, или что одно и то же лечение могло иметь разные уровни интенсивности в разные исследования.В любом из этих случаев нет смысла усреднять из их эффектов.

7. Какие еще факторы могут повлиять на величину эффекта?

Хотя величина эффекта является простой и легко интерпретируемой мерой эффективности, он также может быть чувствителен к ряду ложных влияний, поэтому при его использовании необходимо соблюдать осторожность. Что-нибудь из этого проблемы описаны здесь.

Какое «стандартное отклонение»?

Первая проблема заключается в том, какое «стандартное отклонение» использовать.В идеале контрольная группа обеспечит наилучшую оценку стандартное отклонение, поскольку оно состоит из репрезентативной группы население, не пострадавшее от экспериментального вмешательство. Однако, если контрольная группа не очень большая, оценка «истинного» стандартного отклонения совокупности, полученная из только контрольная группа может быть значительно менее точной, чем оценка, полученная как из контрольной, так и из экспериментальной групп. Более того, в исследованиях, где нет настоящей «контрольной» группы (например, эксперимент с эффектами времени суток), тогда это может быть произвольное решение, какое стандартное отклонение группы использовать, и это часто существенно влияет на оценку эффекта размер.

По этим причинам часто лучше использовать «объединенный» оценка стандартного отклонения. Объединенная оценка — это, по сути, среднее значение стандартных отклонений опытных и контрольных группы (уравнение 4). Обратите внимание, что это не то же самое, что и стандарт отклонение всех значений в обеих группах, объединенных вместе. Если, например, у каждой группы было низкое стандартное отклонение, но два средних значения существенно различались, истинная совокупная оценка (рассчитанная по уравнению 4) будет намного ниже, чем значение, полученное путем объединения все значения вместе и вычисление стандартного отклонения.В последствия выбора того, какое стандартное отклонение использовать обсуждается Олейник и Альгина (2000).

Уравнение 4

(где N _E и N _C — числа в опытная и контрольная группы соответственно и SD _E и SD _C — их стандартные отклонения.)

Использование объединенной оценки стандартного отклонения зависит от предположение, что два рассчитанных стандартных отклонения являются оценками из такая же численность населения .Другими словами, что Стандартные отклонения экспериментальной и контрольной групп различаются только результат вариации выборки. Где это предположение не может быть сделано (либо потому, что есть основания полагать, что два стандартных отклонения, вероятно, будут систематически отличаться, или если фактические измеренные значения сильно различаются), то объединенная оценка не должна использоваться.

В примере эксперимента Доусона с временем суток стандартная отклонения для утренней и дневной групп составили 4.12 и 2.10 соответственно. При N _E = N _C = 19, уравнение 2 поэтому дает SD _{, объединенный} , как 3,3, что и было используемым значением. в уравнении 1, чтобы получить размер эффекта 0,8. Однако разница между двумя стандартными отклонениями в этом случае кажется довольно большим. Учитывая, что среднее значение дневной группы было 17,9 из 20, кажется, вероятно, что его стандартное отклонение могло быть уменьшено на «потолок». эффект ‘- т.е. разброс оценок ограничивался максимальным в наличии отметка 20.Поэтому в этом случае может быть больше целесообразно использовать стандартное отклонение утренней группы в качестве лучшая оценка. Это уменьшит размер эффекта до 0,7, и затем становится несколько произвольным решением, какое значение эффекта размер для использования. Общее практическое правило статистики, когда два действительных методы дают разные ответы: «Если сомневаетесь, цитируйте оба».

Поправки на смещение

Хотя использование объединенного стандартного отклонения для расчета размер эффекта обычно дает лучшую оценку, чем контрольная группа SD, к сожалению, он все еще немного предвзят и в целом дает значение немного больше, чем истинное значение численности населения (Hedges and Olkin, 1985).Хеджес и Олкин (1985, стр. 80) дают формулу, которая дает приблизительная коррекция этого смещения.

В эксперименте Доусона с 38 значениями поправочный коэффициент будет быть 0,98, поэтому разница очень незначительна, уменьшая размер эффекта оценка от 0,82 до 0,80. Учитывая вероятную точность цифр на котором это основано, вероятно, стоит указывать только один десятичный знак место, так стоит цифра 0,8. Фактически, исправление только становится существенным для небольших образцов, в которых точность в любом случае значительно меньше.Поэтому вряд ли стоит беспокоиться об этом в начальной школе. отчеты об эмпирических результатах. Однако в метаанализе, где результаты из первичных исследований совмещены, коррекция важна, так как без него эта предвзятость накапливалась бы.

Ограниченный диапазон

Предположим, что эксперимент с эффектами времени суток нужно повторить, один раз с лучшим набором в школе с высокой степенью отбора и снова с разноплановая группа в комплексном. Если бы студентов распределили по утренние и дневные группы наугад, соответствующие различия между ними может быть то же самое в каждом случае; оба средства в отборная школа может быть выше, но разница между ними группы могли быть такими же, как разница в комплексном.Однако маловероятно, что стандартные отклонения будут одно и тоже. Разброс оценок внутри тщательно отобранной группы будет намного меньше, чем в истинном сечении населения, как, например, в общеобразовательном классе с разной степенью способностей. Это, конечно, окажет существенное влияние на расчет размер эффекта. С очень ограниченным диапазоном, найденным в выборочная школа, размер эффекта будет намного больше, чем найденный в комплексном.

В идеале при расчете величины эффекта следует использовать стандартную отклонение всей совокупности, чтобы сравнение было справедливым.Однако во многих случаях неограниченные значения не доступны либо на практике, либо в принципе. Например, в учитывая эффект вмешательства со студентами университета, или с учениками, испытывающими трудности с чтением, следует помнить, что эти ограниченные группы населения. Сообщая о величине эффекта, следует обратить на это внимание; если размер ограничения может быть количественно можно сделать поправку на это. Любое сравнение с величиной эффекта, рассчитанной на основе полной популяции. с большой осторожностью, если вообще.

Ненормальные распределения

Интерпретация величины эффекта, приведенная в Таблице I, зависит от предположение, что и контрольная, и экспериментальная группы имеют «Нормальный» распределение, то есть показанная знакомая « колоколообразная » кривая для Например, на рисунке 1. Излишне говорить, что если это предположение неверно тогда интерпретация может быть изменена, и, в частности, она может быть трудно провести честное сравнение между размером эффекта на основе Нормальные распределения и одно, основанное на ненормальных распределениях.

Рисунок 2: Сравнение нормального и ненормального дистрибутивы

Это проиллюстрировано на Рисунке 2, который показывает частотные кривые для двух распределений, одно из которых Нормальное, другое «загрязненное нормальное» распределение (Wilcox, 1998), которое похожи по форме, но с несколько более толстыми крайностями. Фактически последний действительно выглядит немного более рассредоточенным, чем нормальный распределения, но его стандартное отклонение на самом деле более чем в три раза такой же большой.Следствием этого с точки зрения разницы в величине эффекта является показано на рисунке 3. На обоих графиках показаны распределения, различающиеся размер эффекта равен 1, но появление размера эффекта отличие от графиков весьма несходное. На графике (б) разделение между экспериментальной и контрольной группами кажется намного большим, тем не менее, размер эффекта на самом деле такой же, как у обычного распределения, нанесенные на график (а). Что касается количества перекрытий, на графике (b) 97% «экспериментальной» группы выше контрольной среднее значение группы по сравнению со значением 84% для нормального распределения графа (а) (как указано в таблице I).Это довольно существенный разница и иллюстрирует опасность использования значений в Таблице I когда распределение заведомо не является нормальным.

(а) (б)

Рисунок 3: Нормальное и ненормальное распределение с размер эффекта = 1

Надежность измерения

Третий фактор, который может ложно повлиять на размер эффекта, — это надежность измерения, на котором оно основано. В соответствии с классической теории измерения, любая мера конкретного результата может считаться состоящим из «истинной» базовой ценности вместе с компонентом «ошибка».Проблема в том, что количество вариации в оценках для конкретной выборки (т. е. ее стандартное отклонение) будет зависеть как от вариации базового оценки и количество ошибок в их измерении.

В качестве примера представьте, что эксперимент с определением времени суток был проведено дважды с двумя (гипотетически) идентичными образцами студенты. В первой версии тест использовался для оценки их понимание состояло всего из 10 пунктов, и их оценки были конвертируется в процент.Во второй версии тест с 50 элементы были использованы и снова преобразованы в процент. Два теста были равной сложности, и действительный эффект разницы в время дня было одинаковым в каждом случае, поэтому соответствующее среднее процентное соотношение утренних и дневных групп было одинаковым для обоих версии. Однако почти всегда более длительный тест будет более надежным, и, следовательно, стандартное отклонение процентное соотношение по тесту из 50 пунктов будет ниже стандартного отклонение для теста из 10 пунктов.Таким образом, хотя истинный эффект был То же самое, рассчитанная величина эффекта будет отличаться.

Поэтому при интерпретации величины эффекта важно знать надежность измерения, на основании которого он был рассчитан. Этот это одна из причин, по которой надежность любого используемого показателя результатов должна быть сообщенным. Теоретически можно сделать поправку на ненадежность (иногда называемая «затуханием»), которая дает оценка того, какой была бы величина эффекта, если бы надежность теста были идеальными.Однако на практике эффект от этого довольно настораживает, так как чем хуже был тест, тем больше вы увеличиваете оценка величины эффекта. Кроме того, оценки надежности зависят от конкретной популяции, в которой использовался тест, и сами в любом случае подвержены ошибкам выборки. Для дальнейшего обсуждение влияния надежности на величину эффекта см. Baugh (2002).

8. Существуют ли альтернативные меры величины эффекта?

Иногда предлагается ряд статистических данных в качестве альтернативы. меры величины эффекта, кроме ‘стандартизованного среднего разница’.Некоторые из них будут рассмотрены здесь.

Доля дисперсии, приходящаяся на

Если корреляция между двумя переменными равна ‘r’, квадрат это значение (часто обозначается заглавной буквой: R ² ) представляет собой долю дисперсии в каждой учтенной для ‘другим. Другими словами, это пропорция, на которую дисперсия показателя результата уменьшается, когда его заменяют на дисперсия остатков из уравнения регрессии.Эта идея может быть расширен до множественной регрессии (где он представляет доля дисперсии, приходящаяся на все независимые вместе) и имеет близкие аналогии в ANOVA (где это обычно называется «эта-квадрат», h ² ). Расчет р (и, следовательно, R ² ) для той экспериментальной ситуации, которую мы были рассмотрены уже упоминалось выше.

Поскольку R ² имеет эту готовую конвертируемость, он (или учитываются альтернативные меры дисперсии) иногда рекомендуется как универсальная мера величины эффекта (например,грамм. Томпсон, 1999). Один Недостатком такого подхода является то, что измерение величины эффекта на основе учтенная дисперсия имеет ряд технических ограничений, такие как чувствительность к нарушению допущений (неоднородность дисперсия, сбалансированные планы) и их стандартные ошибки могут быть большими (Олейник и Альгина, 2000). Кроме того, они обычно более сложны со статистической точки зрения. и поэтому, возможно, труднее понять. Кроме того, они ненаправленного; два исследования с совершенно противоположными результатами сообщить точно такую ​​же учтенную дисперсию.Однако есть более серьезное возражение против использования того, что по сути является мерой ассоциации, чтобы указать силу «эффекта».

Выражение разных показателей с помощью одной и той же статистики может скрыть важные различия между ними; на самом деле, эти разные эффекты размеры ‘принципиально разные, и их не следует путать. В принципиальное различие между величиной эффекта, рассчитанной из эксперимент и один, рассчитанный на основе корреляции, находится в причинно-следственной характер предъявленной претензии.Кроме того, слово «эффект» имеет неотъемлемое значение причинно-следственной связи: разговор о « эффекте A на B ‘действительно предполагает причинно-следственную связь, а не просто ассоциация. К сожалению, слово «эффект» часто используется, когда не делается явного причинно-следственного утверждения, но его значение иногда разрешается плавать в значении и исчезать, принимая преимущество двусмысленности, чтобы предложить подсознательную причинно-следственную связь, где ничто действительно не оправдано.

Подобная путаница настолько распространена в образовании, что здесь рекомендуется, чтобы слово «эффект» (и, следовательно, «эффект» size ‘) не следует использовать, за исключением случаев намеренного и явного причинно-следственного претензия предъявляется.Когда таких заявлений не поступает, мы можем говорить о «учтенной дисперсии» (R ² ) или «силе ассоциации ‘(r), или просто — и, возможно, наиболее информативно — просто процитируйте коэффициент регрессии (Tukey, 1969). Если причинно-следственная претензия должна быть явной и с указанием обоснования. Фитц-Гиббон ​​(2002) рекомендовал альтернативный подход к этому проблема. Она предложила систему номенклатуры для разных виды размеров эффекта, которые четко различают размеры эффекта полученный, например, из рандомизированных контролируемых квазиэкспериментальных и корреляционные исследования.

Прочие меры воздействия

Было показано, что интерпретация «стандартизованного мера величины эффекта средней разницы очень чувствительна к нарушения предположения о нормальности. По этой причине число были предложены более надежные (непараметрические) альтернативы. An Пример этого дан Клиффом (1993). Также есть эффект размера меры для многомерных результатов. Подробное объяснение можно найдено у Олейника и Альгины (2000).Наконец, метод расчета размеры эффекта в многоуровневых моделях были предложены Tymms et al. al. (1997). Хорошие обобщения многих различных видов эффектов меры размера, которые можно использовать, и отношения между ними могут быть найдено у Снайдера и Лоусона (1993), Розенталя (1994) и Кирка (1996).

Наконец, общепринятая мера величины эффекта, широко используемая в медицине, — это «отношение шансов». Это уместно, когда результат дихотомический: успех или неудача, выживает пациент или нет.Объяснения отношения шансов можно найти в ряде медицинских статистические тексты, включая Altman (1991) и Fleiss (1994).

Выводы

Рекомендации по использованию размеров эффекта можно резюмировать следующим образом:

• Размер эффекта — это стандартизированная безмасштабная мера относительный размер эффекта вмешательства. Это особенно полезен для количественной оценки эффектов, измеренных на незнакомых или произвольных шкалы и для сравнения относительных размеров эффектов от разные исследования.
• Интерпретация величины эффекта обычно зависит от предположения о том, что значения «контрольной» и «экспериментальной» группы обычно распределяются и имеют одинаковые стандартные отклонения. Величину эффекта можно интерпретировать в терминах процентилей или рангов. при котором два распределения перекрываются, с точки зрения вероятности с указанием источника значения или со ссылкой на известные эффекты или исходы.
• Использование размера эффекта с доверительным интервалом передает та же информация, что и тест статистической значимости, но с акцент на значимости эффекта, а не на выборке размер.
• Размеры эффекта (с доверительными интервалами) должны быть рассчитаны и сообщается в первичных исследованиях, а также в метаанализах.
• Интерпретация стандартизованной величины эффекта может быть проблематичной когда образец имеет ограниченный диапазон или не соответствует нормальному распределения, или если измерение, на основе которого оно было получено, неизвестная надежность.
• Использование «нестандартной» разницы средних (т. Е. Необработанных разница между двумя группами вместе с уверенностью интервал) может быть предпочтительнее, когда:

  • — результат измеряется по знакомой шкале
  • — образец имеет ограниченный диапазон
  • — родительская популяция значительно ненормальна
  • — контрольная и опытная группы заметно различались стандартные отклонения
  • — показатель результата имеет очень низкую или неизвестную надежность

• Следует проявлять осторожность при сравнении или суммировании величин эффекта. основанный на разных результатах, разном вводе в действие одинаковый результат, разные методы лечения или уровни одного и того же лечения, или меры, полученные из разных групп населения.
• Слово «эффект» подразумевает причинную связь, и поэтому выражение «размер эффекта» не следует использовать, если только это подразумевается намеренно и может быть оправдано.

Список литературы

Альтман, Д.Г. (1991) Практическая статистика медицинских исследований . Лондон: Чепмен и Холл.

Бангерт, Р.Л., Кулик, Дж. А. и Кулик, К. (1983) ‘Индивидуальный системы обучения в средних школах.’ Обзор Образовательные исследования , 53, 143-158.

Бангерт-Дроунс, Р.Л. (1988) «Влияние школьного образование по злоупотреблению психоактивными веществами: метаанализ ». Журнал лекарств Образование , 18, 3, 243-65.

Baugh, F. (2002) «Размер корректирующего эффекта для надежности оценки: Напоминание о том, что измерение и существенные вопросы связаны неразрывно ». Образовательная и психологическая оценка , 62, 2, 254-263.

Клифф, Н. (1993) «Статистика доминирования — порядковый анализ Ответьте на порядковые вопросы ‘ Психологический бюллетень , 114, 3.494-509.

Коэн, Дж. (1969) Статистический анализ мощности поведения Наук . Нью-Йорк: Academic Press.

Коэн, Дж. (1994) «Земля круглая (p <0,05)». Американский Психолог , 49, 997-1003.

Коэн П.А., Кулик Я.А. и Кулик, К. (1982) ‘Образовательные результаты обучения: метаанализ результатов ». Американский Образовательный исследовательский журнал , 19, 237-248.

Доусон В. (2000) «Эффекты времени суток у школьников. немедленный и отсроченный отзыв значимого материала «. ТЕРСА Отчет http://www.cem.dur.ac.uk/ebeuk/research/terse/library.htm

Финн, Д.Д. и Ахиллес, К.М. (1990) ‘Ответы и вопросы о размер класса: эксперимент в масштабе штата ». Американский образовательный Research Journal , 27, 557-577.

Фитц-Гиббон ​​К.Т. (1984) «Мета-анализ: экспликация». Британский Образовательный исследовательский журнал , 10, 2, 135-144.

Фитц-Гиббон ​​К.Т. (2002) «Типология индикаторов для Подход к оценке и обратной связи » в А.Дж. Вишер и Р. Коу (ред.) Школа Улучшение за счет обратной связи . Лиссе: Светс и Zeitlinger.

Fleiss, J.L. (1994) «Меры величины эффекта для категориальных данных» у Х. Купера и Л.В. Hedges (Eds.), Справочник по исследованиям Синтез . Нью-Йорк: Фонд Рассела Сейджа.

Флетчер-Флинн, C.M. и Gravatt, B. (1995) «Эффективность Компьютерное обучение (CAI): метаанализ ». Журнал исследований в области образовательной вычислительной техники , 12 (3), 219-242.

Fuchs, L.S. и Фукс, Д. (1986) «Эффекты систематического формирующего оценка: метаанализ ». Исключительные дети , 53, 199-208.

Джакония Р.М. и Hedges, L.V. (1982) «Идентификационные особенности эффективное открытое образование ». Обзор исследований в области образования , 52, 579-602.

Гласс, Г.В., Макгоу, Б., Смит, М.Л. (1981) Метаанализ в Социальные исследования . Лондон: Мудрец.

Харлоу, Л.Л., Мулайк, С.С., Стейгер, Дж.H. (ред.) (1997) What если бы не было тестов на значимость? Mahwah NJ: Эрлбаум.

Хеджес, Л. и Олкин, И. (1985) Статистические методы для Метаанализ . Нью-Йорк: Academic Press.

Hembree, R. (1988) «Коррелирует, вызывает эффекты и лечение испытать тревогу ». Обзор исследований в области образования , 58 (1), 47-77.

Хуберти, C.J .. (2002) «История индексов размера эффекта». Образовательный и психологическое измерение , 62, 2, 227-240.

Хайман, Р. Б., Фельдман, Х. Р., Харрис, Р. Б., Левин, Р. Ф. и Маллой, Г. Б. (1989) «Влияние тренировки на расслабление на медицинские симптомы: анализ мяса ». Медсестринское дело , 38, 216-220.

Кавале, К.А. и Форнесс, С. (1983) ‘Гиперактивность и диета лечение: мясной анализ гипотезы Фейнгольда ». Журнал инвалидов обучения , 16, 324-330.

Кесельман, Х.Дж., Хуберти, К.Дж., Ликс, Л.М., Олейник, С. Крибби, Р.А., Донахью, Б., Ковальчук, Р.К., Лоуман, Л.Л., Петоски, М.Д., Кесельман, Дж. К., Левин, Дж. Р. (1998). исследователи: анализ их анализов ANOVA, MANOVA и ANCOVA ». Обзор исследований в области образования , 68, 3, 350-386.

Кирк Р.Э. (1996) ‘Практическое значение: концепция, время которой пришел’. Образовательная и психологическая оценка , 56, 5, 746-759.

Кулик Ю.А., Кулик К.С. и Бангерт, Р.Л. (1984) «Эффекты практика по оценке способностей и достижений. американец Журнал исследований в области образования , 21, 435-447.

Леппер, М.Р., Хендерлонг, Дж., И Гинграс, И. (1999) ‘Понимание влияние внешних вознаграждений на внутреннюю мотивацию — Использование и злоупотребления метаанализом: комментарий к Деци, Кестнеру и Райану. Психологический Бюллетень , 125, 6, 669-676.

Lipsey, M.W. (1992) ‘Лечение преступности среди несовершеннолетних: a метааналитическое исследование изменчивости эффектов ». В T.D. Кук, Х. Купер, Д.С. Кордрей, Х.Хартманн, Л. Хеджес, Р.Дж. Свет, Т.А. Луис и Ф. Мостеллер (ред.) Мета-анализ для объяснения . Нью-Йорк: Фонд Рассела Сейджа.

Липси, М.В. и Уилсон, Д. (1993) ‘Эффективность Психологическое, образовательное и поведенческое лечение: подтверждение из метаанализа ». Американский психолог , 48, 12, 1181-1209.

МакГроу, К.О. (1991) ‘Проблемы с BESD: комментарий к Розенталя «Как у нас дела в мягкой психологии». Американский Психолог , 46, 1084-6.

МакГроу, К.О. и Вонг, С.П. (1992) ‘Величина эффекта общего языка Статистика ». Психологический бюллетень , 111, 361-365.

Mosteller, F., Light, R.J. и Сакс, Дж. (1996) ‘Устойчивый исследование в образовании: уроки групп навыков и размер класса ». Гарвард Обзор образования , 66, 797-842.

Оукс, М. (1986) Статистический вывод: комментарий к Социальные и поведенческие науки . Нью-Йорк: Вили.

Олейник, С.и Альгина, Дж. (2000) «Измерение величины эффекта для Сравнительные исследования: приложения, интерпретации и ограничения ». Современная психология образования , 25, 241-286.

Rosenthal, R. (1994) «Параметрические меры величины эффекта» в H. Купер и Л. Hedges (Eds.), Справочник по синтезу исследований . Нью-Йорк: Фонд Рассела Сейджа.

Розенталь Р., Рубин Д. (1982) ‘Простая, универсальная отображение величины экспериментального эффекта.’ Журнал Педагогическая психология , 74, 166-169.

Рубин, Д. (1992) «Метаанализ: синтез литературы или оценка размера эффекта поверхности ». Журнал образовательного Статистика , 17, 4, 363-374.

Шиманский Ю.А., Хеджес Л.В. и Вудворт, Г. (1990) A переоценка результатов исследовательских программ естественных наук 60-е по успеваемости студентов ». Научно-исследовательский журнал Обучение , 27, 127-144.

Славин, Р.Э. и Мэдден Н.А. (1989) «Что работает для студентов в риск? Обобщение исследований ». Образовательное лидерство , 46 (4), 4-13.

Смит, М.Л. и Гласс, Г. (1980) ‘Метаанализ исследований по размер класса и его отношение к отношениям и обучению ». Американский Журнал исследований в области образования, 17, 419-433.

Снайдер П. и Лоусон С. (1993) «Оценка результатов с использованием Скорректированные и нескорректированные оценки величины эффекта ». Журнал Экспериментальное образование , 61, 4, 334-349.

Страхан, Р.Ф. (1991) «Замечания по отображению размера биномиального эффекта». Американский психолог , 46, 1083-4.

Томпсон, Б. (1999) «Распространенные методологические ошибки в образовательной пересмотренное исследование, а также праймеры по величине эффекта и бутстрап. Приглашенное обращение, представленное на ежегодном собрании Американская ассоциация исследований в области образования, Монреаль. [Доступ с http://acs.tamu.edu/~bbt6147/aeraad99.htm , Январь 2000 г.]

Тиммс, П., Меррелл, К.и Хендерсон Б. (1997) ‘Первый год как школа: количественное исследование достижений и прогресса школьников. Образовательные исследования и оценка , 3, 2, 101-118.

Винсент, Д. и Крамплер, М. (1997) Британская серия тестов по орфографии Инструкция 3X / Y . Виндзор: NFER-Nelson.

Ван, М.С. и Бейкер, Э. (1986) ‘Программы интеграции: дизайн особенности и эффекты. Журнал специального образования , 19, 503-523.

Уилкокс, Р.Р. (1998) «Сколько открытий было потеряно игнорируя современные статистические методы? ». Американский психолог , 53, 3, 300-314.

Wilkinson, L. и Целевая группа по статистическим выводам, Совет APA Научные дела (1999) ‘Статистические методы в психологии Журналы: рекомендации и пояснения ». Американский психолог , 54, 8, 594-604.