Регрессия в Excel: уравнение, примеры. Линейная регрессия. Основы анализа данных Для регрессионной зависимости

В результате изучения материала главы 4 обучающийся должен:

знать

• основные понятия регрессионного анализа;
• методы оценивания и свойства оценок метода наименьших квадратов;
• основные правила проверки значимости и интервального оценивания уравнения и коэффициентов регрессии;

уметь

• находить по выборочным данным оценки параметров двумерной и множественной моделей уравнений регрессии, анализировать их свойства;
• проверять значимость уравнения и коэффициентов регрессии;
• находить интервальные оценки значимых параметров;

владеть

• навыками статистического оценивания параметров двумерного и множественного уравнения регрессии; навыками проверки адекватности регрессионных моделей;
• навыками получения уравнения регрессии со всеми значимыми коэффициентами с использованием аналитического программного обеспечения.

Основные понятия

После проведения корреляционного анализа, когда выявлено наличие статистически значимых связей между переменными и оценена степень их тесноты, обычно переходят к математическому описанию вида зависимостей с использованием методов регрессионного анализа. С этой целью подбирают класс функций, связывающий результативный показатель у и аргументы„ вычисляют оценки параметров уравнения связи и анализируют точность полученного уравнения .

Функция|, описывающая зависимость условного среднего значения результативного признака у от заданных значений аргументов, называется уравнением регрессии.

Термин "регрессия" (от лат. regression – отступление, возврат к чему- либо) введен английским психологом и антропологом Ф. Гальтоном и связан с одним из его первых примеров, в котором Гальтон, обрабатывая статистические данные, связанные с вопросом о наследственности роста, нашел, что если рост отцов отклоняется от среднего роста всех отцов на х дюймов, то рост их сыновей отклоняется от среднего роста всех сыновей меньше, чем на x дюймов. Выявленная тенденция была названа регрессией к среднему состоянию.

Термин "регрессия" широко используется в статистической литературе, хотя во многих случаях он недостаточно точно характеризует статистическую зависимость.

Для точного описания уравнения регрессии необходимо знать условный закон распределения результативного показателя у. В статистической практике такую информацию получить обычно не удается, поэтому ограничиваются поиском подходящих аппроксимаций для функции f(x u х 2,.... л*), основанных на предварительном содержательном анализе явления или на исходных статистических данных.

В рамках отдельных модельных допущений о типе распределения вектора показателей <) может быть получен общий вид уравнения регрессии , где. Например, в предположении о том, что исследуемая совокупность показателей подчиняется ()-мерному нормальному закону распределения с вектором математических ожиданий

Где, и ковариационной матрицей,

где– дисперсия у,

Уравнение регрессии (условное математическое ожидание) имеет вид

Таким образом, если многомерная случайная величина ()

подчиняется ()-мерному нормальному закону распределения, то уравнение регрессии результативного показателя у по объясняющим переменнымимеет линейный по х вид.

Однако в статистической практике обычно приходится ограничиваться поиском подходящих аппроксимаций для неизвестной истинной функции регрессии f(x), так как исследователь не располагает точным знанием условного закона распределения вероятностей анализируемого результативного показателя у при заданных значениях аргументов х.

Рассмотрим взаимоотношение между истинной , модельнойи оценкой регрессии . Пусть результативный показатель у связан с аргументом х соотношением

где– случайная величина, имеющая нормальный закон распределения, причеми. Истинная функция регрессии в этом случае имеет вид

Предположим, что точный вид истинного уравнения регрессии нам неизвестен, но мы располагаем девятью наблюдениями над двумерной случайной величиной, связанной соотношениеми представленной на рис. 4.1.

Рис. 4.1. Взаимное расположение истинной f(x) и теоретической уы модели регрессии

Расположение точек на рис. 4.1 позволяет ограничиться классом линейных зависимостей вида

С помощью метода наименьших квадратов найдем оценкууравнения регрессии.

Для сравнения на рис. 4.1 приводятся графики истинной функции регрессиии теоретической аппроксимирующей функции регрессии. К последней сходится по вероятности оценка уравнения регрессии уы при неограниченном увеличении объема выборки ().

Поскольку мы вместо истинной функции регрессии ошибочно выбрали линейную функцию регрессии, что, к сожалению, достаточно часто встречается в практике статистических исследований, то наши статистические выводы и оценки не будут обладать свойством состоятельности, т.е. так бы мы ни увеличивали объем наблюдений, наша выборочная оценкане будет сходиться к истинной функции регрессии

Если бы мы правильно выбрали класс функций регрессии, то неточность в описании с помощью уы объяснялась бы только ограниченностью выборки и, следовательно, она могла бы быть сделана сколько угодно малой при

С целью наилучшего восстановления по исходным статистическим данным условного значения результативного показателяи неизвестной функции регрессии наиболее часто используют следующие критерии адекватности функции потерь .

1. Метод наименьших квадратов, согласно которому минимизируется квадрат отклонения наблюдаемых значений результативного показателя, , от модельных значений , где коэффициенты уравнения регрессии;– значения вектора аргументов в "-М наблюдении:

Решается задача отыскания оценкивектора. Получаемая регрессия называется средней квадратической.

2. Метод наименьших модулей , согласно которому минимизируется сумма абсолютных отклонений наблюдаемых значений результативного показателя от модульных значений, т.е.

Получаемая регрессия называется среднеабсолютной (медианной).

3. Метод минимакса сводится к минимизации максимума модуля отклонения наблюдаемого значения результативного показателя у, от модельного значения, т.е.

Получаемая при этом регрессия называется минимаксной.

В практических приложениях часто встречаются задачи, в которых изучается случайная величина у, зависящая от некоторого множества переменныхи неизвестных параметров. Будем рассматривать () как (k + 1)-мерную генеральную совокупность, из которой взята случайная выборка объемом п, где () результат /-го наблюдения,. Требуется по результатам наблюдений оценить неизвестные параметры. Описанная выше задача относится к задачам регрессионного анализа.

Регрессионным анализом называют метод статистического анализа зависимости случайной величины у от переменных, рассматриваемых в регрессионном анализе как неслучайные величины, независимо от истинного закона распределения

Регрессионный анализ — метод моделирования измеряемых данных и исследования их свойств. Данные состоят из пар значений зависимой переменной (переменной отклика) и независимой переменной (объясняющей переменной). Регрессионная модель есть функция независимой переменной и параметров с добавленной случайной переменной . Параметры модели настраиваются таким образом, что модель наилучшим образом приближает данные. Критерием качества приближения (целевой функцией) обычно является среднеквадратичная ошибка : сумма квадратов разности значений модели и зависимой переменной для всех значений независимой переменной в качестве аргумента. Регрессионный анализ — раздел математической статистики и машинного обучения . Предполагается, что зависимая переменная есть сумма значений некоторой модели и случайной величины . Относительно характера распределения этой величины делаются предположения, называемые гипотезой порождения данных. Для подтверждения или опровержения этой гипотезы выполняются статистические тесты , называемые анализом остатков . При этом предполагается, что независимая переменная не содержит ошибок. Регрессионный анализ используется для прогноза , анализа временных рядов , тестирования гипотез и выявления скрытых взаимосвязей в данных.

Определение регрессионного анализа

Выборка может быть не функцией, а отношением. Например, данные для построения регрессии могут быть такими: . В такой выборке одному значению переменной соответствует несколько значений переменной .

Линейная регрессия

Линейная регрессия предполагает, что функция зависит от параметров линейно. При этом линейная зависимость от свободной переменной необязательна,

В случае, когда функция линейная регрессия имеет вид

здесь — компоненты вектора .

Значения параметров в случае линейной регрессии находят с помощью метода наименьших квадратов . Использование этого метода обосновано предположением о гауссовском распределении случайной переменной.

Разности между фактическими значениями зависимой переменной и восстановленными называются регрессионными остатками (residuals). В литературе используются также синонимы: невязки и ошибки . Одной из важных оценок критерия качества полученной зависимости является сумма квадратов остатков:

Здесь — Sum of Squared Errors.

Дисперсия остатков вычисляется по формуле

Здесь — Mean Square Error, среднеквадратичная ошибка.

На графиках представлены выборки, обозначенные синими точками, и регрессионные зависимости, обозначенные сплошными линиями. По оси абсцисс отложена свободная переменная, а по оси ординат — зависимая. Все три зависимости линейны относительно параметров.

Нелинейная регрессия

Нелинейные регрессионные модели - модели вида

которые не могут быть представлены в виде скалярного произведения

где - параметры регрессионной модели, - свободная переменная из пространства , - зависимая переменная, - случайная величина и - функция из некоторого заданного множества.

Значения параметров в случае нелинейной регрессии находят с помощью одного из методов градиентного спуска, например алгоритма Левенберга-Марквардта .

О терминах

Термин "регрессия" был введён Фрэнсисом Гальтоном в конце 19-го века. Гальтон обнаружил, что дети родителей с высоким или низким ростом обычно не наследуют выдающийся рост и назвал этот феномен "регрессия к посредственности". Сначала этот термин использовался исключительно в биологическом смысле. После работ Карла Пирсона этот термин стали использовать и в статистике.

В статистической литературе различают регрессию с участием одной свободной переменной и с несколькими свободными переменными — одномерную и многомерную регрессию. Предполагается, что мы используем несколько свободных переменных, то есть, свободная переменная — вектор . В частных случаях, когда свободная переменная является скаляром, она будет обозначаться . Различают линейную и нелинейную регрессию. Если регрессионную модель не является линейной комбинацией функций от параметров, то говорят о нелинейной регрессии. При этом модель может быть произвольной суперпозицией функций из некоторого набора. Нелинейными моделями являются, экспоненциальные, тригонометрические и другие (например, радиальные базисные функции или персептрон Розенблатта), полагающие зависимость между параметрами и зависимой переменной нелинейной.

Различают параметрическую и непараметрическую регрессию. Строгую границу между этими двумя типами регрессий провести сложно. Сейчас не существует общепринятого критерия отличия одного типа моделей от другого. Например, считается, что линейные модели являются параметрическими, а модели, включающие усреднение зависимой переменной по пространству свободной переменной —непараметрическими. Пример параметрической регресионной модели: линейный предиктор, многослойный персептрон. Примеры смешанной регрессионной модели: функции радиального базиса. Непараметрическая модель — скользящее усреднение в окне некоторой ширины. В целом, непараметрическая регрессия отличается от параметрической тем, что зависимая переменная зависит не от одного значения свободной переменной, а от некоторой заданной окрестности этого значения.

Есть различие между терминами: "приближение функций", "аппроксимация", "интерполяция", и "регрессия". Оно заключается в следующем.

Приближение функций. Дана функция дискретного или непрерывного аргумента. Требуется найти функцию из некоторого параметрическую семейства, например, среди алгебраических полиномов заданной степени. Параметры функции должны доставлять минимум некоторому функционалу, например,

Термин аппроксимация — синоним термина "приближение функций". Чаще используется тогда, когда речь идет о заданной функции, как о функции дискретного аргумента. Здесь также требуется отыскать такую функцию , которая проходит наиболее близко ко всем точкам заданной функции. При этом вводится понятие невязки — расстояния между точками непрерывной функции и соответствующими точками функции дискретного аргумента.

Интерполяция функций — частный случай задачи приближения, когда требуется, чтобы в определенных точках, называемых узлами интерполяции совпадали значения функции и приближающей ее функции . В более общем случае накладываются ограничения на значения некоторых производных производных. То есть, дана функция дискретного аргумента. Требуется отыскать такую функцию , которая проходит через все точки . При этом метрика обычно не используется, однако часто вводится понятие "гладкости" искомой функции.

Основная особенность регрессионного анализа: при его помощи можно получить конкретные сведения о том, какую форму и характер имеет зависимость между исследуемыми переменными.

Последовательность этапов регрессионного анализа

Рассмотрим кратко этапы регрессионного анализа.

Формулировка задачи. На этом этапе формируются предварительные гипотезы о зависимости исследуемых явлений.

Определение зависимых и независимых (объясняющих) переменных.

Сбор статистических данных. Данные должны быть собраны для каждой из переменных, включенных в регрессионную модель.

Формулировка гипотезы о форме связи (простая или множественная, линейная или нелинейная).

Определение функции регрессии (заключается в расчете численных значений параметров уравнения регрессии)

Оценка точности регрессионного анализа.

Интерпретация полученных результатов. Полученные результаты регрессионного анализа сравниваются с предварительными гипотезами. Оценивается корректность и правдоподобие полученных результатов.

Предсказание неизвестных значений зависимой переменной.

При помощи регрессионного анализа возможно решение задачи прогнозирования и классификации. Прогнозные значения вычисляются путем подстановки в уравнение регрессии параметров значений объясняющих переменных. Решение задачи классификации осуществляется таким образом: линия регрессии делит все множество объектов на два класса, и та часть множества, где значение функции больше нуля, принадлежит к одному классу, а та, где оно меньше нуля, - к другому классу.

Задачи регрессионного анализа

Рассмотрим основные задачи регрессионного анализа: установление формы зависимости, определение функции регрессии , оценка неизвестных значений зависимой переменной.

Установление формы зависимости.

Характер и форма зависимости между переменными могут образовывать следующие разновидности регрессии:

положительная линейная регрессия (выражается в равномерном росте функции);

положительная равноускоренно возрастающая регрессия;

положительная равнозамедленно возрастающая регрессия;

отрицательная линейная регрессия (выражается в равномерном падении функции);

отрицательная равноускоренно убывающая регрессия;

отрицательная равнозамедленно убывающая регрессия.

Однако описанные разновидности обычно встречаются не в чистом виде, а в сочетании друг с другом. В таком случае говорят о комбинированных формах регрессии.

Определение функции регрессии.

Вторая задача сводится к выяснению действия на зависимую переменную главных факторов или причин, при неизменных прочих равных условиях, и при условии исключения воздействия на зависимую переменную случайных элементов. Функция регрессии определяется в виде математического уравнения того или иного типа.

Оценка неизвестных значений зависимой переменной.

Решение этой задачи сводится к решению задачи одного из типов:

Оценка значений зависимой переменной внутри рассматриваемого интервала исходных данных, т.е. пропущенных значений; при этом решается задача интерполяции.

Оценка будущих значений зависимой переменной, т.е. нахождение значений вне заданного интервала исходных данных; при этом решается задача экстраполяции.

Обе задачи решаются путем подстановки в уравнение регрессии найденных оценок параметров значений независимых переменных. Результат решения уравнения представляет собой оценку значения целевой (зависимой) переменной.

Рассмотрим некоторые предположения, на которые опирается регрессионный анализ.

Предположение линейности, т.е. предполагается, что связь между рассматриваемыми переменными является линейной. Так, в рассматриваемом примере мы построили диаграмму рассеивания и смогли увидеть явную линейную связь. Если же на диаграмме рассеивания переменных мы видим явное отсутствие линейной связи, т.е. присутствует нелинейная связь, следует использовать нелинейные методы анализа.

Предположение о нормальности остатков . Оно допускает, что распределение разницы предсказанных и наблюдаемых значений является нормальным. Для визуального определения характера распределения можно воспользоваться гистограммамиостатков .

При использовании регрессионного анализа следует учитывать его основное ограничение. Оно состоит в том, что регрессионный анализ позволяет обнаружить лишь зависимости, а не связи, лежащие в основе этих зависимостей.

Регрессионный анализ дает возможность оценить степень связи между переменными путем вычисления предполагаемого значения переменной на основании нескольких известных значений.

Уравнение регрессии.

Уравнение регрессии выглядит следующим образом: Y=a+b*X

При помощи этого уравнения переменная Y выражается через константу a и угол наклона прямой (или угловой коэффициент) b, умноженный на значение переменной X. Константу a также называют свободным членом, а угловой коэффициент - коэффициентом регрессии или B-коэффициентом.

В большинстве случав (если не всегда) наблюдается определенный разброс наблюдений относительно регрессионной прямой.

Остаток - это отклонение отдельной точки (наблюдения) от линии регрессии (предсказанного значения).

Для решения задачи регрессионного анализа в MS Excel выбираем в меню Сервис "Пакет анализа" и инструмент анализа "Регрессия". Задаем входные интервалы X и Y. Входной интервал Y - это диапазон зависимых анализируемых данных, он должен включать один столбец. Входной интервал X - это диапазон независимых данных, которые необходимо проанализировать. Число входных диапазонов должно быть не больше 16.

На выходе процедуры в выходном диапазоне получаем отчет, приведенный в таблице 8.3а -8.3в .

ВЫВОД ИТОГОВ

Сначала рассмотрим верхнюю часть расчетов, представленную в таблице 8.3а , - регрессионную статистику.

Величина R-квадрат , называемая также мерой определенности, характеризует качество полученной регрессионной прямой. Это качество выражается степенью соответствия между исходными данными и регрессионной моделью (расчетными данными). Мера определенности всегда находится в пределах интервала .

В большинстве случаев значение R-квадрат находится между этими значениями, называемыми экстремальными, т.е. между нулем и единицей.

Если значение R-квадрата близко к единице, это означает, что построенная модель объясняет почти всю изменчивость соответствующих переменных. И наоборот, значениеR-квадрата , близкое к нулю, означает плохое качество построенной модели.

В нашем примере мера определенности равна 0,99673, что говорит об очень хорошей подгонке регрессионной прямой к исходным данным.

множественный R - коэффициент множественной корреляции R - выражает степень зависимости независимых переменных (X) и зависимой переменной (Y).

Множественный R равен квадратному корню из коэффициента детерминации, эта величина принимает значения в интервале от нуля до единицы.

В простом линейном регрессионном анализе множественный R равен коэффициенту корреляции Пирсона. Действительно,множественный R в нашем случае равен коэффициенту корреляции Пирсона из предыдущего примера (0,998364).

Теперь рассмотрим среднюю часть расчетов, представленную в таблице 8.3б . Здесь даны коэффициент регрессии b (2,305454545) и смещение по оси ординат, т.е. константа a (2,694545455).

Исходя из расчетов, можем записать уравнение регрессии таким образом:

Y= x*2,305454545+2,694545455

Направление связи между переменными определяется на основании знаков (отрицательный или положительный) коэффициентов регрессии (коэффициента b).

Если знак при коэффициенте регрессии - положительный, связь зависимой переменной с независимой будет положительной. В нашем случае знак коэффициента регрессии положительный, следовательно, связь также является положительной.

Если знак при коэффициенте регрессии - отрицательный, связь зависимой переменной с независимой является отрицательной (обратной).

В таблице 8.3в . представлены результаты выводаостатков . Для того чтобы эти результаты появились в отчете, необходимо при запуске инструмента "Регрессия" активировать чекбокс "Остатки".

ВЫВОД ОСТАТКА

При помощи этой части отчета мы можем видеть отклонения каждой точки от построенной линии регрессии. Наибольшее абсолютное значение остатка в нашем случае - 0,778, наименьшее - 0,043. Для лучшей интерпретации этих данных воспользуемся графиком исходных данных и построенной линией регрессии, представленными нарис. 8.3 . Как видим, линия регрессии достаточно точно "подогнана" под значения исходных данных.

Следует учитывать, что рассматриваемый пример является достаточно простым и далеко не всегда возможно качественное построение регрессионной прямой линейного вида.

Рис. 8.3. Исходные данные и линия регрессии

Осталась нерассмотренной задача оценки неизвестных будущих значений зависимой переменной на основании известных значений независимой переменной, т.е. задача прогнозирования.

Имея уравнение регрессии, задача прогнозирования сводится к решению уравнения Y= x*2,305454545+2,694545455 с известными значениями x. Результаты прогнозирования зависимой переменной Y на шесть шагов вперед представлены в таблице 8.4 .

Таким образом, в результате использования регрессионного анализа в пакете Microsoft Excel мы:

построили уравнение регрессии;

установили форму зависимости и направление связи между переменными - положительная линейная регрессия, которая выражается в равномерном росте функции;

установили направление связи между переменными;

оценили качество полученной регрессионной прямой;

смогли увидеть отклонения расчетных данных от данных исходного набора;

предсказали будущие значения зависимой переменной.

Если функция регрессии определена, интерпретирована и обоснована, и оценка точности регрессионного анализа соответствует требованиям, можно считать, что построенная модель и прогнозные значения обладают достаточной надежностью.

Прогнозные значения, полученные таким способом, являются средними значениями, которые можно ожидать.

В этой работе мы рассмотрели основные характеристики описательной статистики и среди них такие понятия, каксреднее значение ,медиана ,максимум ,минимум и другие характеристики вариации данных.

Также было кратко рассмотрено понятие выбросов . Рассмотренные характеристики относятся к так называемому исследовательскому анализу данных, его выводы могут относиться не к генеральной совокупности, а лишь к выборке данных. Исследовательский анализ данных используется для получения первичных выводов и формирования гипотез относительно генеральной совокупности.

Также были рассмотрены основы корреляционного и регрессионного анализа, их задачи и возможности практического использования.

Регрессионный анализ - это метод установления аналитического выражения стохастической зависимости между исследуемыми признаками. Уравнение регрессии показывает, как в среднем изменяется у при изменении любого из x i , и имеет вид:

где у - зависимая переменная (она всегда одна);

х i - независимые переменные (факторы) (их может быть несколько).

Если независимая переменная одна - это простой регрессионный анализ. Если же их несколько (п 2), то такой анализ называется многофакторным.

В ходе регрессионного анализа решаются две основные задачи:

построение уравнения регрессии, т.е. нахождение вида зависимости между результатным показателем и независимыми факторами x 1 , x 2 , …, x n .

оценка значимости полученного уравнения, т.е. определение того, насколько выбранные факторные признаки объясняют вариацию признака у.

Применяется регрессионный анализ главным образом для планирования, а также для разработки нормативной базы.

В отличие от корреляционного анализа, который только отвечает на вопрос, существует ли связь между анализируемыми признаками, регрессионный анализ дает и ее формализованное выражение. Кроме того, если корреляционный анализ изучает любую взаимосвязь факторов, то регрессионный - одностороннюю зависимость, т.е. связь, показывающую, каким образом изменение факторных признаков влияет на признак результативный.

Регрессионный анализ - один из наиболее разработанных методов математической статистики. Строго говоря, для реализации регрессионного анализа необходимо выполнение ряда специальных требований (в частности, x l ,x 2 ,...,x n ; y должны быть независимыми, нормально распределенными случайными величинами с постоянными дисперсиями). В реальной жизни строгое соответствие требованиям регрессионного и корреляционного анализа встречается очень редко, однако оба эти метода весьма распространены в экономических исследованиях. Зависимости в экономике могут быть не только прямыми, но и обратными и нелинейными. Регрессионная модель может быть построена при наличии любой зависимости, однако в многофакторном анализе используют только линейные модели вида:

Построение уравнения регрессии осуществляется, как правило, методом наименьших квадратов, суть которого состоит в минимизации суммы квадратов отклонений фактических значений результатного признака от его расчетных значений, т.е.:

где т - число наблюдений;

j = a + b 1 x 1 j + b 2 x 2 j + ... + b n х n j - расчетное значение результатного фактора.

Коэффициенты регрессии рекомендуется определять с помощью аналитических пакетов для персонального компьютера или специального финансового калькулятора. В наиболее простом случае коэффициенты регрессии однофакторного линейного уравнения регрессии вида y = а + bх можно найти по формулам:

Кластерный анализ

Кластерный анализ - один из методов многомерного анализа, предназначенный для группировки (кластеризации) совокупности, элементы которой характеризуются многими признаками. Значения каждого из признаков служат координатами каждой единицы изучаемой совокупности в многомерном пространстве признаков. Каждое наблюдение, характеризующееся значениями нескольких показателей, можно представить как точку в пространстве этих показателей, значения которых рассматриваются как координаты в многомерном пространстве. Расстояние между точками р и q с k координатами определяется как:

Основным критерием кластеризации является то, что различия между кластерами должны быть более существенны, чем между наблюдениями, отнесенными к одному кластеру, т.е. в многомерном пространстве должно соблюдаться неравенство:

где r 1, 2 - расстояние между кластерами 1 и 2.

Так же как и процедуры регрессионного анализа, процедура кластеризации достаточно трудоемка, ее целесообразно выполнять на компьютере.

Современная политическая наука исходит из положения о взаимосвязи всех явлений и процессов в обществе. Невозможно понимание событий и процессов, прогнозирование и управление явлениями политической жизни без изучения связей и зависимостей, существующих в политической сфере жизнедеятельности общества. Одна из наиболее распространенных задач политического исследования состоит в изучении связи между некоторыми наблюдаемыми переменными. Помогает решить эту задачу целый класс статистических приемов анализа, объединенных общим названием «регрессионный анализ» (или, как его еще называют, «корреляционно-регрессионный анализ»). Однако если корреляционный анализ позволяет оценить силу связи между двумя переменными, то с помощью регрессионного анализа можно определить вид этой связи, прогнозировать зависимость значения какой-либо переменной от значения другой переменной.

Для начала вспомним, что такое корреляция. Корреляционным называют важнейший частный случай статистической связи, состоящий в том, что равным значениям одной переменной соответствуют различные средние значения другой. С изменением значения признака х закономерным образом изменяется среднее значение признака у, в то время как в каждом отдельном случае значение признака у (с различными вероятностями) может принимать множество различных значений.

Появление в статистике термина «корреляция» (а политология привлекает для решения своих задач достижения статистики, которая, таким образом, является смежной политологии дисциплиной) связано с именем английского биолога и статистика Френсиса Галь- тона, предложившего в XIX в. теоретические основы корреляционно- регрессионного анализа. Термин «корреляция» в науке был известен и ранее. В частности, в палеонтологии еще в XVIII в. его применил французский ученый Жорж Кювье. Он ввел так называемый закон корреляции, при помощи которого по найденным в ходе раскопок останкам животных можно было восстановить их облик.

Известна история, связанная с именем этого ученого и его законом корреляции. Так, в дни университетского праздника студенты, решившие подшутить над известным профессором, натянули на одного студента козлиную шкуру с рогами и копытами. Тот залез в окно спальни Кювье и закричал: «Я тебя съем». Профессор проснулся, посмотрел на силуэт и ответил: «Если у тебя есть рога и копыта, то ты - травоядное животное и съесть меня не можешь. А за незнание закона корреляции получишь двойку». Повернулся на другой бок и уснул. Шутка шуткой, но на этом примере мы наблюдаем частный случай применения множественного корреляционно-регрессионного анализа. Здесь профессор, исходя из знания значений двух наблюдаемых признаков (наличие рогов и копыт), на основании закона корреляции вывел среднее значение третьего признака (класс, к которому относится данное животное - травоядное). В данном случае речь не идет о конкретном значении этой переменной (т.е. данное животное могло принимать различные значения по номинальной шкале - это мог быть и козел, и баран, и бык...).

Теперь перейдем к термину «регрессия». Собственно говоря, он не связан со смыслом тех статистических задач, которые решаются при помощи этого метода. Объяснение термину можно дать только исходя из знания истории развития методов изучения связей между признаками. Одним из первых примеров исследований такого рода была работа статистиков Ф. Гальтона и К. Пирсона, пытавшихся обнаружить закономерность между ростом отцов и их детей по двум наблюдаемым признакам (где X- рост отцов и У- рост детей). В ходе своего исследования они подтвердили начальную гипотезу о том, что в среднем у высоких отцов вырастают в среднем высокие дети. Этот же принцип действует в отношении низких отцов и детей. Однако если бы ученые на этом остановились, то их труды никогда не упоминались бы в учебниках по статистике. Исследователи обнаружили еще одну закономерность в рамках уже упоминавшейся подтвержденной гипотезы. Они доказали, что у очень высоких отцов рождаются в среднем высокие дети, но не сильно отличающиеся ростом от детей, чьи отцы хоть и выше среднего, но не сильно отличаются от средневысокого роста. То же и у отцов с очень маленьким ростом (отклоняющимся от средних показателей низкорослой группы) - их дети в среднем не отличались по росту от сверстников, чьи отцы были просто невысокими. Функцию, описывающую эту закономерность, они и назвали функцией регрессии. После этого исследования все уравнения, описывающие подобные функции и построенные сходным образом, стали именовать уравнениями регрессии.

Регрессионный анализ - один из методов многомерного статистического анализа данных, объединяющий совокупность статистических приемов, предназначенных для изучения или моделирования связей между одной зависимой и несколькими (или одной) независимыми переменными. Зависимая переменная по принятой в статистике традиции называется откликом и обозначается как V Независимые переменные называются предикторами и обозначаются как X. В ходе анализа некоторые переменные окажутся слабо связанными с откликом и будут в конечном счете исключены из анализа. Оставшиеся переменные, связанные с зависимой, могут именоваться еще факторами.

Регрессионный анализ дает возможность предсказать значения одной или нескольких переменных в зависимости от другой переменной (например, склонность к неконвенциональному политическому поведению в зависимости от уровня образования) или нескольких переменных. Рассчитывается он на PC. Для составления регрессионного уравнения, позволяющего измерить степень зависимости контролируемого признака от факторных, необходимо привлечь профессиональных математиков-программистов. Регрессионный анализ может оказать неоценимую услугу при построении прогностических моделей развития политической ситуации, оценке причин социальной напряженности, при проведении теоретических экспериментов. Регрессионный анализ активно используется для изучения влияния на электоральное поведение граждан ряда социально-демографических параметров: пола, возраста, профессии, места проживания, национальности, уровня и характера доходов.

Применительно к регрессионному анализу используют понятия независимой и зависимой переменных. Независимой называют переменную, которая объясняет или служит причиной изменения другой переменной. Зависимой называют переменную, значение которой объясняют воздействием первой переменной. Например, на президентских выборах в 2004 г. определяющими факторами, т.е. независимыми переменными, выступили такие показатели, как стабилизация материального положения населения страны, уровень известности кандидатов и фактор incumbency. В качестве зависимой переменной в данном случае можно считать процент голосов, поданных за кандидатов. Аналогично в паре переменных «возраст избирателя» и «уровень электоральной активности» независимой является первая, зависимой - вторая.

Регрессионный анализ позволяет решать следующие задачи:

• 1) установить сам факт наличия или отсутствия статистически значимой связи между Ки X;
• 2) построить наилучшие (в статистическом смысле) оценки функции регрессии;
• 3) по заданным значениям X построить прогноз для неизвестного У
• 4) оценить удельный вес влияния каждого фактора X на У и соответственно исключить из модели несущественные признаки;
• 5) посредством выявления причинных связей между переменными частично управлять значениями Рпутем регулирования величин объясняющих переменных X.

Регрессионный анализ связан с необходимостью выбора взаимно независимых переменных, влияющих на значение исследуемого показателя, определения формы уравнения регрессии, оценки параметров при помощи статистических методов обработки первичных социологических данных. В основе этого вида анализа лежит представление о форме, направлении и тесноте (плотности) взаимосвязи. Различают парную и множественную регрессию в зависимости от количества исследуемых признаков. На практике регрессионный анализ обычно выполняется совместно с корреляционным. Уравнение регрессии описывает числовое соотношение между величинами, выраженное в виде тенденции к возрастанию или убыванию одной переменной величины при возрастании или убывании другой. При этом ра зл и ч а ют л инейную и нелинейную регрессии. При описании политических процессов в равной степени обнаруживаются оба варианта регрессии.

Диаграмма рассеяния для распределения взаимозависимости интереса к статьям на политические темы (У) и образования респондентов (X) представляет собой линейную регрессию (рис. 30).

Рис. 30.

Диаграмма рассеяния для распределения уровня электоральной активности (У) и возраста респондента (А) (условный пример) представляет собой нелинейную регрессию (рис. 31).

Рис. 31.

Для описания взаимосвязи двух признаков (А"и У) в модели парной регрессии используют линейное уравнение

где а, - случайная величина погрешности уравнения при вариации признаков, т.е. отклонение уравнения от «линейности».

Для оценки коэффициентов а и b используют метод наименьших квадратов, предполагающий, что сумма квадратов отклонений каждой точки на диаграмме разброса от линии регрессии должна быть минимальной. Коэффициенты а ч Ь могут быть вычислены при помощи системы уравнений:

Метод оценки наименьших квадратов дает такие оценки коэффициентов а и Ь, при которых прямая проходит через точку с координатами х и у, т.е. имеет место соотношение у = ах + Ь. Графическое изображение уравнения регрессии называется теоретической линией регрессии. При линейной зависимости коэффициент регрессии представляет на графике тангенс угла наклона теоретической линии регрессии к оси абсцисс. Знак при коэффициенте показывает направление связи. Если он больше нуля, то связь прямая, если меньше - обратная.

В приведенном ниже примере из исследования «Политический Петербург-2006» (табл. 56) показана линейная взаимосвязь представлений граждан о степени удовлетворенности своей жизнью в настоящем и ожиданиями изменений качества жизни в будущем. Связь прямая, линейная (стандартизованный коэффициент регрессии равен 0,233, уровень значимости - 0,000). В данном случае коэффициент регрессии невысокий, однако он превышает нижнюю границу статистически значимого показателя (нижнюю границу квадрата статистически значимого показателя коэффициента Пирсона).

Таблица 56

Влияние качества жизни горожан в настоящем на ожидания

(Санкт-Петербург, 2006 г.)

* Зависимая переменная: «Как Вы думаете, как изменится Ваша жизнь в ближайшие 2-3 года?»

В политической жизни значение изучаемой переменной чаше всего одновременно зависит от нескольких признаков. Например, на уровень и характер политической активности одновременно оказывают влияние политический режим государства, политические традиции, особенности политического поведения людей данного района и социальная микрогруппа респондента, его возраст, образование, уровень дохода, политическая ориентация и т.д. В этом случае необходимо воспользоваться уравнением множественной регрессии , которое имеет следующий вид:

где коэффициент Ь. - частный коэффициент регрессии. Он показывает вклад каждой независимой переменной в определение значений независимой (результирующей) переменной. Если частный коэффициент регрессии близок к 0, то можно сделать вывод, что непосредственной связи между независимыми и зависимой переменными нет.

Расчет подобной модели можно выполнить на PC, прибегнув к помоши матричной алгебры. Множественная регрессия позволяет отразить многофакторность социальных связей и уточнить меру воздействия каждого фактора в отдельности и всех вместе на результирующий признак.

Коэффициент, обозначаемый Ь, называется коэффициентом линейной регрессии и показывает силу связи между вариацией факторного признака X и вариацией результативного признака Y Данный коэффициент измеряет силу связи в абсолютных единицах измерения признаков. Однако теснота корреляционной связи признаков может быть выражена и в долях среднего квадратического отклонения результативного признака (такой коэффициент называется коэффициентом корреляции). В отличие от коэффициента регрессии b коэффициент корреляции не зависит от принятых единиц измерения признаков, а стало быть, он сравним для любых признаков. Обычно считают связь сильной, если / > 0,7, средней тесноты - при 0,5 г 0,5.

Как известно, максимально тесная связь - это связь функциональная, когда каждое индивидуальное значение Y может быть однозначно поставлено в соответствие значению X. Таким образом, чем ближе коэффициент корреляции к 1, тем ближе связь к функциональной. Уровень значимости для регрессионного анализа не должен превышать 0,001.

Коэффициент корреляции долгое время рассматривался как основной показатель тесноты связи признаков. Однако позднее таким показателем стал коэффициент детерминации. Смысл этого коэффициента в следующем - он отражает долю общей дисперсии результирующего признака У , объясняемую дисперсией признака X. Находится он простым возведением в квадрат коэффициента корреляции (изменяющегося от 0 до 1) и в свою очередь для линейной связи отражает долю от 0 (0%) до 1 (100%) значений признака Y, определяемую значениями признака X. Записывается он как I 2 , а в результирующих таблицах регрессионного анализа в пакете SPSS - без квадрата.

Обозначим основные проблемы построения уравнения множественной регрессии.

• 1. Выбор факторов, включаемых в уравнение регрессии. На этой стадии исследователь сначала составляет общий список основных причин, которые согласно теории обусловливают изучаемое явление. Затем он должен отобрать признаки в уравнение регрессии. Основное правило отбора: факторы, включаемые в анализ, должны как можно меньше коррелировать друг с другом; только в этом случае можно приписать количественную меру воздействия определенному фактору-признаку.
• 2. Выбор формы уравнения множественной регрессии (на практике чаще пользуются линейной или линейно-логарифмической). Итак, для использования множественной регрессии исследователь сначала должен построить гипотетическую модель влияния нескольких независимых переменных на результирующую. Чтобы полученные результаты были достоверны, необходимо, чтобы модель точно соответствовала реальному процессу, т.е. связь между переменными должна быть линейной, нельзя проигнорировать ни одну значимую независимую переменную, точно так же нельзя включать в анализ ни одну переменную, не имеющую прямого отношения к изучаемому процессу. Кроме того, все измерения переменных должны быть предельно точными.

Из приведенного описания вытекает ряд условий применения этого метода, без соблюдения которых нельзя приступить к самой процедуре множественого регрессионного анализа (МРА). Только соблюдение всех из нижеперечисленных пунктов позволяет корректно осуществлять регрессионный анализ.