Ковариация и корреляция: в чём разница?

В аналитике данных мы постоянно пытаемся понять, как переменные связаны друг с другом. Вероятно, вы встречали две статистические меры, которые часто используют для этой цели: ковариацию и корреляцию. Эти термины звучат похоже и их нередко путают. Но в чём между ними разница и как их использовать?

Обе описывают, как переменные меняются вместе. Однако, несмотря на сходство, ковариация и корреляция отвечают на немного разные вопросы и потому выполняют разные роли в рабочих процессах с данными. Ковариация фиксирует «сырую» совместную изменчивость признаков, тогда как корреляция стандартизует эту связь, чтобы её было проще сравнивать.

Давайте посмотрим, как это тонкое различие влияет на выбор меры в разных ситуациях.

Что такое ковариация?

Ковариация измеряет, как две переменные изменяются совместно. Она показывает, совпадает ли увеличение одной переменной с увеличением или уменьшением другой. Различают три типа ковариации:

• Положительная ковариация: когда одна переменная увеличивается вместе с другой.
• Отрицательная ковариация: когда одна переменная увеличивается, а другая уменьшается.
• Близкая к нулю ковариация: когда нет устойчивой направленной связи.

Это делает ковариацию полезной для выявления того, как переменные движутся относительно друг друга.

Однако, хотя направление связи информативно, интерпретировать величину ковариации не так просто. Величина зависит от единиц измерения и масштаба переменных. Смена единиц, например с сантиметров на метры, может сильно изменить величину ковариации, не затрагивая при этом саму связь.

По этой причине ковариацию чаще используют как внутренний вычислительный «строительный блок», а не как самостоятельную сводную статистику.

Что такое корреляция?

Корреляция измеряет силу и направление связи между двумя переменными. Она опирается на ковариацию, стандартизируя величину так, чтобы на неё не влияли единицы измерения.

Значения корреляции лежат в фиксированном диапазоне от +1 (идеально положительная связь) до −1 (идеально отрицательная связь). Значение 0 говорит об отсутствии линейной связи.

Эта стандартизованная шкала делает корреляцию более понятной, чем ковариацию. Увидев значение 0,8, мы сразу понимаем, что между переменными существует сильная связь, независимо от исходных единиц измерения.

Стандартизация также позволяет осмысленно сравнивать данные между наборами, признаками и доменами. Поэтому корреляцию так часто используют в разведочном анализе данных и при изучении признаков.

Ковариация и корреляция: ключевые отличия

Ковариация и корреляция описывают родственные свойства взаимосвязей между переменными, но служат разным аналитическим целям.

На практике ковариация отражает «сырой» совместный разброс, а корреляция — ту же связь в стандартизованном виде. Понимание этого различия помогает выбрать подходящую меру для конкретной задачи анализа.

Пример: ковариация vs. корреляция

Предположим, мы собираем данные по двум переменным: рост и вес. Мы ожидаем, что они связаны, поскольку в целом более высокие люди весят больше. Если отложить рост в сантиметрах против веса в килограммах, виден выраженный восходящий тренд: с увеличением роста обычно увеличивается и вес.

Рассчитав ковариацию, получаем положительное значение: 48,08. Положительный знак говорит о том, что переменные меняются в одном направлении. Когда рост выше среднего, вес, как правило, тоже выше среднего.

А теперь самое интересное. Возьмём те же данные и поменяем единицы измерения. Переведём рост из сантиметров в метры, а вес — из килограммов в фунты. Люди не изменились. Связь не изменилась. Рисунок на диаграмме рассеяния выглядит так же. Но при пересчёте ковариации получаем иное число: 1,06. Оно по-прежнему положительное, но величина сильно отличается. И единственное, что мы изменили, — это единицы измерения.

Это иллюстрирует важное свойство ковариации: она фиксирует направление, но её величина зависит от масштаба. Если «растянуть» или «сжать» одну из переменных, изменив единицы, ковариация «растянется» или «сожмётся» тоже.

Теперь посмотрим на корреляцию для тех же данных до и после преобразования единиц. Корреляция при сантиметрах и килограммах — 0,76. После перевода в метры и фунты — всё так же 0,76.

В отличие от ковариации, корреляция корректирует изменчивость каждой переменной перед измерением связи между ними. Благодаря этой корректировке значение не меняется при смене единиц. Оно отражает лишь то, насколько плотно точки следуют линейной зависимости и направлен ли наклон вверх или вниз.

Этот простой пример подчёркивает главное различие: ковариация отражает и направление, и масштаб, тогда как корреляция — силу связи независимо от масштаба. На практике это означает, что корреляция надёжнее для сравнения связей между переменными, измеренными в разных шкалах, в то время как ковариация более уместна там, где важна величина изменчивости, например в моделировании.

Ковариацию трудно интерпретировать

Как мы обсудили, ковариация показывает, движутся ли две переменные в одном направлении, но её величину сложно трактовать.

Главная проблема в том, что ковариация зависит от масштаба переменных, а не только от их связи. Если значения одной или обеих переменных больше или более разбросаны, ковариация, как правило, тоже будет больше.

Эта чувствительность имеет две причины. Первая — единицы данных. Смена единиц меняет ковариацию. Измерение дохода в долларах против тысяч долларов даст очень разные значения ковариации, хотя связь остаётся идентичной.

Вторая — объём изменчивости переменной. Даже при неизменных единицах набор с более широким диапазоном или большим разбросом, как правило, даёт большую ковариацию, чем «тесный» набор с той же базовой связью. Большая ковариация не обязательно указывает на сильную связь; она может просто отражать крупные масштабы или большую изменчивость данных.

Из-за этой чувствительности к масштабу ковариацию часто используют «под капотом», например при подгонке моделей, а не приводят напрямую.

Почему чаще используют корреляцию

Корреляция решает многие проблемы интерпретации ковариации, стандартизируя связь между переменными. Поскольку значения корреляции всегда между −1 и +1, величина сразу понятна: значения, близкие к 1 или −1, указывают на сильные линейные связи, а близкие к 0 — на слабые или отсутствующие линейные связи. Стандартизация также позволяет напрямую сравнивать переменные и наборы данных, что упрощает коммуникацию и интерпретацию.

Эти свойства делают корреляцию особенно полезной для разведочного анализа данных, изучения связей между признаками, выявления избыточности или мультиколлинеарности и представления результатов. Корреляционные матрицы и тепловые карты также удобны как первичные инструменты при просмотре наборов данных.

Тем не менее корреляция не является полной заменой ковариации. Поскольку корреляция устраняет эффект масштаба, она отражает только силу связи, а не «сырую» изменчивость. В моделях, таких как анализ главных компонент или многомерные статистические модели, исходный масштаб, который захватывает ковариация, может быть важен для понимания структуры дисперсии и настройки поведения алгоритмов.

Взгляд со стороны линейной алгебры

До сих пор мы рассматривали ковариацию попарно между переменными. Линейная алгебра позволяет распространить эту идею на весь набор данных сразу, представив данные в виде матрицы.

В базовой матрице данных каждая строка — наблюдение, а каждый столбец — переменная. Чтобы изучать связи между переменными, можно сначала центрировать данные, вычитая из каждого значения среднее по столбцу. Это помогает сосредоточиться на отклонениях от типичных значений, а не на абсолютных величинах.

Перемножение центрированной матрицы данных на её транспонированную даёт структуру, фиксирующую совместное изменение переменных. Этот продукт, после масштабирования, — ковариационная матрица. С точки зрения линейной алгебры ковариационная матрица обобщает распределение изменчивости по измерениям набора данных.

Такое представление помогает понять, почему ковариация так часто встречается в data science. Многие алгоритмы, включая анализ главных компонент (PCA) и другие методы снижения размерности, опираются на матричное представление для выявления закономерностей и структуры данных. Концептуально ковариационная матрица — это карта того, как взаимодействуют разные измерения набора данных.

Здесь показаны данные для четырёх переменных, расположенные в матрице данных. Затем они центрируются и используются для построения ковариационной матрицы.

Если вы хотите глубже разобраться в линейной алгебре для data science, ознакомьтесь с нашим курсом Linear Algebra for Data Science in R, где рассматриваются основы, необходимые для понимания матричных подходов вроде ковариации.

Ковариационные и корреляционные матрицы

Ковариационная матрица суммирует совместные изменения переменных по всему набору данных. На практике мы часто изучаем эти связи с помощью ковариационных или корреляционных матриц в зависимости от того, хотим ли мы сохранить исходный масштаб или стандартизовать результаты.

Ковариационная матрица содержит ковариации для всех пар переменных. Диагональные элементы показывают дисперсию каждой переменной, а внедиагональные — то, как переменные изменяются совместно. Поскольку ковариация сохраняет исходный масштаб и единицы данных, матрица отражает «сырую» структуру изменчивости. Это делает ковариационные матрицы особенно полезными в рабочих процессах моделирования и многомерном анализе.

Корреляционная матрица, напротив, стандартизует эти связи. Каждый диагональный элемент равен 1, поскольку каждая переменная идеально коррелирует сама с собой. Все внедиагональные значения лежат между −1 и +1 и показывают корреляцию между переменными. Исключив влияние масштаба, корреляционные матрицы проще для человеческой интерпретации и позволяют напрямую сравнивать переменные. Они особенно полезны в разведочном анализе данных и для быстрого выявления сильных или слабых линейных связей между признаками.

В этих матрицах мы сравниваем четыре переменные попарно. Мне нравится добавлять тепловую карту поверх таких матриц при презентации: цвет ячейки помогает с первого взгляда увидеть относительную величину значений ковариации или корреляции.

Как преобразовать ковариацию в корреляцию

Концептуально корреляция выводится из ковариации путём стандартизации связи между переменными. Нужно просто разделить ковариацию на стандартное отклонение каждой переменной. Это масштабирование убирает единицы и величину переменных, давая стандартизованную меру, которая всегда лежит между −1 и +1. Благодаря этому преобразованию значения корреляции непосредственно сопоставимы между разными переменными и наборами данных.

На практике преобразование ковариации в корреляцию выполняется автоматически в большинстве статистических пакетов, поэтому аналитикам редко приходится считать это вручную. Однако важно понимать, что именно делает ваше ПО «за кадром». Например, понимание того, как из ковариации получается корреляция, объясняет, почему нельзя выполнить обратное преобразование direction(по крайней мере без информации о стандартных отклонениях обеих переменных). Correlation больше не содержит данных об единицах и величине, необходимых для восстановления ковариации.

Когда использовать ковариацию и корреляцию

Ковариация наиболее полезна, когда масштаб и единицы данных значимы или когда вам нужна «сырая» структура изменчивости данных. Её часто используют в многомерном моделировании, вероятностных моделях и при построении ковариационных матриц для методов на основе линейной алгебры. В этих контекстах сохранение исходной изменчивости позволяет алгоритмам уловить реальную структуру данных и понять, как измерения меняются совместно.

Корреляция, напротив, лучше подходит для человеческой интерпретации, сравнения наборов данных и разведочного анализа. Я предпочитаю использовать эту меру в визуализациях, например в тепловых картах, чтобы видеть и показывать связи с первого взгляда. Поскольку корреляция стандартизует связь, она также полезна при подготовке данных для методов, где важно привести признаки к сопоставимому масштабу.

Ковариация и корреляция в data science и статистике

Часто обе меры встречаются в одном и том же процессе. Ковариационные матрицы образуют математический фундамент многих многомерных методов, поскольку сохраняют исходную изменчивость данных. Корреляционные матрицы, напротив, часто используют на разведочных этапах для понимания структуры набора данных до моделирования.

Некоторые модели могут использовать любую из этих статистик — в зависимости от цели. Рассмотрим анализ главных компонент (PCA). Если выполнять PCA на ковариационной матрице, переменные с большей дисперсией естественно сильнее влияют на компоненты. Это бывает желательным, если различия в масштабе отражают осмысленные различия в изменчивости. Например, при анализе дневной доходности акций более волатильная бумага закономерно будет сильнее формировать главные компоненты, поскольку эта изменчивость отражает реальное поведение рынка.

Использование корреляционной матрицы вместо этого стандартизует переменные перед разложением. Каждый признак приводится к одному масштабу, поэтому ни одна переменная не доминирует лишь из‑за больших единиц или широкого диапазона значений. Такой подход может быть уместнее, когда переменные измеряются в разных единицах, например рост (см), вес (кг), артериальное давление (мм рт. ст.) и холестерин (мг/дл).

Ни один подход не является универсально лучшим. Выбор зависит от того, отражают ли различия в масштабе осмысленную структуру или являются лишь артефактами измерения.

Распространённые заблуждения о ковариации и корреляции

Одно из распространённых заблуждений — что высокая ковариация автоматически означает сильную связь. Однако большие значения ковариации могут просто отражать масштаб или изменчивость переменных, а не силу их связи. Если вы хотите оценить силу связи, её нужно стандартизовать — посмотреть на корреляцию.

Вы, вероятно, слышали фразу «корреляция не означает причинность» миллион раз! И всё же это, пожалуй, самое частое заблуждение, с которым я сталкиваюсь. Легко увидеть сильную корреляцию и решить, что есть причинно-следственная связь. Это «ярлык», которым мозг пользовался тысячелетиями, чтобы помочь нашим предкам выжить. Однако, как специалисты по данным, мы должны сопротивляться этому «ярлыку» и помнить, что одной корреляции недостаточно, чтобы доказать причинный эффект. Корреляция измеряет ассоциацию, а не причинное влияние; на обе переменные могут одновременно воздействовать внешние факторы.

Ещё одно очень распространённое заблуждение — что ковариация и корреляция по сути одно и то же. Это не так: они невзаимозаменяемы. Хотя корреляция и выводится из ковариации, она стандартизует связь, превращая её в иную метрику, которая не всегда подходит в качестве замены ковариации в вычислениях.

Наконец, важно помнить, что эти статистики оценивают только линейные связи. Нелинейные зависимости могут существовать даже при низких или близких к нулю значениях корреляции и ковариации, поэтому опора только на них может скрыть важную структуру данных. Я всегда рекомендую сначала построить графики и посмотреть на данные. Это действительно выручит, если связь явно нелинейная.

Практические советы по интерпретации связей между переменными

Во‑первых, всегда учитывайте масштаб измерений. Различия в единицах или изменчивости влияют на «сырые» меры вроде ковариации, поэтому важно понимать, что означают ваши числа.

Во‑вторых, определите, что именно вам нужно от данных. Ковариация наиболее полезна, когда важно сохранить «сырую» изменчивость. Это часто бывает при моделировании или построении ковариационных матриц для многомерного анализа. В таких контекстах величина вариации несёт значимую информацию. Но если «сырая» изменчивость не нужна, вам может больше подойти стандартизация и интерпретируемость корреляции.

В‑третьих, всегда, всегда, всегда визуализируйте данные! Визуальный осмотр помогает направить анализ и дополняет статистические сводки. Используйте диаграммы рассеяния, чтобы заметить попарные паттерны, или матрицы — чтобы быстро получить обзор по множеству переменных сразу.

И наконец, подумайте о последствиях вашего выбора меры. Решение между «сырой» мерой вроде ковариации и стандартизованной мерой вроде корреляции повлияет на результаты моделирования и интерпретацию. Убедитесь, что выбор согласован с вашими аналитическими целями.

Заключение

Ковариация и корреляция — близкие меры, описывающие совместное изменение переменных, но служащие разным целям: ковариация сохраняет исходный масштаб, а корреляция стандартизует его для сравнения.

Если вы хотите глубже разобраться в исследовании данных, посмотрите учебник по разведочному анализу данных на Python. А чтобы понять, когда корреляция действительно указывает на причинность, изучите курс по проверке гипотез в R.