라플라시안 완전 정복: 미적분에서 머신러닝까지

라플라시안은 그래프 기반 알고리즘, 이미지 처리 파이프라인, 스펙트럴 클러스터링에 등장합니다. 즉, 그래프, 이미지, 고차원 데이터를 다루는 모델을 만든다면 라플라시안은 배경 수학이 아니라 실제로 내부에서 일을 하는 핵심 도구입니다.

이 글에서는 라플라시안을 밑바닥부터 다룹니다. 그 배경 수학, 기하학적 직관, 그래프 라플라시안과 그 행렬 형태, 그리고 실제 머신러닝 응용에서 어떻게 쓰이는지까지 살펴봅니다.

실용적인 미분방정식 입문이 필요하신가요? 기초부터 실전 머신러닝 응용까지 다룬 최신 글을 참고하세요.

라플라시안이란?

라플라시안은 2계 미분 연산자입니다. 어떤 점에서 함수가 어떻게 굽는지를 알려줍니다.

종종 그레디언트의 발산(divergence)으로 설명되기도 합니다.

이 설명이 연산자가 실제로 무엇을 하는지 이해하는 열쇠입니다.

• 그레디언트는 함수가 가장 빠르게 증가하는 방향을 알려줍니다.
• 발산은 그 흐름이 퍼져나가는지 끌려들어가는지를 측정합니다.

두 개념을 결합하면, 라플라시안은 어떤 점이 국소적 봉우리인지, 골짜기인지, 아니면 그 사이의 평평한 지점인지 알려줍니다.

간단히 말해, 라플라시안은 어떤 점에서의 함수값이 이웃들의 평균값과 얼마나 다른지를 측정합니다. 라플라시안이 0이면 함수는 국소적으로 "균형" 잡혀 있습니다. 양수는 그 점이 주변보다 낮음을, 음수는 주변보다 높음을 뜻합니다.

공식

2차원에서 함수 f(x, y)에 대해:

2D 라플라시안 공식

3차원에서 함수 f(x, y, z)에 대해:

3D 라플라시안 공식

이 패턴은 차원이 몇 개든 동일합니다. 각 축에 대한 2계 편도함수를 더하면 됩니다. 이 때문에 라플라시안은 고차원 데이터에 잘 맞고, 그래서 머신러닝에서 자주 등장합니다.

다변수 미적분에서의 라플라시안 공식

머신러닝 전반에 걸쳐 등장하는 것치고, 라플라시안 공식은 생각보다 짧습니다.

3차원에서 함수 f(x, y, z)에 대해, 다음과 같습니다:

3D 라플라시안 공식

이게 전부입니다. 각 차원에 대해 2계 편도함수를 합합니다.

각 항은 자신의 축에서 같은 질문을 합니다. 함수가 위로 굽는가, 아래로 굽는가, 아니면 평평한가? 그 답을 합치면 해당 점에서의 전체 곡률을 나타내는 하나의 수를 얻습니다.

3차원에서 n차원으로

공식은 n차원으로 일반화됩니다. 입력 차원이 n개인 함수에 대한 일반 공식은 다음과 같습니다:

라플라시안 공식의 일반화

이 때문에, 데이터가 수백·수천 차원에 사는 경우가 흔한 머신러닝에서 라플라시안이 잘 작동합니다. 연산자는 각 차원의 곡률을 합산하기만 하면 됩니다.

최적화와의 연결

경사하강법을 다뤄본 적이 있다면 이미 1계 도함수, 즉 어디가 내리막인지에 대해 생각해 보셨을 겁니다. 라플라시안은 그보다 한 단계 더 나아갑니다.

2계 도함수는 그 언덕의 형태를 알려줍니다.

어떤 점에서 라플라시안이 크게 양수라면 모든 방향으로 함수가 가파르게 위로 굽습니다. 즉, 최소점 근처입니다. 크게 음수면 최대점 근처입니다. 0에 가까우면 표면이 국소적으로 평평합니다.

이 곡률 정보는 단순 경사하강법보다 더 똑똑한 스텝을 취하는 2계 최적화 기법에서 중요합니다. 라플라시안은 그 곡률을 하나의 스칼라 값으로 요약하는 방법입니다.

기하학적 직관: 라플라시안이 측정하는 것

어떤 점에서 라플라시안의 부호는 그 주변에서 함수의 형태를 알려줍니다.

• 만약 ∇²f > 0라면, 함수는 모든 방향으로 위로 굽습니다. 그 점은 주변보다 낮습니다. 이는 볼록성입니다.

• 만약 ∇²f < 0라면, 함수는 아래로 굽습니다. 그 점은 주변보다 높습니다. 이는 오목성입니다.

• 만약 ∇²f = 0라면, 함수는 국소적으로 평평합니다. 어떤 방향으로도 순(純) 곡률이 없습니다.

이는 익숙한 1차원 2계 도함수 판정의 다변수 버전입니다. 1차원에서는 2계 도함수가 양수면 국소 최소, 음수면 국소 최대입니다. 라플라시안은 같은 아이디어를 모든 축에 걸친 곡률을 합해 임의의 차원으로 확장합니다.

헤시안과의 관계

헤시안 행렬은 곡률의 전체 그림을 담습니다. 모든 2계 편도함수로 구성된 행렬이며, 각 원소는 두 축 쌍을 따라 함수가 어떻게 굽는지를 설명합니다.

라플라시안은 헤시안의 트레이스, 즉 대각합입니다. 헤시안이 곡률을 완전히 분해해 보여주는 반면, 라플라시안은 그것을 하나의 수로 압축합니다.

이 절충은 머신러닝에서 중요합니다. 고차원 모델에 대해 전체 헤시안을 계산하는 것은 비용이 큽니다. 매개변수가 n개면 헤시안은 n × n 행렬입니다. 라플라시안은 빠르게 다룰 수 있는 저렴한 스칼라 요약을 제공합니다.

머신러닝에서 왜 중요한가

모델을 학습할 때, 손실 표면을 탐색합니다. 평평한 영역은 학습이 느립니다. 볼록한 영역에서는 옵티마이저가 오버슈트하기 쉽습니다. 라플라시안은 현재 어떤 상황인지 빠르게 파악할 수 있게 해줍니다.

그래프 기반 방법에서는 라플라시안을 사용해 그래프 노드 전체에서 값이 얼마나 매끄럽게 변하는지를 측정합니다. 이는 연속 함수에서의 곡률 직관을 이산 구조로 직접 확장한 것입니다.

머신러닝에서의 라플라시안과 최적화

경사하강법은 1계 도함수만 사용합니다.

그레디언트는 어느 방향으로 이동해야 하는지를 알려주지만, 얼마나 크게 이동해야 하는지는 알려주지 않습니다. 평평하고 넓은 골짜기에서의 가파른 그레디언트는 큰 스텝이 필요합니다. 날카로운 절벽 근처의 동일한 가파른 그레디언트는 작은 스텝이 필요합니다. 1계 도함수만으로는 이 차이를 구분할 수 없습니다.

여기서 2계 도함수가 등장합니다.

곡률과 스텝 크기

곡률은 그레디언트 자체가 얼마나 빨리 변하는지를 설명합니다. 높은 곡률은 손실 표면이 급격히 굽는다는 뜻으로, 매개변수 공간에서의 작은 이동이 그레디언트의 큰 변화를 일으킵니다. 낮은 곡률은 표면이 평평하고 그레디언트 변화가 느립니다.

곡률을 무시한 채 고정 학습률을 쓰면 일종의 찍기입니다. 너무 크면 고곡률 영역에서 오버슈트하고, 너무 작으면 평평한 영역에서 기어가듯 진행합니다.

2계 최적화 방법(예: 뉴턴 방법)은 곡률을 이용해 스텝 크기를 자동으로 결정합니다. 그레디언트를 곡률로 나눠, 표면이 평평한 곳에서는 크게, 날카로운 곳에서는 작게 이동합니다.

라플라시안의 역할

라플라시안은 헤시안의 트레이스, 즉 한 점에서의 전체 곡률을 요약한 단일 스칼라입니다. 헤시안만큼 완전한 그림을 제공하지는 않지만, 계산이 저렴하고 유용한 신호가 됩니다.

기억해야 할 내용을 쉬운 말로 정리하면 다음과 같습니다.

• 어떤 점에서 손실의 라플라시안이 크게 양수면 국소 최소 근처입니다. 손실이 모든 방향으로 위로 굽습니다.
• 음수면 국소 최대 근처입니다.
• 0에 가깝다면 평평한 영역이나 새들(saddle) 영역으로, 경사하강법이 특히 정체되기 쉬운 곳입니다.

안정성과 정규화

곡률은 학습 안정성과도 연결됩니다. 높은 곡률의 날카로운 최소점은 평평한 최소점보다 일반화 성능이 떨어지는 경향이 있습니다. 날카로운 최소점에 수렴한 모델은 입력의 작은 변화에 민감합니다.

일부 정규화 기법은 곡률에 직접 페널티를 부여해 손실 표면의 더 평평한 영역으로 최적화를 유도합니다. 이때도 라플라시안이 등장하며, 입력 공간 전반에서 모델 예측이 얼마나 날카롭게 변하는지를 측정하고 제약하는 데 쓰입니다.

곡률을 이해하면 옵티마이저가 왜 멈추는지, 학습률이 왜 그토록 중요한지, 어떤 최소점이 더 잘 일반화되는지 이해할 수 있습니다.

그래프 라플라시안과 라플라시안 행렬

지금까지 라플라시안은 연속 함수의 세계에 있었습니다. 하지만 데이터가 매끈한 표면이 아니라 그래프라면 어떻게 될까요?

여기서 그래프 라플라시안이 등장합니다. 한 점의 값이 이웃과 얼마나 다른지를 측정한다는 핵심 아이디어를 노드와 엣지에 적용합니다.

공식

그래프 라플라시안 L은 다음과 같이 정의됩니다.

그래프 라플라시안 공식(단순화)

행렬 두 개면 충분합니다. 각 행렬이 의미하는 바를 살펴보겠습니다.

인접 행렬

인접 행렬 A는 어떤 노드들이 연결돼 있는지를 담습니다. n개의 노드를 가진 그래프에서 A는 n × n 행렬이며, 노드 i와 노드 j 사이에 엣지가 있으면 A_ij = 1, 없으면 0입니다.

간단한 무방향 그래프에서 노드 1이 노드 2와 3에 연결되어 있고, 2와 3은 서로 연결되어 있지 않은 경우:

인접 행렬

차수 행렬

차수 행렬 D는 대각 행렬입니다. 각 대각 원소 D_ii는 노드 i의 차수(연결된 엣지 수)이며, 비대각 원소는 모두 0입니다.

같은 그래프의 차수 행렬은 다음과 같습니다.

차수 행렬

노드 1의 차수는 2(두 노드에 연결). 노드 2와 3의 차수는 각각 1입니다.

합치기

D에서 A를 빼면 L을 얻습니다.

차수 행렬에서 인접 행렬을 뺀 결과

각 대각 원소는 노드의 연결 개수를 알려줍니다. 각 비대각 원소 L_ij는 노드 i와 j가 연결돼 있으면 -1, 아니면 0입니다.

노드마다 값을 담은 벡터에 L을 곱하면, 각 노드의 값이 이웃의 값과 얼마나 다른지 측정한 결과가 나옵니다. 이는 앞서의 곡률 직관을 연속 표면 대신 그래프에 적용한 이산 버전입니다.

고유값이 그래프에 알려주는 것

L의 진짜 힘은 고유값과 고유벡터에서 나옵니다.

• 가장 작은 고유값은 항상 0입니다. 대응하는 고유벡터는 상수 벡터로, 모든 노드가 같은 값을 가집니다. 상수 함수는 그래프 전반에 "변화"가 0이므로 당연한 결과입니다.

• 0인 고유값의 개수는 그래프의 연결 성분 개수와 같습니다. 그래프에 세 개의 분리된 클러스터가 있다면, L에는 0인 고유값이 세 개 존재합니다. 이는 행렬로부터 그래프 연결성을 직접 읽는 방법입니다.

• 작은 비영(非零) 고유값은 그래프 전반에 천천히 변하는 고유벡터에 해당합니다. 가까운 노드들은 비슷한 값을 받습니다. 큰 고유값은 연결된 노드 사이에서 값이 빠르게 진동하는 고유벡터에 해당합니다.

흥미로운 사실: 이러한 고유값의 스펙트럼이 스펙트럴 기법(spectral methods)의 이름을 만든 배경입니다.

스펙트럴 클러스터링과 커뮤니티 탐지

스펙트럴 클러스터링은 L의 고유벡터를 사용해 그래프 구조 데이터에서 클러스터를 찾습니다. 작은 고유값에 대응하는 고유벡터가 조밀하게 연결된 노드에는 비슷한 값을, 느슨하게 연결된 노드에는 다른 값을 할당한다는 아이디어입니다.

k개의 클러스터를 찾으려면, L의 가장 작은 비영 고유값들에 대응하는 k개의 고유벡터를 가져와 행렬 열로 쌓은 뒤, 그 행렬의 행에 대해 k-평균을 수행합니다. 각 행은 하나의 노드이며, 이 저차원 공간에서의 위치는 그 노드의 그래프 이웃관계를 반영합니다.

이 방법은 소셜 네트워크의 커뮤니티 탐지, 문서 클러스터링, 이미지 분할 등, 데이터에 자연스러운 그래프 구조가 있는 모든 곳에서 작동합니다. 긴밀히 연결된 두 노드는 고유벡터 공간에서 가깝게, 서로 다른 커뮤니티의 두 노드는 멀리 떨어지게 됩니다.

그래프 라플라시안은 "이 그래프에서 클러스터를 찾아라"라는 어려운 조합 최적화 문제를 선형대수 문제로 바꿔, 쉽게 풀 수 있게 합니다.

스펙트럴 클러스터링에서의 라플라시안

스펙트럴 클러스터링은 그래프 라플라시안이 흥미로운 수학을 넘어 실용적 ML 도구가 되는 지점입니다.

핵심 아이디어는 원시 데이터 포인트 자체를 직접 클러스터링하는 대신, L의 고유벡터가 정의한 공간에서 클러스터링한다는 것입니다. 이 공간은 그래프 구조를 포착하므로 어떤 노드들이 긴밀히 연결되었는지, 느슨하게 연결되었는지, 서로 다른 커뮤니티에 속하는지를 볼 수 있습니다.

고유벡터가 클러스터를 정의하는 방식

k개의 클러스터에 대해, L의 가장 작은 비영 고유값들에 대응하는 k개의 고유벡터를 취합니다. 이를 열로 쌓아 행렬을 만들고, 그 행렬의 각 행은 이제 k차원 공간에서 표현된 노드 하나가 됩니다.

작은 고유값에 대응하는 고유벡터는 그래프 전반에 천천히 변합니다. 조밀하게 연결된 노드들은 이러한 고유벡터에서 비슷한 값을 가지며, 이는 비슷한 행으로 이어지고, 결국 새로운 공간에서 서로 가깝게 위치합니다.

비정규화 vs 정규화 라플라시안

실전에서는 두 가지 버전의 그래프 라플라시안을 보게 됩니다.

비정규화 라플라시안은 직관적인 L = D - A입니다. 노드들의 차수가 대체로 비슷할 때, 즉 대부분의 노드가 유사한 연결 수를 가질 때 잘 작동합니다.

정규화 라플라시안은 차수 불균형을 보정합니다. 여러 변형이 있지만, 가장 일반적인 형태는 다음과 같습니다.

정규화 라플라시안 공식

이 식은 각 노드의 기여를 차수로 재스케일합니다. 소셜 네트워크, 웹 그래프, 인용 네트워크 같은 현실 세계의 그래프에서는 어떤 노드는 수백 개의 연결을, 어떤 노드는 한두 개의 연결만 가집니다. 정규화를 하지 않으면 고차수 노드가 고유벡터를 지배해 클러스터링 성능이 떨어집니다.

그래프의 차수 분포가 균일하다는 것을 알지 못한다면, 기본적으로 정규화 라플라시안을 사용하세요.

실전 응용

그래프 라플라시안을 활용한 스펙트럴 클러스터링은 다양한 머신러닝 작업에 걸쳐 등장합니다. 몇 가지 예시는 다음과 같습니다.

• 이미지 분할 - 픽셀은 노드가 되고, 엣지 가중치는 유사도를 담으며, 클러스터는 이미지 영역에 대응합니다.
• 문서 클러스터링 - 문서는 노드가 되고, 엣지는 공통 용어나 인용을 나타냅니다.
• 소셜 네트워크 분석 - 사용자는 노드, 연결은 엣지이며, 클러스터는 커뮤니티를 드러냅니다.
• 추천 시스템 - 아이템이나 사용자가 그래프를 이루며, 스펙트럴 기법이 유사한 행동 그룹을 찾습니다.

데이터에 자연스러운 그래프 구조가 있거나 쌍별 유사도로 그래프를 만들 수 있다면, 스펙트럴 클러스터링은 순수 거리 기반 방법이 놓치는 그룹을 원칙적으로 찾아줍니다.

이미지 처리와 컴퓨터 비전에서의 라플라시안

라플라시안은 컴퓨터 비전에서 가장 오래된 도구 중 하나이며, 오늘날에도 활발히 쓰입니다.

이미지 처리에서는 픽셀 강도가 함수입니다. 라플라시안은 한 픽셀의 강도가 이웃과 얼마나 다른지 측정합니다. 강도가 천천히 변하는 곳에서는 라플라시안이 0에 가깝고, 급격히 변하는 경계(edge)에서는 강한 반응을 보입니다.

이것이 라플라시안 에지 검출의 근간입니다.

왜 2계 도함수가 에지를 찾는가

1계 도함수는 강도가 변하는 곳을 찾습니다. 2계 도함수는 그 변화 자체가 변하는 곳, 즉 변화율이 정점을 찍고 다시 떨어지는 지점을 찾습니다.

에지에서는 강도가 상승했다가 평탄해집니다. 1계 도함수는 상승 구간에서 스파이크를 보이고, 2계 도함수(라플라시안)는 그 스파이크의 정점에서 정확히 0을 가로지릅니다. 이러한 제로 크로싱이 에지의 정확한 위치를 표시하므로, 라플라시안은 소벨 필터 같은 1계 방법보다 에지 위치 지정이 더 정밀합니다.

이산 라플라시안 커널

실제로 이미지는 연속 함수가 아니라 픽셀 격자입니다. 연속 라플라시안은 컨볼루션 커널(이미지 위를 슬라이드하는 작은 행렬)로 근사됩니다.

표준 3×3 이산 라플라시안 커널은 다음과 같습니다.

3x3 이산 라플라시안 커널

중앙 가중치는 -4, 네 방향 이웃은 각각 +1입니다. 이 커널을 픽셀에 적용하면, 그 픽셀 강도와 네 이웃의 평균 강도 차이를 계산합니다. 앞서의 "이 점이 주변과 어떻게 다른가"라는 질문의 이산 버전입니다.

실무 고려사항

순수 라플라시안 필터링은 노이즈에 민감합니다. 단 하나의 노이즈 픽셀도 날카로운 강도 스파이크를 만들고, 라플라시안은 이를 에지로 표시합니다.

표준 해결책은 먼저 가우시안 블러로 이미지를 평활화한 뒤, 라플라시안을 적용하는 것입니다. 이 조합을 LoG(Laplacian of Gaussian)라고 합니다. 가우시안은 노이즈를 억제하고, 라플라시안은 진짜 에지를 찾습니다.

딥러닝에서는 합성곱 신경망이 데이터로부터 자체 에지 검출 필터를 학습하지만, 그 필터들은 종종 라플라시안 커널을 닮습니다. 즉, 고전 컴퓨터 비전에서 라플라시안을 유용하게 만든 수학을 신경망이 스스로 재발견하는 셈입니다.

이산 vs 연속 라플라시안

라플라시안은 맥락에 따라 나타나는 서로 연관된 세 가지 개념입니다.

연속체 교과서, 수치 코드, 그래프 ML 논문 사이를 오갈 때, 자신이 어떤 버전과 함께 일하는지 이해하면 혼란을 크게 줄일 수 있습니다.

연속 라플라시안

연속 라플라시안은 미적분에서 온 것입니다. 연속 공간에 정의된 매끄러운 함수 f에 대해, 2계 편도함수의 합입니다.

연속 라플라시안

이 버전은 함수가 어디에서나 매끄럽고 미분 가능하다고 가정합니다. 이론적 토대이지만, 실제 데이터는 결코 연속적이지 않습니다. 픽셀 격자나 측정값 표에서 정확한 도함수를 계산할 수는 없습니다.

이산 라플라시안

연속 함수에서 표본화된 데이터로 이동하면, 도함수는 이웃 값으로 계산한 유한차분으로 대체됩니다.

균일 간격으로 샘플링한 1차원 함수에서, 지점 i에서의 이산 2계 도함수는 다음과 같습니다.

이산 라플라시안

즉, i에서의 값을 양옆 두 이웃과 비교합니다. 같은 생각이 2D 격자(이미지), 3D 볼륨 등으로 확장됩니다. 이미지 처리 섹션의 컨볼루션 커널은 바로 이것, 즉 연속 라플라시안의 유한차분 근사를 픽셀 격자에 적용한 것입니다.

이 이산화 덕분에 라플라시안은 수치 기법과 ML 파이프라인에서 계산 가능합니다. 코드에서 라플라시안 필터를 적용할 때마다, 정확한 미적분 연산자가 아니라 유한차분 근사를 실행하는 것입니다.

그래프 라플라시안

그래프 라플라시안은 이산화를 한 단계 더 나아갑니다. 균일한 간격의 규칙 격자 대신, 가중치가 다양한 엣지로 연결된 임의의 노드 집합을 다룹니다.

여기에는 "이웃 픽셀" 개념이 없습니다. 노드와 그 연결만 있을 뿐입니다. 그래프 라플라시안 L = D - A는 유한차분 구조를 인접 구조로 대체합니다. 핵심 질문은 같습니다. 노드의 값이 이웃과 어떻게 다른가? 다만 이제 "이웃"은 공간적 근접이 아니라 그래프가 정의합니다.

ML에서 왜 중요한가

대부분의 ML 데이터는 규칙 격자에 살지 않습니다. 분자, 소셜 네트워크, 지식 그래프, 3D 포인트 클라우드는 모두 불규칙한 구조를 가집니다. 여기에 표준 유한차분 라플라시안을 적용할 수는 없습니다.

그래프 라플라시안은 인접 행렬로 이웃 구조를 명시화함으로써 이 문제를 해결합니다. 그래서 그래프 신경망과 스펙트럴 기법이 좌표계가 자연스럽게 주어지지 않은 데이터에도 라플라시안 기반 연산을 적용할 수 있는 것입니다.

예제로 보는 라플라시안 계산

이해를 돕기 위해 두 가지 예제를 보겠습니다. 하나는 연속, 다른 하나는 그래프 기반입니다.

예제 1: f(x, y) = x² + y²의 연속 라플라시안

함수 f(x, y) = x² + y²를 생각해 봅시다. 모든 방향으로 위로 굽는 간단한 포물면(사발 모양)입니다.

라플라시안을 계산하려면 각 변수에 대한 2계 편도함수가 필요합니다.

먼저 x에 대해:

연속 라플라시안 계산 (1)

다음으로 y에 대해:

연속 라플라시안 계산 (2)

이제 합하면 됩니다.

연속 라플라시안 계산 (3)

라플라시안은 모든 곳에서 상수 4입니다. 포물면은 어느 점에서나 같은 곡률을 가지므로 타당합니다. 양수라는 사실은 모든 방향으로 위로 굽는다는 뜻으로, 사발 모양과 일치합니다.

예제 2: 작은 그래프의 그래프 라플라시안

다음과 같이 엣지를 가진 4개 노드의 그래프를 생각해 봅시다.

• 노드 1은 노드 2와 3에 연결
• 노드 2는 노드 1과 4에 연결
• 노드 3은 노드 1에만 연결
• 노드 4는 노드 2에만 연결

인접 행렬 A는 연결을 담습니다.

그래프 라플라시안 계산 (1)

차수 행렬 D는 각 노드의 연결 개수를 대각에 둡니다.

그래프 라플라시안 계산 (2)

노드 1과 2는 각각 2개의 연결, 노드 3과 4는 각각 1개의 연결을 가집니다.

마지막으로 빼기를 수행해 L = D - A를 구합니다.

그래프 라플라시안 계산 (3)

이 행렬을 읽는 방법: 1행은 노드 1의 차수가 2이고, 노드 2와 3에 연결되어 있음을(-1 원소) 말해줍니다. 3행은 노드 3의 차수가 1이며 노드 1에만 연결되어 있음을 말합니다. 0은 엣지를 공유하지 않는 노드 쌍을 나타냅니다.

파이썬으로도 계산해 확인할 수 있습니다.

import numpy as np

A = np.array([
    [0, 1, 1, 0],
    [1, 0, 0, 1],
    [1, 0, 0, 0],
    [0, 1, 0, 0]
])

D = np.diag(A.sum(axis=1))
L = D - A

print(L)

파이썬으로 계산한 그래프 라플라시안

자주 혼동되는 개념

라플라시안은 몇몇 개념과 유사하며, 이름만으로는 차이가 분명하지 않을 때가 있습니다. 이 섹션에서는 혼동 지점을 모두 정리합니다.

라플라시안 vs 그레디언트

그레디언트 ∇f는 벡터입니다. 가장 가파르게 증가하는 방향을 가리키며, 크기는 함수가 얼마나 빠르게 상승하는지를 알려줍니다. 1계 도함수를 사용합니다.

라플라시안 ∇²f은 스칼라입니다. 어느 방향으로 움직여야 하는지를 알려주지 않고, 한 점에서 함수의 형태를 알려줍니다. 2계 도함수로 구성됩니다.

라플라시안 vs 헤시안

이 부분에서 가장 자주 헷갈립니다.

헤시안 H은 모든 2계 편도함수로 이루어진 행렬입니다. 입력이 n차원인 함수에 대해 n × n 행렬이며, 모든 축 쌍을 따라 그레디언트가 어떻게 변하는지를 포착합니다. 곡률의 전체 그림을 제공합니다.

라플라시안은 헤시안의 트레이스, 즉 대각합입니다. 비대각 곡률 정보는 잃지만, 계산이 빠른 하나의 수를 얻습니다.

곡률의 완전한 분해가 필요하면 헤시안을, 스칼라 요약이면 충분하다면 라플라시안을 사용하세요.

그래프 라플라시안 vs 미분 연산자

둘은 이름과 핵심 직관을 공유하지만, 전혀 다른 객체에 작용합니다.

미분 라플라시안은 매끄러운 연속 함수에 작용합니다. 도함수가 필요하므로 어디에서나 미분 가능하다고 가정합니다.

그래프 라플라시안 L = D - A는 노드와 엣지로 이루어진 이산 구조인 그래프에 작용합니다. 도함수는 전혀 등장하지 않습니다. 각 노드의 값이 이웃과 어떻게 다른지를 행렬 연산으로 측정합니다.

연결은 계산적이라기보다 개념적입니다. 둘 다 이웃 평균으로부터의 국소 편차를 측정하지만, 완전히 다른 객체에 적용됩니다.

부호 규약

일부 분야에서는 라플라시안을 음의 부호로 정의합니다: -∇²f. 물리학이나 일부 그래프 신경망 논문에서 볼 수 있습니다. 음의 라플라시안 −L은 양의 준정부호여서 특정 최적화 문제에서 성질이 더 좋고, 고유값 해석이 더 깔끔해집니다.

논문에서 라플라시안의 고유값이 모두 음이 아닌 경우, L을 쓰는지 -L을 쓰는지 확인하세요. 수학은 동치지만, 규약을 혼용하면 결과를 잘못 해석할 수 있습니다.

데이터 사이언스에서 라플라시안이 중요한 이유

이제 라플라시안이 미적분, 그래프 이론, 이미지 처리, 최적화 전반에 걸쳐 등장함을 보았습니다. 서로 다른 맥락에서 같은 연산자가 같은 근본 문제를 해결합니다. 한 점의 값이 주변과 어떻게 관련되는지를 측정하는 일 말입니다.

데이터 사이언스에서의 활용은 다음과 같습니다.

• 그래프 기반 ML: 그래프 라플라시안 L = D - A은 스펙트럴 기법의 토대입니다. 데이터에 자연스러운 그래프 구조가 있을 때마다, 라플라시안은 전체 연결 패턴을 선형대수로 다룰 수 있는 행렬로 인코딩합니다.

• 클러스터링: 스펙트럴 클러스터링은 L의 고유벡터를 사용해 순수 거리 기반 방법이 놓치는 그룹을 찾습니다. 클러스터가 볼록하거나 선형 분리가 되지 않을 때도 잘 작동합니다.

• 준지도 학습: 많은 준지도 방법이 그래프 라플라시안을 사용해 레이블을 라벨된 노드에서 미라벨 노드로 전파합니다. 연결된 노드는 동일한 레이블을 가질 가능성이 높다는 가정하에, 라플라시안은 그래프 전반에서 레이블이 얼마나 매끄럽게 변해야 하는지 정량화합니다.

• 매니폴드 학습: 라플라시안 고유사상(Laplacian Eigenmaps) 같은 알고리즘은 그래프 라플라시안을 사용해 고차원 데이터의 저차원 표현을 찾습니다. L의 고유벡터는 원 공간에서 가까운 점을 축소 공간에서도 가깝게 매핑합니다.

• 이미지 특징 추출: 이산 라플라시안은 에지와 급격한 강도 변화를 검출합니다. 이러한 특징은 고전 컴퓨터 비전 파이프라인과 딥러닝 아키텍처의 사전 지식으로 직접 활용됩니다.

요약하면, 라플라시안은 단일 미적분 식에서 대규모 그래프 신경망에 이르기까지 스케일이 확장되는 드문 수학 도구입니다.

결론

라플라시안은 연속 함수의 곡률을 측정하는 미적분 연산자로 시작합니다. 그래프 기반 ML에 이르면, 전체 네트워크 구조를 인코딩하는 행렬이 됩니다. 핵심 아이디어는 정확히 같고, 형태만 다릅니다.

DataCamp의 Linear Algebra for Data Science in R 과정을 수강해 이 글에서 다룬 다양한 개념과 주제를 직접 실습해 보세요.