이번 글은 부분공간의 기저와 차원을 다룬다.
이전 글에서 우리는 벡터들이 서로 독립적인지, 혹은 중복된 정보를 가지고 있는지(선형종속)에 대해 다뤘다.
그렇다면 이렇게 독립적인 벡터들이 모여 만드는 공간을 정의하고 크기를 측정하는 것에서
부분공간과 기저, 차원의 개념이 나온다.
부분공간이란?
부분공간은 전체 벡터 공간 안에서 선형결합에 대해 닫혀 있는 (Closed under linear combination) 부분 집합을 의미한다.
이때 '닫혀있다' 라는 것은 집합 내의 벡터들을 어떻게 선형결합 해도 그 결과가 여전히 그 집합 안에 머물러 있음을 의미한다.
어떤 가중치를 부여하여도 모두 집합 안에 포함되어야 하기 때문에 span이랑 유사하다고 할 수 있다.
곱셈에 대해 닫혀 있는 예시
이미지에서 설명된 것처럼, 집합 $S$가 $2$의 거듭제곱들로 이루어져 있다고 가정해 봅시다.
이 집합에서 임의의 두 원소를 꺼내어 곱셈 연산을 해보겠습니다.
- $2 \in S, 4 \in S \implies 2 \times 4 = 8$ (결과값 $8$은 $S$에 존재)
- $4 \in S, 8 \in S \implies 4 \times 8 = 32$ (결과값 $32$는 $S$에 존재)
이처럼 집합 안의 원소끼리 연산한 결과가 항상 집합 안에 존재할 때, 우리는 이 집합이 해당 연산에 대해 **"닫혀 있다(Closed)"**라고 표현합니다.
선형결합에 대해 닫혀 있는 부분공간 (Subspace)
선형대수학에서 말하는 **부분공간(Subspace)**은 단순히 하나의 연산이 아니라, 벡터의 두 가지 핵심 연산인 **'벡터 합'**과 **'스칼라 곱'**을 합친 선형결합에 대해 닫혀 있어야 합니다.
이를 수식으로 표현하면 다음과 같습니다:
집합 $V$ 내의 임의의 벡터 $\mathbf{v_1}, \mathbf{v_2}$와 임의의 가중치(스칼라) $c_1, c_2$에 대하여,
$$c_1\mathbf{v_1} + c_2\mathbf{v_2} \in V$$가 항상 성립할 때, 집합 $V$는 선형결합에 대해 닫혀 있으며 이를 부분공간이라 부릅니다.
기저란?
기저란 중복이 없고 가장 효율적인 재료 벡터들의 묶음이다.
기저가 되기 위해서는 아래의 두 가지 조건을 동시에 만족해야 한다.
1. Fully Span : 해당 부분공간 내의 모든 벡터를 이 기저 벡터들의 선형결합으로 표현할 수 있어야 한다.
2. Linearly Independent : 벡터들 사이에 중복이 없어야 하며 비장명해가 존재하지 않아야 한다.
기저의 특징으로는
- 유일하지 않음
: 하나의 공간을 표현하는 기저는 여러 세트가 존재할 수 있습니다. (예: 평면을 채울 때 직교하는 두 벡터를 쓸 수도, 비스듬한 두 벡터를 쓸 수도 있음)
- 표현의 유일성
: 기저가 하나 결정되면, 공간 내의 특정 벡터를 표현하는 가중치(Coefficient) 조합은 오직 하나만 존재한다.
- 기저 변환 (Change of Basis)
: 기저가 바뀌면 똑같은 벡터(점)라도 이를 표현하는 가중치 값이 달라진다.
차원이란?
기저의 형태는 다양할 수 있지만, 어떤 기저를 선택하더라도 기저 벡터의 개수는 항상 일정합니다.
이 변하지 않는 숫자를 우리는 **차원(Dimension)**이라고 부른다.
즉, 차원이란 부분공간을 구성하는 선형 독립인 기저 벡터의 개수이다.
표준 기저
: 가장 단순한 형태의 기저($[1, 0, 0]$ 등)이며, 이때의 가중치는 우리가 흔히 쓰는 좌표값과 일치합니다.
Rank와의 관계
: 행렬의 랭크는 곧 그 행령의 열벡터들이 만들어내는 공간의 차원을 의미합니다.
머신러닝에서의 시사점 : 왜 중요할까?
우리가 수집한 데이터의 Feature(열) 개수가 100개더라도, 만약 이들 사이에 **선형 종속(Linear Dependence)**이 존재한다면 실제 **차원(Dimension)**은 100보다 작아집니다.
- 다중공선성: Feature 간 중복이 심하면 모델이 특정 데이터에 과하게 민감해져 **과적합(Overfitting)**이 발생합니다.
- 규제(Regularization): L1, L2 규제 등은 불필요한 가중치를 줄여 실질적인 차원을 제어하는 역할을 합니다.
결국 기저와 차원을 이해하는 것은 데이터의 **'진짜 정보량'**을 파악하고 모델의 복잡도를 관리하는 핵심 원리가 된다.