邓嘉驹
资料/高等线性代数

实内积空间与复内积空间

第 5 章 · 5 节

在本章中,我们仅聚焦于是实数域和复数域的情形,将的复共轭记为。 在这样的向量空间上,我们定义了一个称为“内积”新的函数。

5.1内积、范数和距离

1.1 内积

定义 5.1 (内积与内积空间)

设为上的向量空间,上的内积(inner product)是一个函数,满足

  1. 正定性(positive definiteness):对于所有的,均有,并且等号成立当且仅当;

  2. 对于,有共轭对称性(conjugate symmetry): ; 对于,有对称性(symmetry): ;

  3. 关于首个坐标线性(linearity in the first coordinate): 对于所有和,均有

    (5.1.1)

赋予内积的实(复)向量空间称为一个实(复)内积空间(real/complex inner product space)。

注

若,我们记。

若将内积空间上的内积限制在向量子空间上,则在此内积下也构成一个内积空间。 若,那么性质2和3意味着内积空间在各坐标上都是线性的,也就是说内积空间是双线性的(bilinear); 若,则有

(5.1.2)

这称为在第二个坐标上的共轭线性性(conjugate linearty),也称半双线性性(sesquilinearity)。

例 5.1
  1. 向量空间在标准内积(standard inner product)或点积(dot product)下构成内积向量空间,其定义为

    (5.1.3)

    向量空间常称为维Euclidean空间(-dimensional Euclidean space);

  2. 向量空间在标准内积

    (5.1.4)

    下构成一个内积空间,常称为维幺正空间(-dimensional unitary space);

  3. 在闭区间上的所有连续复值函数构成一个向量空间。 在内积

    (5.1.5)

    下,该空间构成一个复内积空间。

例 5.2

最重要的内积空间之一是满足的全体实(复)数列构成的向量空间,内积定义为

(5.1.6)

这种序列称为平方可和的(square summable)。 为了使这样的内积空间有意义,右侧的和必须收敛:

(5.1.7)
引理 5.1

若是内积空间,并且对所有成立,则。

下一结论指出了实内积空间与复内积空间之间的主要差异直积,并将在后文起到关键作用。

命题 5.1

设为内积空间,。

  1. 若对所有成立,则;

  2. 若是复内积空间,则对所有成立 。

证明
  1. 由于,可取,因此根据定义,当且仅当对所有成立,故;

  2. 设,其中且,则

    (5.1.8)

    分别取和,可得

    (5.1.9)

1.2 范数

定义 5.2 (范数)

若是内积空间,则的范数(norm)或长度(length)定义为。 若,则向量称为单位向量(unit vector)。

以下是范数的基本性质。

定理 5.1
  1. 正定性:对所有,,并且等号成立当且仅当;

  2. 线性性:对所有和,均有;

  3. 三角不等式:对所有,均有,等号成立当且仅当是的非负标量倍。

在一般向量空间中,满足上述三条性质的函数称为其范数。 我们将证明留给读者,其中三角不等式的证明在证明了下列性质中的Cauchy-Schwarz不等式后将迎刃而解。 被赋予范数的向量空间称为赋范线性空间(normed linear space)。 因此,在内积诱导的范数(定义 5.2)下,所有内积空间都是赋范线性空间。

命题 5.2
  1. Cauchy-Schwarz不等式:对所有,,等号成立当且仅当是的标量倍;

  2. 对所有,均有;

  3. 平行四边形法则(the parallelogram law):对所有,均有。

证明

这里我们仅证明Cauchy-Schwarz不等式。 对于任意和,考虑的范数:

(5.1.10)

取,则有

(5.1.11)

等号成立当且仅当,即是的标量倍。

一个有趣的事实是上的内积可通过范数恢复,两种概念在实(复)内积空间内是等价的。

定理 5.2 (极化恒等式)
  1. 若为实向量空间,则

    (5.1.12)
  2. 若为复向量空间,则

    (5.1.13)

1.3 距离

事实上,范数还可以用于定义内积空间中任意两个向量的距离。

定义 5.3 (距离)

设为内积空间,中任意两个向量的距离(distance)定义为。

以下是距离的基本性质。

定理 5.3
  1. 正定性:对于所有,,等号成立当且仅当;

  2. 对称性:对于所有,;

  3. 三角不等式:对于所有,。

对比第第 1.3.5 小节小节的定义,容易看出实际上是上的度量,有序对构成度量空间。 因此在这样的距离定义下,所有内积空间都是度量空间。

5.2等距性与正交性

2.4 等距映射

向量统建的同构保持向量空间的运算。 对于被赋予拓扑结构的内积空间,其相应的概念是等距映射。

定义 5.4 (等距映射)

设和为内积空间,。

  1. 若保持内积,即对所有成立,则是等距映射(isometry);

  2. 双射等距映射称为等距同构(isometric isomorphism),此时称和等距同构。

注

对于任意(为等距映射),意味着,因此,即。 因此等距映射是单射,当其为满射时自然为等距同构。 此外,若,根据推论 3.3,此时自然为等距同构。

由于范数确定了内积,我们自然有以下结论。

定理 5.4

线性变换是等距映射当且仅当其保持范数,即当且仅当对所有成立。

证明

若为等距映射,取自然有; 反之根据极化恒等式(定理 5.2),在实内积空间中,

(5.2.1)

此时为等距映射。 复内积空间的情形类似。

2.5 正交性

定义 5.5

设为内积空间。

  1. 若两个向量满足,则称两者正交(orthogonal),记作’

  2. 若两个子集满足,即对所有和成立,则称与正交,记作; 同时用代替的写法;

  3. 子集的正交补(orthogonal complement)是集合。

容易验证以下性质。

命题 5.3

设为内积空间。

  1. 任意子集的正交补是的一个子空间;

  2. 对于的任意子空间,。

证明
  1. 对于任意和,,因此。 根据命题 2.1,为子空间;

  2. 对于任意,,因此,即。

定义 5.6 (正交直和)

若内积空间且,则称是与的正交直和(orthogonal direct sum),记作。 更一般地,若

(5.2.2)

则称为的正交直和,记作。

正交直和具有以下等价描述。

定理 5.5

设为内积空间,与均为的子空间,则下列表述等价:

  1. ;

  2. 且。

证明

若,那么根据定义,。 对于任意,存在和使得,因此,进而,故,反向包含证毕。 由表述2证明表述1是显然的。

5.3正交集与标准正交集

3.6 基本概念

定义 5.7 (正交集与标准正交集)

对于内积空间内的一个非空向量集,若对任意不相同的指标成立,则称其为正交集(orthogonal set)。 另外,若每个向量都是单位向量,那么是标准正交集(orthonormal set)。 因此,若对所有指标成立,则称该集合标准正交,其中是Kronecker -函数。

注

给定任意非零向量,可通过对乘上其倒数得到一个单位向量。 该过程称为向量的归一化(normalization)。 因此,从非零向量的正交集获得标准正交集是一件容易的事。 另外,若,则; 当时,其逆命题也成立。

命题 5.4

内由任意非零向量构成的正交集是线性无关的。

证明

考虑正交集以及线性组合,利用正交性可知,即对所有成立,因此线性无关。

3.7 Gram-Schmidt正交化

Gram-Schmidt过程可用于将向量序列变换为正交序列。 我们首先从以下定义入手。

定理 5.6 (Gram-Schmidt增广)

设为内积空间,为内一组正交向量集。 若,则存在非零向量使得正交,且

(5.3.1)

特别地,

(5.3.2)

上述结论可直接验证(5.3.2)式证明。 尽管Gram-Schmidt增广(augmentation)常用于一系列线性无关的向量,但事实上也能应用于任意向量序列。

定理 5.7

设是一个向量列,则可通过Gram-Schmidt增广定义序列:

(5.3.3)

这样的构成内一组正交序列,满足

(5.3.4)

对所有成立。 同样地,当且仅当。

证明

当时,该结论显然成立。 假定该结论在时成立,若

(5.3.5)

那么存在使得,进而。 因此当时,即,即

(5.3.6)

反之若,则Gram-Schmidt增广过程(定理 5.6)已给出结果。 综上,该结论对任意自然数成立,从而可得到一条正交向量列。

3.8 Hilbert基与Hamel基

定义 5.8 (Hilbert基)

在内积空间内的极大标准正交集(maximal orthonormal set)称为的Hilber基(Hilbert basis)。

Zorn引理(定理 1.1)可用于证明任意非平凡内积空间具有Hilbert基: 对于内任意标准正交集构成的链,可取其并集。 对于任意,总存在使得。 不妨设,那么在内,,同时。 因此为标准正交集,同时为该链的上界。 根据Zorn引理(定理 1.1),内含有极大标准正交集,即具有Hilbert基。 需要小心的是,不能将向量空间内的基与内积空间内的Hilbert基混淆。 为了避免这种混淆,我们称前者为Hamel基(Hamel basis),称标准正交的Hamel基为标准正交基。 由于每个标准正交集都是线性无关的,因此标准正交基是Hilbert基,因为它不能真包含于其他正交集中; 否则未包含的元素与标准正交基的并集构成新的线性无关集,这与Hamel基的极大性矛盾。 对于有限维内积空间,这两种基是相同的。

定理 5.8

设为内积空间,则的有限子集是的标准正交基当且仅当其为的Hilbert基。

证明

对于充分性,假设存在使得构成一组标准正交集。 由于是Hamel基,存在使得,进而对所有指标成立,因此,即为Hilbert基。 反之对于必要性,假设存在使得构成一组线性无关集。 利用Gram-Schmidt增广过程(定理 5.6)可得到一组更大的标准正交集,但这与的极大性矛盾,因此为Hamel基。

下面这个例子说明了为什么上述结果在无穷维内积空间内会失效。

例 5.3

设且为具有形如

(5.3.7)

的所有向量构成的集合。 显然是一组正交集,若存在且,则对所有指标成立,这意味着。 因此也是极大标准正交集,从而是内积空间的一组Hilbert基。 但另一方面,由张成的向量空间是内所有具有有限支撑的序列构成的子空间,显然,例如在内但不在内。

5.4最佳逼近与投影定理

4.9 最佳逼近

标准正交基相较于任意基具有显著的实用优势。 从计算的角度看,若是的一组基,则每个都具有形式。 一般而言,确定坐标需要求解规模的线性方程组。 但如果是的一组标准正交基,并且,则系数可直接通过得到。 即使仅仅是任意标准正交集,我们仍可以考虑其展开:

(5.4.1)
定理 5.9 (Fourier展开与最佳逼近)

设为内积空间的标准正交子集,子空间,则向量关于的Fourier展开(Fourier expansion)为

(5.4.2)

每个系数称为关于的Fourier系数(Fourier coefficient)。 向量可如下刻画:

  1. 是唯一满足的向量;

  2. 为内对的最佳逼近(best approximation); 换言之,是在范数意义下唯一最接近的向量,即对所有成立;

  3. Bessel不等式对所有成立,即。

证明
  1. 首先验证,因此对于任意,,即。 设存在另一个使得,由于和均为子空间(命题 5.3),故,同时,从而,即,唯一性得证;

  2. 对于任意,由于且,有

    (5.4.3)

    等号成立当且仅当,因此对所有成立;

  3. 当为Hilbert基时,假设存在使得,那么可通过Gram-Schmidt增广过程(定理 5.6)得到一组新的标准正交基,但这与的极大性矛盾。 因此存在使得对任意成立,其中。 故,自然有。 当不为Hilbert基时,存在满足,可通过Gram-Schmidt增广过程(定理 5.6)得到非零单位向量,其中。 因此,进而。 综上,对所有成立。

4.10 投影定理

定理 5.10 (投影定理)

若是内积空间的有限维子空间,则,由此。 特别地,若,则。

证明

取的一组有限基,将其通过Gram-Schmidt增广过程(定理 5.6)得到一组标准正交基。 再结合定理 5.9构造任意的Fourier展开,可知,因此。 根据命题 5.3和定理 5.5,。 维数关系源于推论 4.2。

当不是有限维时,上述结论未必成立。 不过即使在无穷维情形,只要是完备子空间,上述结论依然成立。 关于这部分的讨论,我们放到第第 8 章章。

例 5.4

仍采用例例 5.3中的例子。 设,那么若,则对所有指标成立,从而,即; 然而,可见投影定理失效。

命题 5.5

设为内积空间,为的一个有限维子空间。

  1. ;

  2. 若且,则。

证明
  1. 显然对于任意,,因此; 若,根据投影定理 5.10,存在和使得。 那么,进而。 可见,即。 综上,;

  2. 根据上述结果,只要证明则结论得证。 显然; 对于反向包含,由于是的子空间(命题 5.3),考虑以及的一组有限基。 由于,显然,进而,可见。 综上,,结论得证。

4.11 Hilbert基的刻画

命题 5.6

设为内积空间的标准正交子集,子空间,则下列表述等价:

  1. 为的标准正交基;

  2. ;

  3. 每个向量等于其自身的Fourier展开,即对于所有,均有;

  4. Bessel恒等式对所有成立,即;

  5. Parseval恒等式对所有成立,即

    (5.4.4)
证明
  1. 若表述1成立,则定理 5.9中结论3的证明已表明,对于任意,存在使得,因此对所有指标成立。 故,即,表述2成立;

  2. 若表述2成立,根据定理 5.9,,因此,表述3成立;

  3. 若表述3成立,表述4显然成立;

  4. 若表述4成立,那么对于实内积空间内的任意向量,

    (5.4.5)

    因此利用极化恒等式(定理 5.2),

    (5.4.6)

    复内积空间的情形类似,故表述1成立;

  5. 若表述5成立,假设存在使得为标准正交集,那么对所有指标成立,进而对于任意,

    (5.4.7)

    即,这要求,否则推出矛盾。 因此为极大标准正交集,即标准正交基。

5.5Riesz表示定理

我们在本章初提及复向量空间上的内积关于第二个坐标具有共轭线性,在此我们给出其严格化的一般定义。

定义 5.9 (共轭线性)

对于定义在复向量空间和上的函数,若其满足

(5.5.1)

其中且,则称其共轭线性(conjugate linear)。 共轭同构(conjugate isomorphism)是双射共轭线性映射。

对于给定的,内积函数定义为,该函数是上的线性泛函。 因此,若定义线性映射为,则其为共轭线性的。

定理 5.11 (Riesz表示定理)

设为有限维内积空间。

  1. 若定义映射为,则其为共轭同构。 特别地,对于每个,存在唯一的向量使得,即;

  2. 若定义映射为,则其为的逆,因而同样为共轭同构。 我们称此映射为Riesz映射(Riesz map)。 若,则,其中为的标准基。

证明
  1. 前已证明共轭线性,根据引理 5.1,即意味着,因此为单射。 对于任意,根据命题 4.1,的余维数为1。 根据投影定理 5.10,对于任意给定的非零向量,,这要求。 取,其中,我们希望对于任意证明。 若,则; 若,则存在使得,仅需证明。 不妨取,则上式成立。 综上,对于每个,总可以选择非零向量和,使得。 那么对于任意,总存在和,使得,进而,其中唯一。

  2. 对于上述和非零向量,可定义,首先验证其共轭线性:

    (5.5.2)

    对任意、和成立,因此根据引理 5.1,,故具有共轭线性。 另外,对于任意,; 对于任意,存在使得,因此。 可见是的逆映射,因而也是共轭同构,证毕。

注

事实上,在量子力学的Dirac符号体系下,所有左矢构成的空间正是复内积空间的对偶空间; 而每个左矢作为线性泛函,根据此定理可用唯一的形式化的态矢量表示,它将任意右矢映射到某个确定的内积值。 简而言之,在常用的幺正空间内,共轭同构和均为共轭转置操作。