特征值及其特征向量

定义：Ax=cx

几何意义：直观地来看，一个向量经过变换后(Ax)等于向量本身乘以一个系数，也就是说，变换并没有改变向量的方向，只是进行了长度上的伸缩而已。

显然，定义描述了一种特殊的变换效果，引出了两个重要的概念——特征值及特征向量。对于一个矩阵总是可以找到它所对应的特征值和特征向量的。

可喜的是，这些特征值和特征向量有着非常好的性质，比如特征值的乘积等于矩阵的行列式值，特征值的和等于矩阵的迹，不同特征值所对应的特征向量是线性无关的（如果矩阵是是对称的，那么这些向量正交），通过特征向量构成的正交阵可以对一个是对称矩阵实现对角化，等等。
这些性质的应用十分具体、深入和广泛。比如谱定律。

Spectral theorem的核心内容如下：

一个线性变换（用矩阵乘法表示）可表示为它的所有的特征向量的一个线性组合，其中的线性系数就是每一个向量对应的特征值，写成公式就是：

T(V)=λ1(V1.V)V1+λ2(V2.V)V2+λ3(V3.V)V3+...

从这里我们可以看出，一个变换（矩阵）可由它的所有特征向量xx表示(即T(x)=Ax)。而每一个向量所对应的特征值，就代表了矩阵在这一向量上的贡献率——说的通俗一点就是能量（power），这种贡献是一种整体上的贡献率，对于单个向量来说还要考虑特征向量V与输入向量x的点积，即dot(V,x)部分。也就是说，即使λ1相比其它特征值来说很大，使得V1的贡献率很高，但是（V1.x）=0，T(x)在V1上也没有任何表现。

我们知道，一个变换可由一个矩阵乘法表示，那么一个空间坐标系也可视作一个矩阵，而这个坐标系就可由这个矩阵的所有特征向量表示，用图来表示的话，可以想象就是一个空间张开的各个坐标角度，这一组向量可以xx表示一个矩阵表示的空间的“特征”，而他们的特征值就表示了各个角度上的能量（可以想象成从各个角度上伸出的长短，越长的轴就越可以代表这个空间，它的“特征”就越强，或者说显性，而短轴自然就成了隐性特征），因此，通过特征向量/值可以xx描述某一几何空间这一特点，使得特征向量与特征值在几何（特别是空间几何）及其应用中得以发挥。

关于特征向量（特别是特征值）的应用实在是太多太多，近的比如俺曾经提到过的PCA方法，选取特征值{zg}的k个特征向量来表示一个矩阵，从而达到降维分析+特征显示的方法；近的比如Google公司的成名作PageRank，也是通过计算一个用矩阵表示的图（这个图代表了整个Web各个网页“节点”之间的关联）的特征向量来对每一个节点打“特征值”分；再比如很多人脸识别，数据流模式挖掘分析等方面，都有应用，有兴趣的兄弟可以参考IBM的Spiros在VLDB‘ 05，SIGMOD ’06上的几篇文章。

特征向量不仅在数学上，在物理，材料，力学等方面（应力、应变张量）都能一展拳脚，有老美曾在一本线代书里这样说过“有振动的地方就有特征值和特征向量”，确实令人肃然起敬+毛骨悚然......