1801年1月,天文学家Giuseppe Piazzi发现了一颗从未见过的小行星。据说刚发现不久,他就病倒了,等病好时,已过了几个月,那颗小行星却怎么也找不到了。当时有名的天文学家都加入了对这颗小行星的寻找,却徒劳无获。 1801年9月,高斯决定用数学方法寻找这颗小行星的踪迹。3个月后,高斯宣称已预测出该小行星的轨道。天文学家在高斯指出的位置,果然再次发现了它。这颗小行星后来被命名为谷神星(Ceres)。高斯因为此事名声大震,但他却拒绝透露计算小行星轨道的办法;8年后,直到高斯系统地完善了相关的数学理论,才将他的方法公布于众,这就是“最小二乘法”(Least squares method)。 最小二乘法普遍用于回归分析,例如根据以往观察到的行星位置,预测它的运行轨道。最小二乘法跟矩阵理论有着某种神秘的联系。 若A为m×n的矩阵,b为m×1的矩阵,则Ax=b表达了一个线性方程组,它的normal equation的形式为ATAx=ATb。 当Ax=b有解时(即矩阵[A|b]的秩与A的秩相同),Ax=b与ATAx=ATb的解集是一样。 而当Ax=b无解时,ATAx=ATb仍然有解,其解集即最小二乘解(least squares solution),即使得(Ax-b)T(Ax-b)的值最小的解,可以理解为使方程组Ax=b近似成立且误差最小的解。normal equation的这个性质令人惊叹。 |