一个最小二乘问题的三种解法

肖燏

湖南中医药大学信息科学与工程学院  湖南长沙 410208

摘要  线性非齐次方程组无解时，寻找，使得达到极小，此处，实矩阵、向量均已给定. 这是一个高等数学和线性代数的综合性问题. 本文分别从多元函数、向量函数、和向量射影出发，得出这个最小二乘问题的三种解法。

关键词  最小二乘 多元函数极值 向量函数极值 向量射影

Abstract   When there is no solution to the linear non-homogeneous equation system , find , so that reaches the minimum. Here, the real matrix and vector have been given. This is a comprehensive problem of advanced mathematics and linear algebra. Starting from multivariate function, vector function and vector projection, this paper obtains three solutions to the least square problem.

Key words  least square; extremum of multivariate function; extremum of vector function; projection of vector

一、问题的描述

定义 设. 令

，

称为向量的长度（或范数）.

记为矩阵的秩. 对于线性非齐次方程组，当时方程组无解. 考察以下情形的最小二乘问题:

    设，. 当时，求：使得达到极小值时的向量.

二、问题的求解

定理 设，. 当时，若向量极小化，则它必是线性方程组的唯一解：.

证明 以下从多元函数求极值、向量函数求极值和向量在平面射影的应用等三个方面加以推导说明.

ⅰ) 多元函数求极值

设,其中. 定义多元函数

则，使得达到极小值的向量必满足：

.

因为                   

所以有                         

合并上面n个式子得

由，得，方阵可逆. 因而线性方程组有唯一解：

.

ⅱ) 向量函数求极值

设为自变量为向量的函数，定义

由向量函数的求导法则，得

使得达到极小值的向量必满足：，所以有

同ⅰ)，得唯一解：.

ⅲ) 利用向量在平面射影的性质

    记为包含向量的平面. 因方程组无解，向量. 如图.

显然，要使得达到极小，向量必是向量在平面上的正射影，因此，向量垂直于平面.

设,其中. 则

也就是                   

即                       

同ⅰ)，得唯一解：.

三、问题的意义

定义 设是一个的实矩阵. 若有的实矩阵，满足

则称为的广义逆矩阵，记作.

在前述问题中，记，则定理的唯一解可表示为.

下面证明，是的广义逆矩阵：

由定义，

因此，对于线性方程组，在、、时，能极小化的向量满足：，它存在且唯一.

参考文献

[1] 蔡大用，白峰杉. 高等数值分析[M]. 北京：清华大学出版社，1996.

[2] 方保镕，周继东，李医民. 矩阵论[M]. 北京：清华大学出版社，2013.

[3] 吴赣昌. 高等数学[M]. 北京：中国人民大学出版社，2017.

[4] 同济大学数学系. 工程数学.线性代数[M]. 北京：高等教育出版社，2014.

作者简介：肖燏（1974—），女，硕士，讲师，研究方向为计算数学.