\[ \begin{matrix} {\|\mathbf{Y}-\mathbf{DX}\|^2_F} &=&\left\|\mathbf{Y}-\sum^K_{j=1}\mathbf{d}_j\mathbf{x}^j_T\right\|^2_F \\ &=&\left\|\left(\mathbf{Y}-\sum_{j\ne k}\mathbf{d}_j\mathbf{x}^j_T\right)-\mathbf{d}_k\mathbf{x}^k_T\right\|^2_F\\ &=&\left\|\mathbf{E}_k - \mathbf{d}_k\mathbf{x}_T^k \right\|^2_F \end{matrix} \tag{2-4} \]
上式中残差\(\mathbf{E}_k=\mathbf{Y}-\sum_{j\ne k}\mathbf{d}_j\mathbf{x}^j_T\)，
此时优化问题可描述为
\[ \min_{\mathbf{d}_k,\ \mathbf{x}^k_T}\left\|\mathbf{E}_k - \mathbf{d}_k\mathbf{x}_T^k \right\|^2_F \]
因此我们需要求出最优的\(\mathbf{d}_k,\ \mathbf{x}_T^k\)，这是一个最小二乘问题，可以利用最小二乘的方法求解，或者可以利用SVD进行求解，这里利用SVD的方式求解出两个优化变量。
但是，在这里我人需要注意的是，不能直接利用\(\mathbf{E}_k\)进行求解，否则求得的新的\(\mathbf{x}_k^T\)不稀疏。因此我们需要将\(\mathbf{E}_k\)中对应的\(\mathbf{x}_T^k\)不为0的位置提取出来，得到新的\(\mathbf{E}_k^{'}\)，这个过程如图2-1所示，这样描述更加清晰。
图2-1 提取部分残差