这部分我们从有限维扩展到无限维，在无限维空间中线性代数依然有效。首先，我们来回顾一下，我们一开始是以向量、点积和线性组合进行展开的。现在我们开始将这些基本的概念转化到无限维的情况，然后再继续深入探索。
一个向量有无限多的元素是什么意思呢？有两种答案，都非常好。
向量变成 \(\boldsymbol v=(v_1,v_2,v_3,\cdots)\)，比如 \((1,\frac{1}{2},\frac{1}{4},\cdots)\)
向量变成一个函数 \(f(x)\)，比如 \(sin \space x\)
很自然，两个无限维向量的点积是一个无限维的级数：
但是这带来了一个新问题，这个无限的和加起来会是一个有限的数字吗？这个级数收敛吗？这是有限和无限第一个并且是最大的差异。如果 \(\boldsymbol v=\boldsymbol w=(1,1,1,\cdots)\)，和肯定不收敛，这时候 \(\boldsymbol v\cdot \boldsymbol w = \boldsymbol v \cdot \boldsymbol v=||v||^2\)，也就是说向量的长度为无穷，我们不想要这样的向量。因为我们可以制定规则，所以我们不用包含它，这里我们只允许长度有限的向量。
向量 \(\boldsymbol v=(v_1,v_2,v_3,\cdots)\) 位于我们的有限维希尔伯特（Hilbert）空间当且仅当它的长度是有限的。
向量 \(\boldsymbol v=(1,\frac{1}{2},\frac{1}{4},\cdots)\) 位于希尔伯特空间，因为它的长度为 \(2/\sqrt{3}\)。
如果两个向量的长度都是有限的，那么我们可以放心地进行点乘，施瓦茨不等式依然成立，而且它们之间夹角余弦的绝对值始终小于 1。
现在我们来看函数，它们可以看作是“向量”，定义在 \(0\leqslant x \leqslant 2\pi\) 上的函数空间 \(f(x),g(x),h(x),\cdots\) 肯定比 \(\boldsymbol R^n\) 大。\(f(x)\) 和 \(g(x)\) 的点积是什么呢？\(f(x)\) 的长度是多少呢？连续情况下的关键是：用积分替代求和。
函数的定义区间可以任意改变，这里是为了使用三角函数才选择的 \(0\leqslant x \leqslant 2\pi\)。
更重要的是，\(sin\space x\) 和 \(cos\space x\) 在函数空间是正交的。
这种正交性不仅仅存在于这两个函数之间，\(cos\space 0x=1,sin\space x,cos\space x,sin\space 2x,cos\space 2x,\cdots\)，上述列表中的每一个函数都和其余函数正交。
一个函数的傅里叶级数就是将其展开成正弦和余弦的形式。
这些正弦和余弦基是正交的，函数空间中的向量则可以表示为它们的线性组合。这些基是周期函数，周期为 \(2\pi\)。一个典型函数的长度可以这样计算：