1. , 或 是什么意思？
[!question] , 或 是什么意思？
您是否遇到过类似 , 或 这样的数学表达式，并想知道它们是什么意思？
在这篇文章中，我们将为你揭开这些符号的神秘面纱，让你领略高维度向量的优雅与强大。
首先，让我们来看看 这个符号。简单地说， 表示二维空间，由两个实数（坐标）定义。这就是我们在基础几何中经常看到的 平面。
扩展到三维空间，我们就有了 ，其中每个点都由一个包含三个分量的列向量表示。这些向量描述了三维空间中的点。三维点在现实世界的许多应用中都会用到，如计算机制图和物理模拟。
的概念是这一思想的自然延伸，其中 代表维数。要将 想象成 中的一个点，可将其想象成一个有 个分量的列向量。我们使用字母 "R" 是因为向量的分量是实数。
线性代数之所以用途广泛，其中一个原因是它的数学原理很容易扩展到更高的
维。例如，如果我们想在
中定义一个向量，只需要7个实数，如[4, 1, 8, 5, 9, 5, 6]。如果你用 100 个随机数写出一个向量，那么你的向量就属于
。
将 100 维空间可视化是很困难，但利用线性代数，我们可以处理这些向量并对其进行各种运算，就像处理 维空间一样。
2. 当人们说 "矢量空间"、"列空间"、"子空间"等时，他们所说的 "空间" 是什么意思？
可以简单的认为 "空间" 是 "子空间"的简称。"子空间"是在加法和标量乘法运算下"封闭"的子集，这与在线性组合运算下封闭基本相同。这两种运算的输出结果总是保持在子空间内。
[! note] 子空间的定义： 向量空间的子空间是满足向量空间要求的子集 -- 线性组合留在子空间中。 (i). 如果任何两个向量 和 都在子空间中，那么 也在子空间中。 (ii). 如果我们将子空间中的任何向量 乘以任何标量 ， 也在子空间中。
光看定义并不能帮助我理解这个概念。让我们试着回答这个问题，以确保我们能理解：
[!question] x-y 平面的第一象限： 它是一个子空间吗？
让我们先看看规则 (i) 是否成立。如果我们将第一象限中的任意两个向量 ( ， )和 ( ， ) 相加， 将位于同一个子空间中。好的，到目前为止一切顺利。 那么规则（ii）呢？让我们在第一象限选取任意标量 和向量 ]。现在， 在第三象限，而不在第一象限。因此，第一象限不是一个子空间。
假设我们把第三象限和第一象限都包括在内。那么标量乘法就没问题了。每个倍数（ ）都会留在这个子集中。但是现在，规则（i）被违反了，因为加上 会得到 ，而这个子集不在任何一个象限中。所以，包含第一象限的最小子空间就是整个 空间。
什么是列空间？
矩阵 的列空间是 的列所跨的空间。同样， 的行也横跨一个行空间。
网格上的每一点都是两个向量的线性组合。
在上图（左）中，蓝色向量 和红色向量 横跨整个平面 。
看右边的图片。矢量不一定要相互正交才能跨越平面。只要它们不平行，它们的线性组合就会充满（或 “跨越”）整个平面。
[!note] 的列空间 = 列的跨度 = 列的所有可能线性组合的集合
将矩阵 乘以任意向量 ，得到列的组合。因此，向量 位于列空间。
求解 Xθ = y.
让我们来探索方程 ，其中 是一个 矩阵， 和 是列向量。
公式 (a)
在公式 (a) 中，乍一看有 2 个未知数 和 3 个方程。通常，当方程数多于未知数时，就没有解了。
请注意，方程的数量决定了列向量的维数。例如，如果我们有 10 个方程，而不是 3 个，那么我们将解决一个 10 维的问题。
公式 (a) 也可以写成公式 (b)。
公式 (b)列的组合
右边的向量 可以是 各列的任意线性组合。
只是众多可能向量中的一个例子。
例如，如果我们选择 和 ，那么 就等于 的第一列。相反，如果我们设置 和 ，那么 就等于 的第二列。
列空间 ： 三维空间中横跨的二维平面。
然而，如果 位于 （表示为 ）列所跨平面的外，那么 就不能表示为这些列的线性组合。在这种情况下，系统 无解。
跨平面 不仅仅是 的子集。它是一个子空间。它包含了 列的每一个可能的线性组合，并满足规则(i)和(ii)。
[!note] 只有当 位于两个列向量（ 的列的组合）所跨过的平面内时， 才能求解。
[!tips] 一些补充说明：
-
线性回归是 、 和 的一个很好的例子。比如，我们要预测房价。 是一个特征矩阵（卧室数量、平方英尺、位置等）， 是一个目标变量（如房价）， 是我们想要拟合的系数向量。在这里，"y 位于列空间" 意味着回归误差为零，而这在现实生活中从未发生过。 -
为什么 和 跨越平面？因为只存在 2 个矢量😜。我们需要 3 个矢量才能跨越三维空间。它们是三维矢量，但不一定能跨越三维平面。 两个二维向量，如（1,0）和（4,1）会跨越一个平面。两个七维向量 （[2,0,9,0,1,4,2]和 （[7,7,0,1,8,4,8]）仍然会跨越平面。 -
我们允许奇异矩阵或任何形状的矩形矩阵，那么 将位于零空间和 之间。
当微积分遇到几何： 美丽的联系
"机器学习"部分终于开始了。在继续阅读之前，请确保您理解了 "正交性"的含义。
当 不在平面上时（=当 不在 的列空间中时）， 无解。因为系统是不一致的。
然而，在现实生活中，我们仍然需要找到一个解，它是 的最佳近似值。因此，我们使用线性回归。99.99%的情况下，数据点 不可能正好位于 所跨的平面上。线性回归会找到一个 ，使数据点 与 所跨的平面 之间的距离最小。换句话说，它能找到最接近数据点的平面。
一个简单的二维示例
方程数量多于未知数数量。→ 无解？
当 、 、 的比为 1:5:3 时，①可解。
当 、 、 的比例不是 1:5:3，我们仍然可以通过最小平方误差来 “求解”（更像是 “拟合”） 。
当存在精确解时，最小误差将为零。然而，在现实生活中， 与 并不完全成正比，(误差)² 的图形将是一条抛物线。
(Error)² 的导数为零的点就是误差最小的地方。
如果你看看步骤④中推导出的 ，它与我们在上一篇文章中推导出的“正态方程”相吻合。
在微积分中，为了找到最小值，我们需要求出 (Error²) 的导数，并将其设为零。
从几何角度看，最小误差线（或平面）与误差向量正交，因此点积为零。
[!note] note 因为它们的点积为零，所以误差向量（ ）必须垂直于 。这将使误差²最小。 在这里，几何证实了微积分！
当我们学习线性回归时，我们通常以分析的方式来学习它；然而，我们也可以用几何的方式来看待它。我认为这是两个概念之间的美妙互动，有助于我们更好地理解它们。
提高你的游戏水平： 三维示例。
让我们把 投射到一个子空间（平面）上，而不仅仅是投射到一条直线上。
找到使 误差 最小的 ，等同于定位列空间中与 中任何其他点相比尽可能接近的 点。
回到 公式 (a)， 现在是一个 3 乘 2 的矩阵，而 是 1 乘 2 的矩阵（不再是标量）。将 视为设计矩阵，其中有三个样本和两个特征。
大多数情况下，样本数（本例中为 3，或任意 ）会远大于特征数（2，或任意 ）。因此，我们认为不会有精确的解决方案。换句话说， 不可能是 列的线性组合。 很可能位于 列空间之外。
[!note] 这是 到位于 的列空间中的点 之间的距离。
寻找误差最小的最小平方解 ( )，与 将点 尽可能靠近列空间中的任何其他点定位是一样的。
所有垂直于列空间的向量都位于左空空间。因此，误差向量 位于 的无效空间中。
微积分和几何为最小二乘问题提供了互补的视角。
几何学与微积分学的完美结合。