线性代数Linear
「Deep Learning」读书系列分享第二章：线性代数 | 分享总结 | 雷锋网
标量(scalar) i 0阶张量
一个标量，一个单独的数。其他大部分对象是多个数的数组。_斜体_表示标量。小写变量名称。明确标量数类型。实数标量，令s∊ℝ表示一条线斜率。自然数标量，令n∊ℕ表示元素数目。
向量(vector) A_i 1阶张量
一个向量，一列数。有序排列。次序索引，确定每个单独的数。粗体小写变量名称。向量元素带脚标斜体表示。注明存储在向量中元素类型。如果每个元素都属于R，向量有n个元素，向量属于实数集R的n次笛卡儿乘积构成集合，记ℝⁿ。明确表示向量元素，元素排列成一个方括号包围纵列。
我们可以把向量看作空间中的点,每个元素是不同坐标轴上的坐标。索引向量元素，定义包含元素索引集合，集合写在脚标处。用符号-表示集合补集索引。
矩阵(matrix) A_i_j 2阶张量
一个二维数组。每个元素由两个索引确定。粗体大写变量名称。如果实数矩阵高度为m，宽度为n，A∊ℝ⁽m*n⁾。表示矩阵元素，不加粗斜体形式名称，索引逗号间隔。A1,1表示A左上元素，Am,n表示A右下元素。“:”表示水平坐标，表示垂直坐标i中所有元素。Ai,:表示A中垂直坐标i上一横排元素，A的第i行(row)。右下元素。A:,i表示A的第i列(column)。明确表示矩阵元素，方括号括起数组。矩阵值表达式索引，表达式后接下标，f(A)i,j表示函数f作用在A上输出矩阵第i行第j列元素。
张量(tensor) A_i_j_k...
超过两维的数组。一个数组中元素分布在若干维坐标规则网络中。A表示张量“A”。张量A中坐标(i,j,k)元素记Ai,j,k。
矩阵叉乘积(matrix product) 结果是矩阵
两个矩阵A、B矩阵乘积(matrix product)是第三个矩阵C。矩阵A列数必须和矩阵B行数相等。如果矩阵A的形状mn，矩阵B的形状是np，矩阵C的形状是m*p。两个或多个矩阵并列放置书写矩阵乘法。C=AB。Ci,j=Sumk(Ai,kBk,j)。列乘行。两个矩阵对应元素乘积，元素对应乘积(element-wise product)，Hadamard 乘积(Hadamard product)，记A⊙B。
矩阵点积(dot product) 结果是标量
两个相同维数向量x、y点积(dot product)，矩阵乘积x⫟y。矩阵乘积C=AB计算Ci,j步骤看作A第i行和B的第j列间点积。矩阵乘积服从分配律(A(B+C)=AB+AC)、结合律(A(BC)=(AB)C)。不满足交换律(AB=BA)。两个向量点积满足交换律x⫟y=y⫟x。矩阵乘积转置 (AB)⫟=B⫟A⫟。两个向量点积结果是标量，标量转置是自身，x⫟y=(x⫟y)⫟=y⫟x。Ax=b，A∊ℝ⁽m*n⁾是已知矩阵，b∊ℝ⁽m⁾是已知向量，x∊ℝⁿ是求解未知向量。向量x每个元素xi都未知。矩阵A第一行和b中对应元素构成一个约束。
线性无关
指的是，向量组中的（任意）一个向量无法用向量组中其他向量的线性组合表示出来。换句话说，向量组中的每一个向量都为向量组所张成的空间贡献了一个维度，每一个向量都缺一不可，少了任何一个向量，都会改变向量组所张成的空间
张成(span)
- 动词； 有构造，生成，长成的意思，张成的空间(用于描述一组基向量所能组成的全部空间，比如一组二维基向量可以描述整个平面，一个三维基向量可以描述整个三维空间等。) 属于基向量的子空间
- 所谓张成，如一组基张成一个空间，前者是向量基后者是空间， 一般强调后者，并且前后中心词不是同一类别。
- 基向量 v, w 的 全部线性组合 所构成的向量集合称为向量 v, w 所张成的空间
- 在线性代数中，如果把向量的起点始终固定在原点的位置，则向量的终点就唯一确定了向量本身。这样，我们便可以将向量看成是空间中的点（即向量的终点）。
但是在V（n维向量空间）中包含这组向量的最小子空间不就是仅有该向量自己的集合？
搞混了集合（set）和向量空间（linear space）。
不严谨的讲，可以理解为：向量空间=数域+向量集合+运算。
其中运算包括1)向量的加法；2)向量与数域中标量的乘法。（此处略去一堆运算需满足的条件）
因此一组向量span出的子空间不但包括这组向量，还包括这组向量的加法和标量乘法运算得到的向量，也就是这组向量的线性组合。
向量的基
向量空间的一组基 是 张成 该空间的一个 线性无关 向量集
向量空间
由基向量所张成的空间就是向量空间
线性代数要解的基本方程组是
Ax = b
其完整的矩阵形式为：
对这三个矩阵A，x和b的研究着重点不同，形成了三种方法：
1、着重于解x，即在A和b给定的情况下如何求出x。 这时的注意力是放在研究线性方程的解的存在性和唯一性，探讨在各种A时解x的基本形式和计算方法。因为是从联立方程的角度来研究的，所以涉及矩阵A的处理方法主要是行向，包括行阶梯简化等。
2、着重于系数矩阵A的性质和几何意义。 此时把矩阵A中的各列分别看作向量，把矩阵方程左端看作n个向量的线性组合：
即
系数
中各个列向量张成了r（r<=n）维空间。x1，x2，···，xn被视为各向量的系数。从这里出发研究线性空间、子空间、解空间、正交向量等概念。
3、将常数数组b看作变量数组y，研究变换A作用于x产生的映射结果y = Ax。 研究线性变换对几何图形产生的效果。探索各种变换的特征以及选择所需要变换的方法。虽然变换的几何意义最为形象，但现在变换的概念已经大大地扩展了。可以把一个向量空间变换为另一个物理意义完全不同的向量空间。