行列式 (Determinant)

行列式是矩陣中的一個重要概念，通常用於判斷矩陣是否可逆。如果矩陣的行列式不為零，那麼這個矩陣是可逆的，這在線性代數和機器學習中有著廣泛的應用。例如，在解線性方程組時，若係數矩陣的行列式為零，則無法唯一解出結果。

行列式的計算

對於 $n×n$ 矩陣 $A$，行列式的計算隨著 $n$ 的增大變得複雜。不過，對於 $2×2$ 矩陣來說，行列式非常簡單。

給定矩陣：$A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}$

行列式計算公式為：$\text{det}(A) = ad - bc$

行列式的應用包括矩陣可逆性檢查、矩陣特徵值與特徵向量的計算、以及線性變換的縮放因子等。

向量範數 (Vector Norm)

範數是用來度量向量大小的工具。在機器學習中，範數的概念非常重要，尤其是在優化問題中，範數可以用來約束或正則化模型。例如，在 Lasso 和 Ridge 回歸中，分別使用了$L^1$ 和 $L^2$ 範數來進行正則化。

常見的範數有：

• $L^1$ 範數：即向量的元素絕對值之和。

$$ \|x\|_1 = |x_1| + |x_2| + \cdots + |x_n| $$

• $L^2$ 範數：即向量元素平方和的平方根。

$$ \|x\|_2 = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2} $$

• $L^\infty$ 範數：即向量中元素的最大值。

$$ \|x\|_\infty = \max(|x_1|, |x_2|, \cdots, |x_n|) $$

範數對於衡量向量距離、正則化以及梯度下降算法中的步長調整都具有重要意義。

內積 外積 元素積

內積 (Dot Product)