矩阵/向量的范数

来自吴恩达深度学习第二周作业第一部分和三位图灵奖获得者的著作花书《Deep Learning》。

# GRADED FUNCTION: normalizeRows
import numpy as np

def normalizeRows(x):
    """
    Implement a function that normalizes each row of the matrix x (to have unit length).
    
    Argument:
    x -- A numpy matrix of shape (n, m)
    
    Returns:
    x -- The normalized (by row) numpy matrix. You are allowed to modify x.
    """
    
    ### START CODE HERE ### (≈ 2 lines of code)
    # Compute x_norm as the norm 2 of x. Use np.linalg.norm(..., ord = 2, axis = ..., keepdims = True)
    x_norm = np.linalg.norm(x, axis=1, keepdims = True)

    x = x / x_norm

    return x

其中ord指定范数的阶数。

范数简述

我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。

范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。

即表示一种到坐标原点距离的度量。

例如：二阶范数(也称L2范数)是最常见的范数，即欧几里得距离。

$L^p Lpnorm$

∣

(

∑

(

)

||x||_p=(sum_i(x_i)^p)^{frac{1}{p}}

$∣ ∣ x ∣ ∣_{p} = (i \sum (x_{i})^{p})^{\frac{1}{p}}$

更加严谨的定义：

范数即为满足以下三个性质的函数：

(

)

⇒

f(x)=0Rightarrow x=0

$f (x) = 0 \Rightarrow x = 0$

(

)

≤

(

)

(

)

f(x+y) leq f(x)+f(y)

$f (x + y) \leq f (x) + f (y)$ (the triangle inequality)

∀

∈

(

)

∣

(

)

forall alpha in mathbb{R},f(alpha x)=|alpha|f(x)

$\forall α \in R, f (α x) = ∣ α ∣ f (x)$

Euclidean norm $L^2 norm L2norm$

∣

(

∑

(

)

||x||_2=sqrt{(sum_i(x_i)^2)}

$∣ ∣ x ∣ ∣_{2} = (i \sum (x_{i})^{2})$

当

p = 2

$p = 2$ 时，

L_2

$L_{2}$ 范数被称为欧几里得范数（Euclidean norm）。它表示从原点出发到向量x 确定的点的欧几里得距离。

L_2

$L_{2}$ 范数在机器学习中出现地十分频繁，经常简化表示为

∥

∥x∥

$∥ x ∥$ ，略去了下标2。平方

L_2

$L_{2}$ 范数也经常用来衡量向量的大小，可以简单地通过点积

⊤

x^⊤x

$x^{⊤} x$ 计算。
平方

L_2

$L_{2}$ 范数在数学和计算上都比

L_2

$L_{2}$ 范数本身更方便。例如，平方

L_2

$L_{2}$ 范数对x 中每个元素的导数只取决于对应的元素，而

L_2

$L_{2}$ 范数对每个元素的导数却和整个向量相关。但是在很多情况下，平方

L_2

$L_{2}$ 范数也可能不受欢迎，因为它在原点附近增长得十分缓慢。

$L_1 L1 norm$

在某些机器学习应用中，区分恰好是零的元素和非零但值很小的元素是很重要的。在这些情况下，我们转而使用在各个位置斜率相同，同时保持简单的数学形式的函数：

L_1

$L_{1}$ 范数。

L_1

$L_{1}$ 范数可以简化如下:

∣

∑

||x_1||=sum_i{x_i}

$∣ ∣ x_{1} ∣ ∣ = i \sum x_{i}$
当机器学习问题中零和非零元素之间的差异非常重要时，通常会使用

L_1

$L_{1}$ 范数。每当x 中某个元素从0 增加ϵ，对应的

L_1

$L_{1}$ 范数也会增加ϵ。

$L_0 L0 norm$

有时候我们会统计向量中非零元素的个数来衡量向量的大小。有些作者将这种函数称为"

L_0

$L_{0}$ 范数"，但是这个术语在数学意义上是不对的。向量的非零元素的数目不是范数，因为对向量缩放

alpha

$α$ 倍不会改变该向量非零元素的数目。因此，

L_1

$L_{1}$ 范数经常作为表示非零元素数目的替代函数。

$L_infty L∞$

另外一个经常在机器学习中出现的范数是

∞

L_infty

$L_{\infty}$ 范数，也被称为最大范数（maxnorm）。这个范数表示向量中具有最大幅值的元素的绝对值：

∣

∞

∣

||x_{infty}||=max_i|x_i|

$∣ ∣ x_{\infty} ∣ ∣ = m a x_{i} ∣ x_{i} ∣$

Frobenius norm

有时候我们可能也希望衡量矩阵的大小。在深度学习中，最常见的做法是使用Frobenius 范数（Frobenius norm）,

∣

∑

||A||_F=sqrt{sum_{i,j}A^2_{i,j}}

$∣ ∣ A ∣ ∣_{F} = i, j \sum A_{i, j}^{2}$

其类似于向量的

L_2

$L_{2}$ 范数。

点积使用范数来表示

两个向量的点积（dot product）可以用范数来表示。具体地，

⊤

∣

x^⊤y=||x||_2||y||_2cos heta

$x^{⊤} y = ∣ ∣ x ∣ ∣_{2} ∣ ∣ y ∣ ∣_{2} c o s θ$
其中

heta

$θ$ 表示x和y之间的夹角。

参考资料

http://www.deeplearningbook.org/

矩阵/向量的范数

范数简述

L p L^p Lpnorm

Euclidean norm L 2 n o r m L^2 norm L2norm

L 1 L_1 L1​ norm

L 0 L_0 L0​ norm

L ∞ L_infty L∞​