函数空间一览：从线性空间到再生核希尔伯特空间

文章目录

  • 0. 基础概念
    • 0.1 代数系统
    • 0.2 数域
    • 0.3 完备的空间
  • 1. 线性空间/向量空间
  • 2. 度量空间
  • 3. 赋范向量空间
  • 4. 内积空间
  • 5. 巴拿赫空间
  • 6. 希尔伯特空间
  • 7. 再生核希尔伯特空间
  • 8. 总结

0. 基础概念

  • 常见的各种函数空间本质都是定义在数域上的特殊代数系统，先补充基础概念

0.1 代数系统

  • 代数系统是一个定义了一些运算和一些规则集合，其中包含
    1. 一组给定元素(element)组成集合（这个集合是代数系统的本体，元素可以是任何东西：数、函数、矩阵…）
    2. 一组 well define 的运算(operation)（well define 指运算的结果一定是唯一的，即所有 operation 都是合法的函数映射）
    3. 运算的计算规则(rules of operation)（可以用来进行推理）

0.2 数域

  • 数域 FFF是至少包含 000 和 111 的一组数，并且在加、减、乘、除下是封闭的，即满足以下性质:
    ∀a∈F,−a∈F∀b∈F,b≠0,b−1∈F∀a,b∈F,a+b∈F,∀a,b∈F,a⋅b∈F\begin{aligned} &\forall a \in F, &&-a\in F \\ &\forall b \in F, b\neq 0, &&b^{-1} \in F \\ &\forall a,b \in F, &&a+b\in F, \\ &\forall a,b \in F, &&a·b\in F \end{aligned} ​∀a∈F,∀b∈F,b=0,∀a,b∈F,∀a,b∈F,​​−a∈Fb−1∈Fa+b∈F,a⋅b∈F​

0.3 完备的空间

  • 粗略但是直观的说，完备是指空间中没有任何遗漏的点。所谓 “没有遗漏” 需要用 “距离” 来理解。以实数空间 R\mathbb{R}R 为例，其中距离定义为两元素差的绝对值，这时 “没有任何遗漏的点” 就是说任何一个点在与它距离趋近为 0 的地方都存在一个点，并且这个点是 R\mathbb{R}R 中的，可见实数空间是完备的
  • 形式化一点定义，一个空间是完备的当且仅当空间中的任何柯西序列都收敛在该空间之内，柯西序列是指一个这样一个序列，它的元素随着序数的增加而愈发靠近，如下图所示
    在这里插入图片描述
  • 如果一个空间是完备的，则它对极限操作封闭，这是空间完备性的主要意义

1. 线性空间/向量空间

  • 线性空间linear space：定义在数域 FFF 上的代数系统 V≠∅V\neq \emptyV=∅ 有加法(addition) 和 数乘(scalar multiplication) 两个 operation，如果 VVV 含有零元、负元、幺元等特殊元素；operation 都封闭的且满足八条运算规则，则该代数系统称为线性空间。具体而言，要求

    1. closure properties（封闭性）：
      1. ∀α,β∈V,α+β∈V\forall \alpha,\beta \in \pmb{V}, \alpha+\beta \in \pmb{V}∀α,β∈VV,α+β∈VV is unique
      2. ∀k∈F,α∈V,k⋅α∈V\forall k \in \pmb{F}, \alpha\in \pmb{V},\space k·\alpha\in \pmb{V}∀k∈FF,α∈VV, k⋅α∈VV is unique
      在这里插入图片描述

      说明：这里的加法运算 addition 没有什么要求，可以定义任意 V\pmb{V}VV 上的运算作为 “addition”，但是数乘运算 scalar multiplication 要求必须是从数域 F\pmb{F}FF 中取一个数和 V\pmb{V}VV 中元素做数乘，Linear space V\pmb{V}VV over a filed F\pmb{F}FF 指的就是这个。封闭性要求这两个运算的结果都在 V\pmb{V}VV 中

    2. The addition axioms（加法公理）：
      在这里插入图片描述

    3. The scalar multiplication axioms（乘法公理）：
      在这里插入图片描述

    4. 特殊元素：

      元素 性质
      加法零元 (zero element) （0∈V\pmb{0} \in \pmb{V}00∈VV） ∀α∈V,0+α=α\forall \alpha \in \pmb{V}, \space \pmb{0}+\alpha = \alpha∀α∈VV, 00+α=α
      加法负元 (additive inverse)（−α∈V-\alpha \in \pmb{V}−α∈VV） ∀α∈V\forall \alpha \in \pmb{V}∀α∈VV，∃−α∈V\exists -\alpha\in\pmb{V}∃−α∈VV，S.t. α+(−α)=0\alpha+(-\alpha) = \pmb{0}α+(−α)=00
      乘法幺元 (unit element)（ 1∈F1 \in \pmb{F}1∈FF ） ∀α∈V,1⋅α=α\forall \alpha \in \pmb{V}, \space 1·\alpha = \alpha∀α∈VV, 1⋅α=α
  • 注意上面定义的运算就是一般所说的 线性运算（加法+数乘，就是线性代数里那种 “线性”），注意下面的逻辑
    1. 利用线性运算，可以得到对于集合元素的线性表示、线性相关/无关等概念
    2. 进一步能定义出关于集合元素的基、维数、坐标等概念
    3. 任意给定一组基，线性空间 VVV 中的所有元素都能和其坐标一一对应，这等价于一个把所有元素替换为其坐标的新线性空间。也就是说，无论线性空间中的元素是什么（数、函数、矩阵…），都能将其等价地变化为一个以 “数的向量” 为元素的线性空间，因此线性空间linear space也称为向量空间vector space，这两个是一回事

2. 度量空间

  • 度量空间metric space：是定义了距离operation的集合：设 VVV 是任意集合，定义 距离 为函数 d(x,y):V×V→Rd(x,y): V\times V\to \mathbb{R}d(x,y):V×V→R，∀x,y∈V\forall x,y \in V∀x,y∈V 满足
    正定性：d(x,y)≥0且 d(x,y)=0⇔x=y对称性：d(x,y)=d(y,x)三角不等式：d(x,y)≤d(x,z)+d(z,y)\begin{aligned} 正定性：&d(x, y) \geq 0 \space且\space d(x, y)=0 \Leftrightarrow x=y\\ 对称性：&d(x, y)=d(y, x) \\ 三角不等式：&d(x, y) \leq d(x, z)+d(z, y) \end{aligned} 正定性：对称性：三角不等式：​d(x,y)≥0 且 d(x,y)=0⇔x=yd(x,y)=d(y,x)d(x,y)≤d(x,z)+d(z,y)​
    1. 定义了距离的线性空间称为 线性度量空间
  • 直观上看，度量空间是定义了 “元素间距离” 概念的集合

3. 赋范向量空间

  • 赋范向量空间Normed vector space是定义了范数operation的向量空间：设 VVV 是数域 FFF 上的线性空间，定义范数为函数 ∣∣⋅∣∣:V→R||·||: V\to \mathbb{R}∣∣⋅∣∣:V→R，∀x,y∈V,∀a∈F\forall x,y \in V, \forall a\in F∀x,y∈V,∀a∈F 满足
    正定性：∣∣x∣∣≥0且 ∣∣x∣∣=0⇔x=0三角不等式：∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣正齐次性：∣∣ax∣∣=∣a∣∣⋅∣x∣∣\begin{aligned} 正定性：&||x|| \geq 0 \space且\space ||x|| =0 \Leftrightarrow x=\pmb{0}\\ 三角不等式：&||x+y|| \leq ||x||+||y|| \\ 正齐次性：&||ax|| = |a||·|x|| \end{aligned} 正定性：三角不等式：正齐次性：​∣∣x∣∣≥0 且 ∣∣x∣∣=0⇔x=00∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣∣∣ax∣∣=∣a∣∣⋅∣x∣∣​
    1. 从范数的定义中可见数乘 axa xax 和加法 x+yx+yx+y 都封闭，因此赋范向量空间一定是特殊的线性空间
    2. 可以用范数定义距离：d(x,y):=∣∣x−y∣∣d(x,y) := ||x-y||d(x,y):=∣∣x−y∣∣，因此赋范向量空间都可以（定义距离后）成为度量空间
    3. 具有完备性的赋范向量空间称为巴拿赫空间
  • 直观上看，赋范向量空间是定义了 “元素自身长度” 概念的向量空间

4. 内积空间

  • 内积空间Inner product space是定义了内积operation的向量空间：设 VVV 是数域 FFF 上的线性空间，定义 内积 为函数 (x,y):V×V→R(x,y): V\times V\to \mathbb{R}(x,y):V×V→R，∀x,y,z∈V,∀a∈F\forall x,y,z \in V, \forall a\in F∀x,y,z∈V,∀a∈F 满足
    对称性：(x,y)=(y,x)可加性：(x+y,z)=(x,z)+(y,z)齐次性：(ax,y)=a(x,y)正定性：(x,x)≥0且 (x,x)=0⇔x=0\begin{aligned} &对称性：(x, y)=(y, x) \\ &可加性：(x+y, z)=(x, z)+(y, z) \\ &齐次性：(a x, y)=a(x, y) \\ &正定性：(x, x) \geq 0 \text { 且 }(x, x)=0 \Leftrightarrow x=\mathbf{0} \end{aligned} ​对称性：(x,y)=(y,x)可加性：(x+y,z)=(x,z)+(y,z)齐次性：(ax,y)=a(x,y)正定性：(x,x)≥0 且 (x,x)=0⇔x=0​
    1. 从内积的定义中可见数乘 axa xax 和加法 x+yx+yx+y 都封闭，因此内积空间一定是特殊的线性空间
    2. 可以用内积定义范数：∣∣x∣∣:=(x,x)||x|| := \sqrt{(x,x)}∣∣x∣∣:=(x,x)​，因此内积空间都可以（定义范数后）成为赋范向量空间
    3. 利用内积可在空间中建立欧几里得几何学，例如交角、垂直和投影等，故习惯上称二维或三维的内积空间为欧几里得空间，内积空间是欧几里得空间的一般化
    4. 具有完备性的内积空间称为希尔伯特空间
  • 直观上看，内积空间是定义了 “元素间夹角” 概念的向量空间

5. 巴拿赫空间

  • 巴拿赫空间Banach space 是完备的赋范向量空间，具体而言，巴拿赫空间对其范数诱导的距离度量是完备的

6. 希尔伯特空间

  • 希尔伯特空间Hilbert space是完备的内积空间，具体而言
    1. 希尔伯特空间中内积诱导的范数构成一个巴拿赫空间
    2. 即希尔伯特空间对这个 “内积诱导的范数” 所诱导的距离度量是完备的（巴拿赫空间定义）
  • 希尔伯特空间是一个函数空间，即空间中每个元素都是一个函数，完备意味着对这些函数取极限后还在空间内

    Note：离散函数可以看做有限维向量；连续函数可以看做无限维向量

7. 再生核希尔伯特空间

  • 这里涉及到 SVM 中常用的核函数，核函数的想法简单说就是
    1. 考虑分类问题，根据 Cover 定理，将数据映射到越高维度的空间，就越容易找出线性分离超平面将其线性分类。这样就能用合适的映射函数 ϕ(x)\phi(x)ϕ(x) 将输入空间中的样本 xxx 映射到高维特征空间，再用线性 SVM 分类器进行分类
    2. 求解线性 SVM 对偶问题时，会发现最终的分离超平面和判别函数都只涉及输入样本特征向量之间的内积，而计算大量形如 ϕ(xi)Tϕ(xj)\phi(x_i)^T\phi(x_j)ϕ(xi​)Tϕ(xj​) 的高维内积复杂度太高
    3. 所谓核函数，就是一个无穷维的二维函数，直接满足 K(x,z)=ϕ(x)Tϕ(z)K(x,z) = \phi(x)^T\phi(z)K(x,z)=ϕ(x)Tϕ(z)
  • 利用核函数可以大幅降低计算复杂度，但是正向找出合适的映射函数 ϕ\phiϕ 来构成 KKK 很困难，我们通常会根据判定核函数的充分条件直接得到符合定义的核函数 KKK，确定核 KKK 后，我们就能用一定的方法构造出它对应的一组映射函数 ϕ\phiϕ 和它映射到的希尔伯特空间 H\mathcal{H}H，核 KKK 在空间 H\mathcal{H}H 中具有 “再生性”，即有
    ⟨K(⋅,x),K(⋅,z)⟩=K(x,z)\langle K(\cdot,x),K(\cdot,z)\rangle = K(x,z) ⟨K(⋅,x),K(⋅,z)⟩=K(x,z) 因此这个 H\mathcal{H}H 称为 “再生核希尔伯特空间”
  • 一句话说，再生核希尔伯特空间是由给定核函数根据一定方式构造出的希尔伯特空间，详细说明请参考 经典机器学习方法（6）—— 非线性支持向量机器与核技巧 1.2 节

8. 总结

  • 总结一下上面说的所有空间
    在这里插入图片描述
    1. 线性空间 = 定义了加法和数乘操作的集合，满足封闭性和8条性质
    2. 度量空间 = 定义了距离操作的集合
    3. 赋范向量空间 = 范数 + 线性空间（范数可以诱导度量）
    4. 内积空间 = 内积 + 线性空间（内积可以诱导范数）
    5. 欧几里得空间 = 二维或三维的内积空间
    6. 巴拿赫空间 = 完备 + 赋范向量空间
    7. 希尔伯特空间 = 完备 + 内积空间
    8. 再生核希尔伯特空间 = 从核函数构造出的希尔伯特空间

查看全文

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.dgrt.cn/a/64823.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章：

在这里插入图片描述

函数空间一览：从线性空间到再生核希尔伯特空间

文章目录0. 基础概念0.1 代数系统0.2 数域0.3 完备的空间1. 线性空间/向量空间2. 度量空间3. 赋范向量空间4. 内积空间5. 巴拿赫空间6. 希尔伯特空间7. 再生核希尔伯特空间8. 总结0. 基础概念
常见的各种函数空间本质都是定义在数域上的特殊代数系统，先补充基础概念……

编程日记2022/10/8 16:17:26

jmeter常用函数记录

1.__time 获取时间戳，格式化时间。 ${__time(yyyy-MM-dd HH:mm:ss:SSS,time)} 格式化生成时间格式为 ：2022-10-08 14:18:20:220 ${__time(,)} 默认该公式精确到毫秒级别，13位数：1665209657331 ${__time(/1000,)} 该公式精确到秒级……

编程日记2022/10/8 16:16:53

网络原理 | 协议分层(OSI七层模型、TCP/IP五层模型)、封装和分用

目录
协议分层
OSI七层模型
TCP/IP五层模型
网络设备所在的分层
封装和分用 协议分层
对于网络协议来说，通常会分成几个层来定义.网络分层类似于面向接口编程，定义好两层间的规范，让双方对照这个接口来对接
OSI七层模型 Open System I……

编程日记2022/10/8 16:16:18

Flume中 File Channel 的优化

Flume中 File Channel 的优化 文章目录Flume中 File Channel 的优化[toc]File Channel 的特点File Channel 的优化索引索引备份Flume官方优化设计概述（Overview）设计（Design）FileChannel的实现（Implementation&#xf……

编程日记2022/10/8 16:15:40

ffpmeg压力测试

ffpmeg压力测试
1台电脑推流到房间a ffmpeg将视频进行处理后推流到房间b 抓取另一个房间b的流进行播放
原始推流为rtmp格式的流 ffmpeg不做任何转码，只做拼接和推流，且去掉了声音
测试方式1:同一个房间
1路流
ffmpeg -i http://192.168.123.4:7001/……

编程日记2022/10/8 16:15:02

IDEA中——Code Review Helper的安装和使用

目录 1. 在IDEA安装插件中搜索code review helper，然后安装该插件，安装完成后重启IDEA
2. 重启后，在IDEA下方可以看到有一个CodeReview的选项卡菜单
3. 生成代码检视结果
4. 问题的确认和修改
5. VsCode中——Code Review插件的安装和使用……

编程日记2022/10/8 16:14:30

非实用性 NFT 将卷土重来吗？

Sept.2022, Daniel
Data Source: Footprint Analytics – Non-Utility NFT Projects 实用性NFT是一种提供某种实用性或功能的代币。例如，存储在 NFT 上的数字艺术文件可以作为壁纸使用或作为收藏品的一部分出售。在游戏中，实用 NFT 可能被用来代表游戏中……

编程日记2022/10/8 16:13:51

Linux常见指令（三）

Linux的常见指令大范围查找指定文件——find指令（常用选项）搜索命令路径——which指令指令重命名——alias指令在特定路径下查找指定文件——whereis指令在文本中找字符串，并且打印行——grep指令（常用选项）与grep配合……

编程日记2022/10/8 16:13:16

WEB自动化测试（09） —— Cypress 测试报告

9 测试报告 一份好的测试报告，可以很直观的看出整个测试过程的各种数据。而Cypress的测试报告是基于Mocha，因此任何支持Mocha的测试报告都可以应用于Cypress。但实际上，Cypress默认使用spec输出测试报告。如果不想使用自带的测试报告&#xf……

编程日记2022/10/8 16:12:42

异常的捕获与处理

前言：
大部分学自狂神说和课本的一些内容，仅供学习和参考，无任何商业行为。笔者水平有限，错漏之处在所难免，还请朋友们批评指正。 文章目录前言：异常概念异常类型系统错误–Error类可控式异常–Exception类……

编程日记2022/10/8 16:11:28

反序列化渗透与攻防(五)之shiro反序列化漏洞

Shiro反序列化漏洞
Shiro介绍
Apache Shiro是一款开源安全框架，提供身份验证、授权、密码学和会话管理。Shiro框架直观、易用，同时也能提供健壮的安全性
Apache Shiro 1.2.4及以前版本中，加密的用户信息序列化后存储在名为remember-me的Cookie中。攻击者可以使用Shiro的默……

编程日记2023/4/16 14:52:13

vue2+vue3

vue2vue3尚硅谷vue2vue2 课程简介【02:24】vue2 Vue简介【17:59】vue2 Vue官网使用指南【14:07】vue2 搭建Vue开发环境【13:54】vue2 Hello小案例【22:25】了解： 不常用常用：id 更常用 简单class差值总结vue 实例vue 模板 ： 先 取 &#xff0……

编程日记2023/4/16 14:52:00

【hello Linux】环境变量

目录 1. 环境变量的概念 2. 常见的环境变量 3. 查看环境变量 4. 和环境变量相关的命令 5. 环境变量的组织方式 6. 通过代码获取环境变量 7. 通过系统调用获取环境变量 Linux🌷 在开始今天的内容之前，先来看一幅图片吧！ 不知道你们是否和我一……

编程日记2023/4/16 14:51:36

【Linux基础】常用命令整理

ls命令
-a选项，可以展示隐藏的文件和文件夹-l选项，以列表形式展示内容-h，需要和-l搭配使用，可以展示文件的大小单位ls -lah等同于la -a -l -h
cd命令（change directory）
语法：cd [Linux路径]……

编程日记2023/4/16 14:51:26

客快物流大数据项目（一百一十二）：初识Spring Cloud

文章目录
初识Spring Cloud
一、Spring Cloud简介
二、SpringCloud 基础架构图…

编程日记2023/4/16 14:51:11

C和C++中的struct有什么区别

区别一： C语言中： Struct是用户自定义数据类型（UDT）。 C语言中： Struct是抽象数据类型（ADT），支持成员函数的定义。
区别二：
C中的struct是没有权限设置的&#xff0c……

编程日记2023/4/16 14:50:59

docker的数据卷详解

数据卷 数据卷是宿主机中的一个目录或文件，当容器目录和数据卷目录绑定后，对方修改会立即同步
一个数据卷可以同时被多个容器同时挂载，一个容器也可以被挂载多个数据卷
数据卷作用：容器数据持久化 /外部机器和容器间接通信 /容器……

编程日记2023/4/16 14:50:50

13、Qt生成dll-QLibrary方式使用

Qt创建dll，使用QLibrary类方式调用dll
一、创建项目
1、新建项目->其他项目->Empty qmake Project->Choose 2、输入项目名，选择项目位置，下一步 3、选择MinGW，下一步 4、完成 5、.pro中添加TEMPLATE subdirs&#xff……

编程日记2023/4/16 14:50:38

基于mapreduce 的 minHash 矩阵压缩

Minhash作用： 对大矩阵进行降维处理，在进行计算俩个用户之间的相似度。
比如： 俩个用户手机下载的APP的相似度，在一个矩阵中会有很多很多的用户要比较没俩个用户之间的相似度是一个很大的计算任务 如果首先对这个矩阵降维处理&am……

编程日记2023/4/16 14:50:37

关于hashmap使用迭代器的问题

keySet获得的只是key值的集合，valueSet获得的是value集合，entryset获得的是键值对的集合。 package com.test2.test;import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
import java.util.Map.Entry;public class mapiterator……

编程日记2023/4/16 14:50:37

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注