智能计算与最优化 期末总结

人工智能(背)

人工智能定义:

    计算机科学中 研究、设计、应用 智能机器一分支,旨在研究 用机器模仿、执行人脑某些智力功能,并开发理论技术 智能机器 所执行的 通常与人类智能 有关的 智能行为,如判断,推理,证明等 思维活动
☆★背★☆ AI定义: 一是 计科 中 研究智能机器一分支,用机器模仿人脑 二是 执行人类智能 有关行为:判断,推理等

人工三学派(主义):

    符号/逻辑/计算机学派: 原理为 物理符号系统假设、有限合理性原理 联结/仿生学派/生理学派: 原理为 神经网络、神经网络间连接机制、学习算法 行为/进化/控制论学派: 原理为 控制论、感知、行动
☆★背★☆ 人工三学派主义: 1符号、2联结、3行为 符号 就是 物理符号,就是 物理符号系统假设、有限合理性 原理 联结 就是 神经网络、连接机制、学习算法 行为 就是 控制论、感知、行动 ☆★背★☆ 机器学习:(自动获取新事实、新推理算法)使计算机 具有智能 的 根本途径 人工神经网络:集 脑科学、神经心理学、信息科学等多学科 交叉研究领域 ​ 研究 人脑组成机理、思维方式,探索人类智能奥秘,进而模拟人脑结构 ​ 应用:模式识别、图像处理、组合优化、自动控制、信息处理

计算智能研究 主要问题:

    学习: 搜索: 推理:
☆★背★☆ 计算智能 研究问题: 1学习、2搜索、3推理 感知机

简介

\[ w_n ... w_n \ 权重(权重因子,信号接收单元) \] \[ x_0 ... x_n \ 输入(特征数据,输入信号) \] \[ z = w_0x_0 + w_1x_1 + w_2x_2 + w_3x_3 + ... + w_nx_n \] 单层感知器每次迭代,更新权重weight,是使用单个标本,依次进行计算梯度,更新权重, 而逻辑回归中,使用所有样本计算梯度,然后更新梯度 学习率lr(learnRate)即每次迭代的步长step 只有当预测值,与期望值(目标值/真实值) 不同时,即不正确时,我们才更新权重 感知机的基本数学原理, 既是逻辑回归/线性回归,其实就是大学物理实验中的实验数据处理,数据拟合和类似最小二乘法的误差分析: 矩阵的乘法:行*列 Eg:
\[ y_0 = w_0 x_0^{(1)} + w_0 x_1^{(1)} + w_0 x_2^{(1)} + w_0 x_3^{(1)} + ... + w_0 x_n^{(1)} \]
即, \(w \cdot x\) 做向量内积(点乘) 为了使拟合或分类效果最好,需要求一组 \(w\) ,要求方差最小即下式最小, $ y $ 为预测数据 (i)为第i个样本,下标为特征 线性回归或逻辑回归的目的是 根据已有数据发现规律或抽象,建立相应模型, 最终目的是利用模型进行预测;机器学习算法就是一种事物规律建模技术。 训练机器学习算法,并用其对新的数据进行预测或分类。

结构图(背)

数学公式(背):

整合函数就为 感知器模型表示为 其实就是:
$
输入x,  权重w,  输出y \
z = w_1x_1 + w_2x_2 + ... + w_n*x_n \
y = u(z) \ u(z) 为激活函数 \ 最后形成了复合函数: \
y = u(w_1x_1 + w_2x_2 + ... + w_n*x_n) \
$ 激活函数为符号函数

误差函数(损失函数)

    0-1损失函数(0-1 Loss Function):主要用于感知机
    均方误差损失函数(mean square error, MSE)
除以训练样本个数 是为了 得出单个样本衡量标准,除以2是为了方便求导,约去1/2 感知机使用 阶跃函数: 朴素感知机: 激活函数 是 跃迁函数 用阶跃函数做激活函数,激活函数用于根据 \(wx\) 输入信号产生输出分类结果 因为单层感知器输出是二值, 所以我们需要使用阶跃函数来化为二值

权值更新(背)

补充

自适应线性神经元与学习的收敛性

其采用线性激活函数: 那么, 权重更新采用梯度下降法 梯度法(最速下降法)(能求解)

公式

基本迭代格式(背)

\[ x_{k+1} = x_k + t_k p_k \] 我们 总是考虑 从点 \(x_k\) 出发,沿方向 \(p_k\) ,使得目标函数 \(f\) 下降最快, 由微积分知识得, 点 \(x_k\) 的负梯度方向:
\[ p_k = - \bigtriangledown f(x_k) \]
是从 点 \(x_k\) 出发使 \(f\) 下降最快方向,称此方向为 \(f\) 在点 \(x_k\) 处的最速下降方向 神经网络(重点) TODO:

梯度下降(背)

这里使用 最小二乘(LSM) 作为 损失函数
\[ E(w, b) = \frac{1}{2}\sum_{n=1}^N (y_{predict} - y_{real})^2 \]
PS: 没有必要过分纠结 乘以 1/2 的问题,只要达到损失函数的目的即可(乘以常数对函数增减性无影响: E取得最小时w,b,2E 也取得最小),这里是为了求偏导时正好约去前面的1/2 TODO:

激活函数

激活函数 的 类型(背)

感知器 模型中,激活函数 是 取值 [-1, 1] 间 的单增函数, 常见 可取 如下 3种类型,每一种类型 各自决定 神经元输出特征

1. 符号函数

2. 分段线性函数

PS: 很多 机器学习 使用的 分段函数

3. Sigmoid 函数

Sigmoid 函数 是一类 单增、光滑 且 具有 渐近 性质 的函数, 如 Logistic 函数: 如 双曲正切函数: 这一类激活函数具有解析上的优点且具有一定的神经生理学特征

补充

    sigmoid函数
    tanh 函数(双曲正切)
    ReLU函数

误差函数(背)

注意:上图中: 错误: \(W^{(1)} \ 为权重, \ W^{(2)} \ 为阈值b\) 正确: \(W^{(1)} \ 为第一层权重(向量), \ W^{(2)} \ 为第二层权重(向量)\) 上图处 忽略了 b \[ E(w, b) = \frac{1}{2}\sum_{n=1}^N (y_{predict} - y_{real})^2 \] ☆★背★☆ 单层网的误差函数: ## 前向计算 若有多层隐含层,则是 复合函数 嵌套多层而已, 而反向传播 则是 复合函数 逆过程

反向传播

反向传播 就是 对 误差函数E 分别对各个权重w, 和阈值b 求偏导,使得 E 最小 反向传播 更新权重:
\[ w_{ki}' \; = \; w_{ki} - \; \alpha \frac {\partial loss} {\partial w_{ki}} \\\\ \alpha \ 为 学习率,也称步长,通常取小 0.1 \\\\ - \frac {\partial loss} {\partial w_{ki}} \ 为 梯度反方向,求解方向 \] PS:我们经常 在代码实现中,将阈值b 放到权重矩阵最后一列(增加一列,此列为权重b),就像增广矩阵,所以实际做反向传播运算时,对阈值b求偏导,就和对w求导放到一起了,前向计算也是如此,你会发现,前向计算公式 就是输入矩阵与权重矩阵的矩阵乘法 若要分开更新w、b,则如下: 当然,简单的话,也可以不更新阈值b 一条链接上 对应 一权重w,而通常,一层才对应一阈值b,有多少层的权重需要b,则有多少个b bias 有两种方式:
    论层调 论个体参数调
遗传算法

流程(背)

☆★背★☆
    计算适应度
适应度 由 适应函数,若求最大值,可取 目标函数
    选择
个体被选择概率 即 个人适应度占比
    交叉
基因型 随机选一处断开成2组,与其它基金型,互换一组
    变异
对基因型 随机 一处 变异(非运算 0->1 1->0)

三算子(背)

☆★背★☆
    选择 算子 交叉 算子 变异 算子
TODO:

选择方法:轮盘

粒子群算法 在群鸟觅食模型中,每个体都可以看成一个粒子,则鸟群可以被看成一个粒子群。

算法流程(背):

TODO:

位置更新公式(翻译公式):

TODO: 蚁群算法

流程

    初始化蚁群 选择(利用概率 \(p_{ij}^{k}\) 进行轮盘赌选择) 所有蚂蚁完成一次周游后,即一次迭代后,更新信息素 跳到 2 继续选择 直到满足迭代退出条件,最优解(最短路径)即所有蚂蚁 走过路径总长 中最短的

公式(能代值算)

信息素浓度更新

模糊数学(能求解)

1. 数学模型3类:

① 确定性数学模型,即 模型的 背景 具有 确定性,对象之间具有必然的关系 ② 随机性的数学模型,即 模型的背景 具有 随机性和偶然性 ③ 模糊性模型,即 模型的 背景及关系 具有 模糊性

2. 模糊集合定义:

3. 模糊集合运算:

4. 隶属函数举例:

5. 关系矩阵的运算:

TODO:

6. 常用的模糊分布(背):

7. 模糊关系 及 模糊矩阵(重要)

概念

模糊矩阵 运算

模糊矩阵的运算及其性质 模糊关系的合成,就类似于矩阵的乘法,但是运算符不是取乘号与加号而是 取交和并 模糊矩阵间的关系及并、交、余运算

8. 模糊逻辑 与 模糊推理

扎德将模糊逻辑定义为一个逻辑系统,该系统是多值逻辑的一个扩展。 在模糊逻辑中最为重要的两个概念就是 语言学变量 和 模糊规则 if-then

模糊推理

常用的模糊推理方法有两种:Zadeh法和Mamdani法。 Mamdani推理法是模糊控制中普遍使用的方法,其本质是一种合成推理方法。 TODO: 模糊推理!!!!!! 模糊推理: 推理合成规则法 关键有两步:
    根据 模糊规则导出 模糊关系矩阵 R 模糊关系 的合成运算
模糊关系矩阵元素的计算: 采用玛达尼方法进行计算,如下:
\[ (A \rightarrow B) = A \land B \]
隶属函数就可以表示为: \(u_A(x)\) : “大” 看 "分母",对照论域缺 1, 2 ,所以前面两位补0 ,即: [0, 0, 0.4, 0.7, 1],其他 \(u_B(x), \ u_{A^{`}}(x)\) 同样做法,缺少位置补0 R = B ^ A 看第一行 即为 A ,看最后一列即为 B B ^ A: 前(B)取 列,后(A)取行 先利用这书写矩阵,其它位置为 第一行,第一列 对应相交 取小 TODO: B ^ A 这里还有问题,不太对,因为这种情况咋解? ○ 为 模糊矩阵的合成运算, 模糊矩阵的合成运算 类似 矩阵的乘法(行乘列,对应相乘再相加), 模糊矩阵的合成运算:行对应列,对应取小,再取其中最大, 和矩阵乘法形状上一样: $ A_{a n} B_{n b} = C_{a b} $ $ A_{a n} B_{n b} = C_{a b} $ 补充

模糊数学

模糊是指客观事物差异的中间过渡中的“不分明性”或“亦此亦彼性” 模糊数学就是用数学方法研究与处理模糊现象的数学 模糊数学 研究内容 三方面: ① 研究模糊数学的理论,以及它和精确数学、随机数学的关系。 ② 研究模糊语言学和模糊逻辑 ③ 研究模糊数学的应用。模糊数学是以不确定性的事物为其研究对象的 模糊集的特性: ① 正规化 ② 高度 ③ 支持 ④ 基数 ⑤ 归一化

遗传算法

选择:
    按 比例 的适应度 算法(proportional fitness assignment) 基于 排序 的适应度 算法(rank-based fitness assignment) 轮盘赌 选择(roulette wheel selection) 随机遍历抽样(stochastic universal sampling) 局部选择(lacal selection) 截断选择(tournament selection)
交叉 或 基因重组(crossorer / recombination) 实值重组(real value recombination) 离散重组(discrete)、中间(intermediate)重组、线性(linear)重组、扩展线性(extendedli)重组 二进制交叉(binary valuel crossorer) 单点交叉、多点(multiple-poinrt)交叉、均匀(uniform)交叉、洗牌(shuffle)交叉、缩小代理(crossover with reduced
surrogate) 变异: 变异 实质上是 子代基因按小概率扰动 产生的变化,有两种算法,
    实值变异 二进制变异
例题

填空

    人工智能的三个学派分别是:符号、联结、行为 机器学习是使计算机具有 智能 的根本途径 行为主义学派认为人工智能源于 控制论
符号主义 认为人工智能源于 数理逻辑 联结主义 认为人工智能源于 仿生学
    在模糊逻辑中最为重要的两个概念就是 语言学变量 和 模糊规则 if-then 一般认为 适者生存 是遗传算法的基本定理

简述

    计算智能研究的主要方法 蚁群算法的基本思想 神经网络激励函数的几个类型

解答

    以梯度算法完成以下优化问题的具体计算
\[ \min f(x) = x_1 ^2 + x_2 ^2 \] 其中 \(x = (x_1, \ x_2)^T\) ,要求选取初始点 \(x_0 = (1, \ 1)^T\) ,并至少完成两步迭代计算。 参考 感谢帮助! 几种损失函数比较--代价函数,损失函数,目标函数区别 常见的损失函数(loss function)总结 机器学习者都应该知道的五种损失函数! 神经网络权重更新的原理和方法 模糊控制——理论基础(4模糊推理)