人工智能原理与应用

第一章 绪论

智能：智能指人类在认识客观世界中，由思维过程和脑
力活动所表现出的综合能力。

智能包含的能力

AI的研究目标

三大学派

新的发展

智能模拟方法

推理

推理：是指按照某种策略从已知事实出发利用知识推出所需结论的过程。
推理方法：归纳、演绎、（不）确定性推理

搜索

搜索：依靠经验，利用已有知识，根据问题的实际情况，不断寻找可利用知识，从而构造一条代价最小的推理路线，使问题得以解决的过程。
智能搜索：利用搜索过程中得到的信息来引导搜索向最优方向发展的算法。

神经元（画图）

大数据的特性：

• 规模性、多样性、实时性、价值性

机器视觉的流程：图像获取$\rightarrow$图像解释

模式识别

自然语言处理

智能控制

人工智能工程

人工智能面临的问题

1. 道德伦理问题
2. 法律法规的制定问题
3. 安全问题（信息安全、交通安全、人身安全）
4. 稀缺数据资源条件下的学习
5. 目前人工智能属于弱人工智能

未来发展趋势

1. 从专用智能向通用是能发展
2. 从人工智能向人机融合发展
3. 自动化AI技术
4. AI药物的研发
5. 减少对数据的需求
6. 可解释性和鲁棒性

第二章 数学基础

向量的范数

1) 1-范数

$$\|\alpha\|_1 = |\alpha_1| + |\alpha_2| + \cdots + |\alpha_n|$$

2) 2-范数

$$\|\alpha\|_2 = \sqrt{\alpha_1^2 + \alpha_2^2 + \cdots + \alpha_n^2}$$

3) $\infty$-范数

$$\|\alpha\|_\infty = \max\{|\alpha_1|, |\alpha_2|, \cdots, |\alpha_n|\}$$

4) p-范数

$$\|\alpha\|_p = \left( \sum_{i=1}^{n} |\alpha_i|^p \right)^{1/p}, \quad p \ge 1$$

矩阵的范数

1) Frobenius 范数 (F-范数)

$$\|X\|_F = \left( \sum_{i,j=1}^{n} |x_{ij}|^2 \right)^{1/2} = \left( tr(X^H X) \right)^{1/2}$$

2) 1-范数

$$\|X\|_1 = \max_{j} \sum_{i=1}^{n} |x_{ij}|$$

3) 2-范数

$$\|X\|_2 = \sqrt{\lambda} \text{，其中 } \lambda \text{ 为 } X^H X \text{ 的最大特征值}$$

4) $\infty$-范数

$$\|X\|_\infty = \max_{i} \sum_{j=1}^{n} |x_{ij}|$$

其中，$X^H$ 为 $X$ 的共轭转置矩阵。

第三章 确定性知识系统

• 知识是改造客观世界中积累起来的认识和经验。
• 知识 = 信息 + 关联

知识的类型

知识的作用效果

知识的表示要求

• 可组织性与可维护性
• 可理解性与可实现性

知识的类型

推理方法及其分类

1. 演绎推理：
   
2. 归纳推理
   
   
   演绎推理 & 归纳推理区别：
   

推理控制策略

• 推理的控制策略是使推理过程尽快达到目标。
• 分为两类：推理策略和搜索策略

冲突消解策略：当推理过程有多条知识可用时，如何从这多条可用知识中选出一条最佳知识用于推理的策略，常用的冲突消解策略有领域知识优先和新鲜知识优先等。

第四章 不确定性知识系统

知识的不确定性表示

主观贝叶斯推理

贝叶斯网络原理

第五章 智能搜索技术

状态空间问题的求解

与或树

• 分解：$P 归纳为 P_i, P_i 都有解的时候，P 有解。$
• 等价变换：$P 可以等价变为 P_i，有一个 P_i 有解，P 有解。$

• 本原问题：不能再进行分解或者变换，可以直接解答的问题
• 端节点：没有子节点的节点
• 终止节点：本原问题对应的节点 （终止节点一定是端节点，端节点不一定是终止节点）
• 可解问题：
  • 任何终止节点
  • 或树中有一个可解
  • 与树中都有解

进化搜索

进化计算的生物学基础：

1. 遗传理论
2. 变异理论
3. 进化论

启发式搜索

• 八数码难题：

A 算法

与或树的启发式搜索

博弈树

进化搜索（这一部分看PPT理解）

• 蚁群算法
• 遗传算法

1. 基本步骤：
   
2. 三角函数的遗传算法优化（重点看一下）（17-20课时）
3. 轮盘赌：
   

• 粒子群优化算法
  看ppt（21-24课时），重点求解tsp问题的步骤。

群智能的优点：

1. 灵活性：群体可以随时适应变化的环境。
2. 稳健性：即使个体失败，群体仍可以完成任务；自我组织；活动既不受中央控制，也不受局部监督。

第六章 机器学习

信息熵与信息增益

ID3 算法

• 测试属性：信息增益

具体计算流程：（设$C_1+C_2=D$）

1. 计算不考虑特征的信息熵：

   $$H(D) = -\sum_{k=1}^{K} p_k \log_2 p_k= -\sum_{k=1}^{K} \frac{|C_k|}{|D|} \log_2 \frac{|C_k|}{|D|}$$

   其中 $|D|$ 为样本总数，$|C_k|$ 为属于第 $k$ 类的样本数(eg: 买/不买)。

2. 计算条件熵：

   • 先选择一个 特征 $A_i$，将数据集 $D$ 根据特征 $A_i$ 的不同取值划分为 $n$ 个子集 $D_1, D_2, \dots, D_n$。
   • 计算特征 $A_i$ 下不同取值 $D_i$ 的信息熵 $H(D_i)$： $$H(D_i)= -\sum_{k=1}^{K} \frac{|C_k|}{|D_i|} \log_2 \frac{|C_k|}{|D_i|}$$ 其中，$C_k$ 是在集合 $D_i$ 里的第 $k$ 种类别的数量 (eg: 买/不买)。
   • 计算条件熵 $H(D|A_i)$： $$H(D|A_i) = \sum_{i=1}^{n} p_i H(D_i)= \sum_{i=1}^{n} \frac{|D_i|}{|D|} H(D_i)$$

3. 计算信息增益：

   $$g(D, A_i) = H(D) - H(D|A_i)$$

4. 特征选择：
   选取 信息增益最大 的特征$A_i$作为当前的分裂节点（根节点或内部节点）。

5. 递归构建：
   对子节点重复以上步骤，以此类推，直至分类完全（或满足停止条件）。

集成学习（Boosting/Bagging）

回归的含义、思想

总体回归函数

计算题：最小二乘估计 $OLS$

• 看ppt（25-28）

第七章 支持向量机

• 看模式识别的笔记。

第八章 人工神经网络与连接学习

后面看三个ppt吧。