AIIntroduce
Table of Contents
AIIntroduce note.
<!– more –>
AIIntroduce
AI 相关的各类概念
机器学习
机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。
机器学习分类
基于学习策略的分类
- 模拟人脑的机器学习
符号学习：模拟人脑的宏现心理级学习过程，以认知心理学原理为基础，以符号数据为输入，以符号运算为方法，用推理过程在图或状态空间中搜索，学习的目标为概念或规则等。符号学习的典型方法有记忆学习、示例学习、演绎学习.类比学习、解释学习等。
神经网络学习（或连接学习）：模拟人脑的微观生理级学习过程，以脑和神经科学原理为基础，以人工神经网络为函数结构模型，以数值数据为输入，以数值运算为方法，用迭代过程在系数向量空间中搜索，学习的目标为函数。典型的连接学习有权值修正学习、拓扑结构学习。
- 直接采用数学方法的机器学习
主要有统计机器学习。
统计机器学习是基于对数据的初步认识以及学习目的的分析，选择合适的数学模型，拟定超参数，并输入样本数据，依据一定的策略，运用合适的学习算法对模型进行训练，最后运用训练好的模型对数据进行分析预测。
统计机器学习三个要素：
模型（model）：模型在未进行训练前，其可能的参数是多个甚至无穷的，故可能的模型也是多个甚至无穷的，这些模型构成的集合就是假设空间。
策略（strategy）：即从假设空间中挑选出参数最优的模型的准则。模型的分类或预测结果与实际情况的误差（损失函数）越小，模型就越好。那么策略就是误差最小。
算法（algorithm）：即从假设空间中挑选模型的方法（等同于求解最佳的模型参数）。机器学习的参数求解通常都会转化为最优化问题，故学习算法通常是最优化算法，例如最速梯度下降法、牛顿法以及拟牛顿法等
基于学习方法的分类
基于数据形式的分类
深度学习
深度学习（DL，Deep Learning）是机器学习（ML，Machine Learning）领域中一个新的研究方向，深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。
深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：
- 基于卷积运算的神经网络系统，即卷积神经网络（CNN）
- 基于多层神经元的自编码神经网络，包括自编码（Auto encoder）以及近年来受到广泛关注的稀疏编码两类（Sparse Coding)
- 以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络（DBN）
深度学习框架
TensorFlow
TensorFlow 是一个开源的机器学习库，由 Google 维护。
PyTorch
PyTorch 是一个开源的 Python 机器学习库，基于 Torch，由 Facebook 维护。
MXNet
MXNet 是一个开源的机器学习库，由 Amazon 维护。
参考资料
- 2022 年了，PyTorch 和 TensorFlow 你选哪个？ https://zhuanlan.zhihu.com/p/478753392
参考资料
- 动手学深度学习 http://zh.d2l.ai/chapter_preface/index.html
- 动手学深度学习 video https://space.bilibili.com/209599371/channel/seriesdetail?sid=1530293&ctype=0
- 神经网络用于体育游戏 https://www.bilibili.com/video/BV1U3411T7nc/?spm_id_from=333.999.0.0&vd_source=36597ac15683c2bddfe189d605ca1fa4
- MIT 深入理解深度学习 https://udlbook.github.io/udlbook/
- LLM Visualization https://bbycroft.net/llm