概述
2024年7月28日大约 3 分钟
机械学习概述
人工智能概述
人工智能起源
图灵测试 达特茅斯会议
人工智能三个阶段
1980年代是正式成形期 1990-2010年代是蓬勃发展期 2012年之后是深度学习期
人工智能、机器学习和深度学习
人工智能 ==> 机器学习 ==> 深度学习
机器学习是人工智能的一个实现途径 深度学习是机器学习的一个方法发展而来
主要分支介绍
计算机视觉
- 人脸识别
自然语言处理
- 语音识别
- 语义识别
机器人
人工智能必备三要素【***】
- 数据
- 算法
- 计算力
gpu, cpu
- gpu -- 计算密集型
- cpu – IO密集型
机器学习工作流程
定义
- 数据
- 自动分析获得模型
- 预测
- 从数据中自动分析获得模型，并利用模型对未知数据进行预测
工作流程
- 获取数据
- 数据基本处理
- 特征工程
- 机器学习（模型训练）
- 模型评估
获取到的数据集介绍
专有名词
- 样本
- 特征
- 目标值（标签值）
- 特征值
数据类型构成
类型一：特征值+目标值 目标值分为是离散还是连续 类型二：只有特征值，没有目标值，
数据集
在数据集中一般：
- 一行数据我们称为一个样本
- 一列数据我们成为一个特征
- 有些数据有目标值（标签值），有些数据没有目标值（如上表中，电影类型就是这个数据集的目标值）
数据类型构成：
- 数据类型一：特征值+目标值（目标值是连续的和离散的）
- 数据类型二：只有特征值，没有目标值
数据分割：
机器学习一般的数据集会划分为两个部分：
训练数据：用于训练，构建模型
测试数据：在模型检验时使用，用于评估模型是否有效
划分比例：
- 训练集：【70% 】【80%】【 75%】
- 测试集：【30% 】【20%】【25%】
特征工程
什么是特征工程
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。
- 意义：会直接影响机器学习的效果
为什么需要特征工程(Feature Engineering)
机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is dificuit, time- consuming, requires expert knowledge. “Applied machine learning" is basically feature engineering.”
注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
特征工程包含内容
- 特征提取
- 特征预处理
- 特征降维
1.特征提取
特征提取：将任意数据（如文本或图像）转换为可用于机器学习的数字特征
2.特征预处理
特征预处理：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
3.特征降维
特征降维：指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程
机器学习
选择合适的算法对模型进行训练
监督学习
模型评估
对训练好的模型进行评估