1. 循环神经网络（RNN）
时间轴
1986年，RNN模型首次由David Rumelhart等人提出，旨在处理序列数据。
核心技术
- 关键技术：RNN通过循环结构让网络记住以前的输入信息，使其能够处理序列数据。每个节点不仅接收当前输入，还接收前一个节点的输出，从而形成记忆能力。
- 核心原理：RNN通过循环结构实现记忆能力，使其能够处理时间序列数据。
创新点
- 创新点：RNN的创新点在于其循环结构，这使其能处理时间序列数据。但原始RNN容易出现梯度消失问题，后来的LSTM和GRU模型通过引入门控机制，极大地改善了这一问题。
适用数据
- 适用数据：适用于处理序列数据，如时间序列、语音、文本等。
应用场景
- 应用场景：语音识别、自然语言处理、时间序列预测等。
经典案例
- 经典案例：苹果的Siri和Google的语音助手都使用了基于RNN的技术来进行语音识别和处理。
2. 卷积神经网络（CNN）
时间轴
1989年，CNN由Yann LeCun等人提出，主要用于图像处理。
核心技术
- 关键技术：CNN通过卷积层提取图像的局部特征，池化层进行降维处理，全连接层最终进行分类。卷积操作通过滤波器在图像上滑动，捕捉不同的特征。
- 核心原理：CNN通过卷积层提取图像的局部特征，池化层进行降维处理，全连接层最终进行分类。
创新点
- 创新点：CNN的创新点在于卷积层的使用，使其能够有效提取图像的空间特征，大大减少了参数数量，提高了计算效率。
适用数据
- 适用数据：适用于处理图像和视频数据。
应用场景
- 应用场景：图像识别、目标检测、医学图像分析等。
经典案例
- 经典案例：LeNet-5是最早的CNN之一，被用来进行手写数字识别，并取得了显著的成果。
3. Transformer
时间轴
2017年，Google发布了Transformer模型，极大地提升了自然语言处理的效率。
核心技术
- 关键技术：Transformer通过自注意力机制，可以在处理序列数据时并行计算，从而大大提升了效率。编码器处理输入序列，解码器生成输出序列，自注意力机制使得模型能够关注到序列中的关键信息。
- 核心原理：Transformer通过自注意力机制，实现并行计算，提高了处理序列数据的效率。
创新点
- 创新点：Transformer的创新点在于自注意力机制，使得模型能够并行处理序列数据，提高了效率。
适用数据
- 适用数据：适用于处理序列数据，如文本、语音等。
应用场景
- 应用场景：自然语言处理、机器翻译、文本生成等。
经典案例
- 经典案例：BERT、GPT等自然语言处理模型都是基于Transformer架构的。
4. BERT
时间轴
2018年，Google发布了BERT模型，极大地提升了自然语言处理的性能。
核心技术
- 关键技术：BERT通过预训练和微调，使模型能够更好地理解自然语言中的语义和上下文信息。
- 核心原理：BERT通过预训练和微调，使模型能够更好地理解自然语言中的语义和上下文信息。
创新点
- 创新点：BERT的创新点在于其预训练和微调过程，使得模型能够更好地理解自然语言中的语义和上下文信息。
适用数据
- 适用数据：适用于处理文本数据。
应用场景
- 应用场景：自然语言处理、文本分类、问答系统等。
经典案例
- 经典案例：BERT在多项自然语言处理任务中取得了优异的成绩，如文本分类、情感分析等。
5. GPT
时间轴
2018年，OpenAI发布了GPT模型，极大地提升了自然语言处理的性能。
核心技术
- 关键技术：GPT通过无监督学习，使模型能够生成高质量的文本。
- 核心原理：GPT通过无监督学习，使模型能够生成高质量的文本。
创新点
- 创新点：GPT的创新点在于其无监督学习过程，使得模型能够生成高质量的文本。
适用数据
- 适用数据：适用于处理文本数据。
应用场景
- 应用场景：文本生成、机器翻译、问答系统等。
经典案例
- 经典案例：GPT在多项自然语言处理任务中取得了优异的成绩，如文本生成、机器翻译等。