唐山公司网站建设 中企动力唐山电子商务运营推广

唐山公司网站建设 中企动力唐山,电子商务运营推广,建设网站以后,广州网站建设程序员培训在大模型学习过程中#xff0c;我整理了一些常见但核心的概念#xff0c;对于很多刚入门大模型的同学#xff0c;这些基础知识往往看似简单#xff0c;却在理解模型行为、优化性能以及阅读论文时起着关键作用。 1、权重 weight 激活 Activations 权重是“参数”…在大模型学习过程中我整理了一些常见但核心的概念对于很多刚入门大模型的同学这些基础知识往往看似简单却在理解模型行为、优化性能以及阅读论文时起着关键作用。1、权重 weight 激活 Activations权重是“参数”是模型真正需要学习和更新的参数。是模型在训练完成后固定下来的数值存储在模型文件中。在全参数微调中我们通过反向传播算法和梯度下降来更新模型中的所有权重使其适应新的任务数据。如线性层 W、偏置项 b、注意力矩阵的投影矩阵、层归一化参数等激活是“数据”或“计算结果”是模型在前向传播时产生的中间结果。激活不是模型参数不会被更新但激活在反向传播需要被保存下来否则无法计算梯度所以激活是显存开销的主要来源。如某一层的输出向量、注意力矩阵、中间隐藏状态等2、模型是分训练过程和推理过程的直觉上理解训练过程就是得到权重的过程而微调就是在已有权重基础上继续训练来适应特定的任务推理过程则是根据训练得到的权重来进行任务的执行这个过程不涉及权重的更新3、激活值在训练和推理都有推理中激活只需要短暂存在。因为模型在推理过程的步骤是前向传播计算每一层的输出激活完成当前token的预测此时就可以释放激活值。因此推理过程的显存主要来源于权重和少量的激活。4、训练过程的流程输入文本 → 前向传播计算预测 → 计算损失 → 反向传播 → 更新权重前向传播数据流经模型 L 层计算每一层的输出得到预测 token。产出激活值 (需存储)、预测。计算损失比较预测与真实标签 之间的差异计算损失值。产出损失值。反向传播从 L 层向第一层回传损失的梯度计算损失 L 对所有权重的梯度。产出梯度。更新权重使用优化器如 AdamW根据梯度更新所有权重。产出权重。5、微调过程的流程输入任务数据 → 前向传播计算预测 → 计算损失 → 反向传播 → 更新部分或全部权重和训练过程类似区别是数据规模小且特定、损失函数可能更侧重特定任务、反向传播过程中只计算需要更新的权重如 LoRA 的梯度、权重更新过程中只更新部分或全部权重。6、推理过程的流程输入 → 前向传播 → 输出结果使用固定的、训练好的权重 来生成或预测结果。7、Transformer架构是由 Encoder 和 Decoder 两个积木组成的框架具体模型根据任务需要只使用需要的积木。目前90% 的大模型不是完整的 Transformer。应用使用模块模型例子文本理解仅 EncoderBERT, RoBERTa文本生成LLM仅 DecoderGPT, Llama, Qwen机器翻译Encoder DecoderT5, BART, Whisper8、大模型推理过程分为预填充Pre-fill 和 解码Decoding/Generation阶段主要发生在现代主流的仅解码器Decoder-only架构的 LLM 推理过程中。这两个阶段都只使用 解码器 结构进行前向传播预填充解码器并行处理整个 Prompt 的所有 Token。解码解码器反复执行每次只处理一个 Token并生成下一个 Token。9、Transformer的每一层Layer由两个主要模块组成输入 → Attention → FFN → 输出注意力模块负责横向序列内理解上下文关系。FFN 模块负责纵向特征处理储存和应用知识。MoE 是对 FFN 模块的替代或增强。FFN 模块被换成多个专家多个 FFN每个 token 动态选择其中几个。