12 篇文档带有标签「deep-learning」

用可见上下文、训练目标与输出头区分模型家族，理解 BERT 分类器、生成模型和序列转换模型的职责。

沿着文本、token ID、嵌入和上下文表示理解模型输入，并解释分词、位置、补齐与检索向量之间的区别。

厘清 2017 年原始 Encoder-Decoder 与现代 Decoder-only 架构在 Norm、位置编码、注意力变体及 FFN 上的差异，并分析训练与推理成本。

解析 CNN 的归纳偏置、通道、填充、步幅、池化机制，厘清平移等变与平移不变的核心差异。

通过张量形状、反向传播推导及 XOR 实例，解析 MLP 的表达能力、优化陷阱与归纳偏置。

通过图文检索与视觉问答区分多模态目标，解释图像 patch、跨模态连接、信息损失和评估方法。

从状态压缩、时间反向传播和 LSTM 门控理解 RNN 的优势、梯度失败与流式边界。

从 Q/K/V、mask 和数值例子理解内容寻址、多头注意力、复杂度与解释边界。

沿着一个 token 的路由过程解释 MoE，区分总参数、激活参数、显存与速度，并分析负载均衡和通信。

区分 ReLU、GELU、SiLU/Swish 与 GLU 变体，并用等预算实验选择现代神经网络的非线性。

不同架构如何表示输入、产生输出？

从下一个 token 的概率分布走到完整回答，理解温度、top-k、top-p、搜索、停止条件与结构化输出。