1 篇文档带有标签「tokenization」

沿着文本、token ID、嵌入和上下文表示理解模型输入，并解释分词、位置、补齐与检索向量之间的区别。