75 字

1 分钟

输入表示

2026-04-22

Transformer

/

Embedding

/

位置编码

/

索引

02 - 输入表示#

本章内容#

笔记	要点
Token Embedding	分词策略（BPE/WordPiece），嵌入矩阵查表，维度选择
位置编码	正弦位置编码公式推导，RoPE/ALiBi 现代方案

前置依赖#

什么是语言模型 — 理解输入表示服务的目标任务

输入表示

https://fuwari.vercel.app/posts/ai/llm/transformer/notes/02_input_representation/00_index/

作者

OopsYanxi

发布于

2026-04-22

许可协议

CC BY-NC-SA 4.0

什么是语言模型

Transformer 整体架构

02 - 输入表示