CS336 Assignment 1：BPE Tokenizer 实现与优化
以 CS336 Assignment 1 为基础，从零实现 byte-level BPE Tokenizer，并通过增量更新、优先队列与多进程预分词优化训练性能
STUDY & LIFE NOTES
文章目录
共 10 篇公开记录。按时间浏览，也可以从分类与标签进入。
分类与标签
找到 1 篇文章 · 笔记 / 2026-09-08最新发布在前
STUDY & LIFE NOTES
共 10 篇公开记录。按时间浏览，也可以从分类与标签进入。
找到 1 篇文章 · 笔记 / 2026-09-08最新发布在前
以 CS336 Assignment 1 为基础，从零实现 byte-level BPE Tokenizer，并通过增量更新、优先队列与多进程预分词优化训练性能