因为torchtext默认按空格切分，而中文无空格，必须先用jieba等工具完成词粒度分词，再将每句分词结果作为token列表yield给build_vocab_from_iterator。
为什么不能直接用
处理中文原始文本
因为
默认按空格切分，而中文词之间没有空格。直接喂入“我喜欢学习”会变成
（字粒度），而非你想要的
（词粒度）。不先分词，
就无法识别有意义的语义单元。
必须在构建
前完成分词，且分词结果需是可迭代的 token 列表（如
），不是字符串或嵌套结构。
常见错误：把
的结果直接传给
而不包装成生成器；或误用
（返回 generator，但内部 yield 字符串，需显式转 list）。
如何用
分词并适配
关键在于构造一个「每次 yield 一个分词后 token 列表」的迭代器。不是对每个字符、也不是对整句，而是对每条样本做
，再把结果作为单次产出。
立即学习
“
Python免费学习笔记（深入）
”；
用
（非
）确保返回
，避免 generator 嵌套问题
迭代器函数里不要 return，要用
返回分词列表，例如：
务必过滤空字符串和纯空白 token，比如
可能返回
，会污染词表
若需保留标点，确保
没开启
或
导致切分过细（如把“。”切成“。”和空）
示例代码片段：
Python 3.14.3
微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
下载
假设 train_texts 是中文句子列表
vocab = build_vocab_from_iterator(
yield_tokens(train_texts),
min_freq=2,
specials=['', '', '', '']
)
vocab.set_default_index(vocab[''])
0.12+ 版本中
构建的兼容性注意点
新版
（≥0.12）已弃用
的旧初始化方式（如传
），统一使用
。如果你看到
，大概率是误把旧版写法（如
）混进新流程。
另外注意：
不接受单个 list，只接受可迭代对象（如 list、generator、map）——所以
必须返回 generator，不能直接返回
对中文尤其重要：很多分词结果（如人名、地名）频次低但需保留，建议先统计再设阈值，别盲目设
中的
必须存在，否则后续
会报
；顺序不影响，但名字要严格匹配
如何验证分词 + 词表是否真正生效
最直接的方式：拿一句测试文本走通全流程，看输出 id 是否合理。别只检查
或打印前 10 个词。
用
看是否返回非负整数（不是
）
对未登录词（如生造词“量子纠缠体”），应返回
对应的 index（通常是 0），而不是抛异常
检查
和
是否存在且不相等；若相等，说明
没生效或
漏写了
如果模型训练时 loss 不降、梯度爆炸，回头查
是否把大量词映射到了
—— 很可能是分词阶段漏了加载自定义词典（如用
）
中文场景下，分词质量直接影响
的泛化能力。与其调
，不如先确认
分得对不对。
torchtext.vocab.build_vocab_from_iteratortorchtext.vocab.build_vocab_from_iterator['我', '喜', '欢', '学', '习']['我', '喜欢', '学习']VocabVocab['我', '喜欢', '机器', '学习']jieba.lcut("我喜欢")build_vocab_from_iteratorjieba.cutjiebatorchtext.vocab.build_vocab_from_iteratorjieba.lcutjieba.lcut(sentence)cutlist[str]yieldyield ['我', '喜欢', '深度', '学习']jieba.lcut(' ')['']jiebacut_all=Trueuse_paddle=True
import jieba
from torchtext.vocab import build_vocab_from_iterator
def yield_tokens(data_iter):
for sentence in data_iter:
sentence 是 str，如 "今天天气很好"
tokens = jieba.lcut(sentence.strip())
tokens = [t for t in tokens if t.strip()] # 过滤空白
yield tokenstorchtextVocabtorchtexttorchtext.vocab.VocabCounterbuild_vocab_from_iteratorTypeError: 'Vocab' object is not iterableVocab(counter)build_vocab_from_iteratoryield_tokens[['我'], ['喜欢']]min_freqmin_freq=5specialspad_sequenceKeyErrorvocab.__len__()vocab.lookup_indices(['我', '喜欢', '学习'])[0, 0, 0]vocab[''] vocab[''] set_default_indexspecialsvocabjieba.load_userdict()Vocabmin_freqjieba