tokenizer.encode（）

分类: 文章 • 2024-10-20 23:16:04

tokenizer.encode("说你跑的挺远",add_special_tokenizerns=False)

相当于

seg=tokenizer.tokenize("说你跑的挺远")
encoder = tokenizer.convert_tokenizerns_to_ids(seg)

tokenizer.encode（）