2025年12月25日 · Terry · AI搜索与大模型中的分词：看似相同，实则迥异传统搜索引擎和大模型虽然都使用 Tokenization，但它们的目的、原理和处理方式有着本质的区别。本文深入探讨两种分词机制的差异，以及为什么向量搜索无法完全替代传统分词。