huggingface/tokenizers - Hugging Face 的现代 NLP 管道的标记器（原始实现），支持 Python 绑定

huggingface/tokenizers - Hugging Face 的现代 NLP 管道的标记器（原始实现），支持 Python 绑定

github.com

GitHub - huggingface/tokenizers: 💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
💥 Fast State-of-the-Art Tokenizers optimized for Research and Production - huggingface/tokenizers
* huggingface/tokenizers - Hugging Face 的现代 NLP 管道的标记器（原始实现），支持 Python 绑定。