如何高效封装Hugging Face Tokenizer C FFI接口？
摘要：详细介绍了如何通过 Rust 的 C FFI 封装 Hugging Face tokenizers，并在 C++ 中利用 RAII 和智能指针实现安全、简洁、高效的资源管理，最终遵循现代 C&#x
1. 引入
在现代 AI 工程中，Hugging Face 的 tokenizers 库已成为分词器的事实标准。不过 Hugging Face 的 tokenizers 是用 Rust 来实现的，官方只提供了 python 和 node 的绑定实现。要实现与 Hugging Face tokenizers 相同的行为，最好的办法就是自己封装 Hugging Face tokenizers 的 C 绑定，从而可以被 C++ / C# / Java 这些高级编程语言调用。
2. 封装 C 接口
首先要说明的是，要做的不是完整的封装 Hugging Face tokenizers 的 C 的 FFI（Foreign Function Interface）接口，而是封装自己需要的接口就可以了。