tiktoken-rs 0.10.0

Library for encoding and decoding with the tiktoken library in Rust
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

#![doc = include_str!("../README.md")]
mod api;
mod patched_tiktoken;
mod singleton;
mod tiktoken_ext;
mod vendor_tiktoken;

pub use api::*;
pub mod model;
pub mod tokenizer;
pub use singleton::*;
pub use tiktoken_ext::openai_public::*;

pub use vendor_tiktoken::byte_pair_split;
pub use vendor_tiktoken::CoreBPE;
pub use vendor_tiktoken::DecodeKeyError;
pub use vendor_tiktoken::Rank;