llama_cpp_2/token/
data.rs

1//! Safe wrapper around `llama_token_data`.
2use crate::token::LlamaToken;
3
4/// A transparent wrapper around `llama_token_data`.
5///
6/// Do not rely on `repr(transparent)` for this type. It should be considered an implementation
7/// detail and may change across minor versions.
8#[derive(Clone, Copy, Debug, PartialEq)]
9#[repr(transparent)]
10#[allow(clippy::module_name_repetitions)]
11pub struct LlamaTokenData {
12    data: llama_cpp_sys_2::llama_token_data,
13}
14
15impl LlamaTokenData {
16    /// Create a new token data from a token, logit, and probability.
17    /// ```
18    /// # use llama_cpp_2::token::LlamaToken;
19    /// # use llama_cpp_2::token::data::LlamaTokenData;
20    /// let token = LlamaToken::new(1);
21    /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
22    #[must_use]
23    pub fn new(LlamaToken(id): LlamaToken, logit: f32, p: f32) -> Self {
24        LlamaTokenData {
25            data: llama_cpp_sys_2::llama_token_data { id, logit, p },
26        }
27    }
28    /// Get the token's id
29    /// ```
30    /// # use llama_cpp_2::token::LlamaToken;
31    /// # use llama_cpp_2::token::data::LlamaTokenData;
32    /// let token = LlamaToken::new(1);
33    /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
34    /// assert_eq!(token_data.id(), token);
35    /// ```
36    #[must_use]
37    pub fn id(&self) -> LlamaToken {
38        LlamaToken(self.data.id)
39    }
40
41    /// Get the token's logit
42    /// ```
43    /// # use llama_cpp_2::token::LlamaToken;
44    /// # use llama_cpp_2::token::data::LlamaTokenData;
45    /// let token = LlamaToken::new(1);
46    /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
47    /// assert_eq!(token_data.logit(), 1.0);
48    /// ```
49    #[must_use]
50    pub fn logit(&self) -> f32 {
51        self.data.logit
52    }
53
54    /// Get the token's probability
55    /// ```
56    /// # use llama_cpp_2::token::LlamaToken;
57    /// # use llama_cpp_2::token::data::LlamaTokenData;
58    /// let token = LlamaToken::new(1);
59    /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
60    /// assert_eq!(token_data.p(), 1.0);
61    /// ```
62    #[must_use]
63    pub fn p(&self) -> f32 {
64        self.data.p
65    }
66
67    /// Set the token's id
68    /// ```
69    /// # use llama_cpp_2::token::LlamaToken;
70    /// # use llama_cpp_2::token::data::LlamaTokenData;
71    /// let token = LlamaToken::new(1);
72    /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
73    /// token_data.set_id(LlamaToken::new(2));
74    /// assert_eq!(token_data.id(), LlamaToken::new(2));
75    /// ```
76    pub fn set_id(&mut self, id: LlamaToken) {
77        self.data.id = id.0;
78    }
79
80    /// Set the token's logit
81    /// ```
82    /// # use llama_cpp_2::token::LlamaToken;
83    /// # use llama_cpp_2::token::data::LlamaTokenData;
84    /// let token = LlamaToken::new(1);
85    /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
86    /// token_data.set_logit(2.0);
87    /// assert_eq!(token_data.logit(), 2.0);
88    /// ```
89    pub fn set_logit(&mut self, logit: f32) {
90        self.data.logit = logit;
91    }
92
93    /// Set the token's probability
94    /// ```
95    /// # use llama_cpp_2::token::LlamaToken;
96    /// # use llama_cpp_2::token::data::LlamaTokenData;
97    /// let token = LlamaToken::new(1);
98    /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
99    /// token_data.set_p(2.0);
100    /// assert_eq!(token_data.p(), 2.0);
101    /// ```
102    pub fn set_p(&mut self, p: f32) {
103        self.data.p = p;
104    }
105}
llama_cpp_2/token/data.rs

llama_cpp_2/token/
data.rs
