fellhorn-llama-cpp-2 0.1.124

llama.cpp bindings for Rust
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105

//! Safe wrapper around `llama_token_data`.
use crate::token::LlamaToken;

/// A transparent wrapper around `llama_token_data`.
///
/// Do not rely on `repr(transparent)` for this type. It should be considered an implementation
/// detail and may change across minor versions.
#[derive(Clone, Copy, Debug, PartialEq)]
#[repr(transparent)]
#[allow(clippy::module_name_repetitions)]
pub struct LlamaTokenData {
    data: fellhorn_llama_cpp_sys_2::llama_token_data,
}

impl LlamaTokenData {
    /// Create a new token data from a token, logit, and probability.
    /// ```
    /// # use fellhorn_llama_cpp_2::token::LlamaToken;
    /// # use fellhorn_llama_cpp_2::token::data::LlamaTokenData;
    /// let token = LlamaToken::new(1);
    /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
    #[must_use]
    pub fn new(LlamaToken(id): LlamaToken, logit: f32, p: f32) -> Self {
        LlamaTokenData {
            data: fellhorn_llama_cpp_sys_2::llama_token_data { id, logit, p },
        }
    }
    /// Get the token's id
    /// ```
    /// # use fellhorn_llama_cpp_2::token::LlamaToken;
    /// # use fellhorn_llama_cpp_2::token::data::LlamaTokenData;
    /// let token = LlamaToken::new(1);
    /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
    /// assert_eq!(token_data.id(), token);
    /// ```
    #[must_use]
    pub fn id(&self) -> LlamaToken {
        LlamaToken(self.data.id)
    }

    /// Get the token's logit
    /// ```
    /// # use fellhorn_llama_cpp_2::token::LlamaToken;
    /// # use fellhorn_llama_cpp_2::token::data::LlamaTokenData;
    /// let token = LlamaToken::new(1);
    /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
    /// assert_eq!(token_data.logit(), 1.0);
    /// ```
    #[must_use]
    pub fn logit(&self) -> f32 {
        self.data.logit
    }

    /// Get the token's probability
    /// ```
    /// # use fellhorn_llama_cpp_2::token::LlamaToken;
    /// # use fellhorn_llama_cpp_2::token::data::LlamaTokenData;
    /// let token = LlamaToken::new(1);
    /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
    /// assert_eq!(token_data.p(), 1.0);
    /// ```
    #[must_use]
    pub fn p(&self) -> f32 {
        self.data.p
    }

    /// Set the token's id
    /// ```
    /// # use fellhorn_llama_cpp_2::token::LlamaToken;
    /// # use fellhorn_llama_cpp_2::token::data::LlamaTokenData;
    /// let token = LlamaToken::new(1);
    /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
    /// token_data.set_id(LlamaToken::new(2));
    /// assert_eq!(token_data.id(), LlamaToken::new(2));
    /// ```
    pub fn set_id(&mut self, id: LlamaToken) {
        self.data.id = id.0;
    }

    /// Set the token's logit
    /// ```
    /// # use fellhorn_llama_cpp_2::token::LlamaToken;
    /// # use fellhorn_llama_cpp_2::token::data::LlamaTokenData;
    /// let token = LlamaToken::new(1);
    /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
    /// token_data.set_logit(2.0);
    /// assert_eq!(token_data.logit(), 2.0);
    /// ```
    pub fn set_logit(&mut self, logit: f32) {
        self.data.logit = logit;
    }

    /// Set the token's probability
    /// ```
    /// # use fellhorn_llama_cpp_2::token::LlamaToken;
    /// # use fellhorn_llama_cpp_2::token::data::LlamaTokenData;
    /// let token = LlamaToken::new(1);
    /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
    /// token_data.set_p(2.0);
    /// assert_eq!(token_data.p(), 2.0);
    /// ```
    pub fn set_p(&mut self, p: f32) {
        self.data.p = p;
    }
}