lmql 0.3.0

A general-purpose async streaming large language model interface
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

mod common;

mod gpt4o {
    super::tests_with_llm! {
        lmql::llms::openai::Gpt::new_from_env(
            lmql::llms::openai::GptModel::Gpt4oMini,
        )

        => skip reasoning
    }
}

mod o3 {
    super::tests_with_llm! {
        lmql::llms::openai::Gpt::new_from_env(
            lmql::llms::openai::GptModel::o3Mini,
        )
    }
}