ik-llama-cpp-sys 0.1.5

Low level bindings to ik_llama.cpp (ikawrakow's SOTA-quant fork)
Documentation
1
2
3
4
5
6
7
#pragma once

#include <cstdint>

struct llama_context;

bool llama_prepare_dflash_graph_inputs(llama_context & lctx, uint32_t n_tokens);