Structs§
- __
fsid_ t - ggml_
cgraph - ggml_
context - ggml_
init_ params - ggml_
object - ggml_
opt_ params - ggml_
opt_ params__ bindgen_ ty_ 1 - ggml_
opt_ params__ bindgen_ ty_ 2 - ggml_
scratch - ggml_
tensor - llama_
context - llama_
context_ params - llama_
token_ data - max_
align_ t
Constants§
- GGML_
MAX_ CONTEXTS - GGML_
MAX_ DIMS - GGML_
MAX_ NODES - GGML_
MAX_ OPT - GGML_
MAX_ PARAMS - INT8_
MAX - INT8_
MIN - INT16_
MAX - INT16_
MIN - INT32_
MAX - INT32_
MIN - INTPTR_
MAX - INTPTR_
MIN - INT_
FAST8_ MAX - INT_
FAST8_ MIN - INT_
FAST16_ MAX - INT_
FAST16_ MIN - INT_
FAST32_ MAX - INT_
FAST32_ MIN - INT_
LEAS T8_ MAX - INT_
LEAS T8_ MIN - INT_
LEAS T16_ MAX - INT_
LEAS T16_ MIN - INT_
LEAS T32_ MAX - INT_
LEAS T32_ MIN - LLAMA_
FILE_ MAGIC - LLAMA_
FILE_ MAGIC_ UNVERSIONED - LLAMA_
FILE_ VERSION - PTRDIFF_
MAX - PTRDIFF_
MIN - SIG_
ATOMIC_ MAX - SIG_
ATOMIC_ MIN - SIZE_
MAX - UINT8_
MAX - UINT16_
MAX - UINT32_
MAX - UINTPTR_
MAX - UINT_
FAST8_ MAX - UINT_
FAST16_ MAX - UINT_
FAST32_ MAX - UINT_
LEAS T8_ MAX - UINT_
LEAS T16_ MAX - UINT_
LEAS T32_ MAX - WINT_
MAX - WINT_
MIN - _ATFILE_
SOURCE - _BITS_
STDINT_ INTN_ H - _BITS_
STDINT_ LEAST_ H - _BITS_
STDINT_ UINTN_ H - _BITS_
TIME64_ H - _BITS_
TYPESIZES_ H - _BITS_
TYPES_ H - _BITS_
WCHAR_ H - _DEFAULT_
SOURCE - _FEATURES_
H - _POSIX_
C_ SOURCE - _POSIX_
SOURCE - _STDC_
PREDEF_ H - _STDINT_
H - _SYS_
CDEFS_ H - __
FD_ SETSIZE - __
GLIBC_ MINOR__ - __
GLIBC_ USE_ C2X_ STRTOL - __
GLIBC_ USE_ DEPRECATED_ GETS - __
GLIBC_ USE_ DEPRECATED_ SCANF - __
GLIBC_ USE_ IEC_ 60559_ BFP_ EXT - __
GLIBC_ USE_ IEC_ 60559_ BFP_ EXT_ C2X - __
GLIBC_ USE_ IEC_ 60559_ EXT - __
GLIBC_ USE_ IEC_ 60559_ FUNCS_ EXT - __
GLIBC_ USE_ IEC_ 60559_ FUNCS_ EXT_ C2X - __
GLIBC_ USE_ IEC_ 60559_ TYPES_ EXT - __
GLIBC_ USE_ ISOC2X - __
GLIBC_ USE_ LIB_ EXT2 - __
GLIBC__ - __
GNU_ LIBRARY__ - __
HAVE_ GENERIC_ SELECTION - __
INO_ T_ MATCHES_ INO64_ T - __
KERNEL_ OLD_ TIMEVAL_ MATCHES_ TIMEVA L64 - __
LDOUBLE_ REDIRECTS_ TO_ FLOA T128_ ABI - __
OFF_ T_ MATCHES_ OFF64_ T - __
RLIM_ T_ MATCHES_ RLIM64_ T - __
STATFS_ MATCHES_ STATF S64 - __
STDC_ IEC_ 559_ COMPLEX__ - __
STDC_ IEC_ 559__ - __
STDC_ IEC_ 60559_ BFP__ - __
STDC_ IEC_ 60559_ COMPLEX__ - __
STDC_ ISO_ 10646__ - __
SYSCALL_ WORDSIZE - __
TIMESIZE - __
USE_ ATFILE - __
USE_ FORTIFY_ LEVEL - __
USE_ ISOC11 - __
USE_ ISOC95 - __
USE_ ISOC99 - __
USE_ MISC - __
USE_ POSIX - __
USE_ POSI X2 - __
USE_ POSI X199309 - __
USE_ POSI X199506 - __
USE_ POSIX_ IMPLICITLY - __
USE_ XOPE N2K - __
USE_ XOPE N2K8 - __
WORDSIZE - __
WORDSIZE_ TIME64_ COMPA T32 - __
bool_ true_ false_ are_ defined - __
glibc_ c99_ flexarr_ available - false_
- ggml_
linesearch_ GGML_ LINESEARCH_ BACKTRACKING_ ARMIJO - ggml_
linesearch_ GGML_ LINESEARCH_ BACKTRACKING_ STRONG_ WOLFE - ggml_
linesearch_ GGML_ LINESEARCH_ BACKTRACKING_ WOLFE - ggml_
linesearch_ GGML_ LINESEARCH_ DEFAULT - ggml_
op_ GGML_ OP_ ABS - ggml_
op_ GGML_ OP_ ADD - ggml_
op_ GGML_ OP_ CONV_ 1D_ 1S - ggml_
op_ GGML_ OP_ CONV_ 1D_ 2S - ggml_
op_ GGML_ OP_ COUNT - ggml_
op_ GGML_ OP_ CPY - ggml_
op_ GGML_ OP_ DIAG_ MASK_ INF - ggml_
op_ GGML_ OP_ DIV - ggml_
op_ GGML_ OP_ DUP - ggml_
op_ GGML_ OP_ FLASH_ ATTN - ggml_
op_ GGML_ OP_ FLASH_ FF - ggml_
op_ GGML_ OP_ GELU - ggml_
op_ GGML_ OP_ GET_ ROWS - ggml_
op_ GGML_ OP_ MEAN - ggml_
op_ GGML_ OP_ MUL - ggml_
op_ GGML_ OP_ MUL_ MAT - ggml_
op_ GGML_ OP_ NEG - ggml_
op_ GGML_ OP_ NONE - ggml_
op_ GGML_ OP_ NORM - ggml_
op_ GGML_ OP_ PERMUTE - ggml_
op_ GGML_ OP_ RELU - ggml_
op_ GGML_ OP_ REPEAT - ggml_
op_ GGML_ OP_ RESHAPE - ggml_
op_ GGML_ OP_ RMS_ NORM - ggml_
op_ GGML_ OP_ ROPE - ggml_
op_ GGML_ OP_ SCALE - ggml_
op_ GGML_ OP_ SGN - ggml_
op_ GGML_ OP_ SILU - ggml_
op_ GGML_ OP_ SOFT_ MAX - ggml_
op_ GGML_ OP_ SQR - ggml_
op_ GGML_ OP_ SQRT - ggml_
op_ GGML_ OP_ STEP - ggml_
op_ GGML_ OP_ SUB - ggml_
op_ GGML_ OP_ SUM - ggml_
op_ GGML_ OP_ TRANSPOSE - ggml_
op_ GGML_ OP_ VIEW - ggml_
opt_ result_ GGML_ LINESEARCH_ FAIL - ggml_
opt_ result_ GGML_ LINESEARCH_ INVALID_ PARAMETERS - ggml_
opt_ result_ GGML_ LINESEARCH_ MAXIMUM_ ITERATIONS - ggml_
opt_ result_ GGML_ LINESEARCH_ MAXIMUM_ STEP - ggml_
opt_ result_ GGML_ LINESEARCH_ MINIMUM_ STEP - ggml_
opt_ result_ GGML_ OPT_ DID_ NOT_ CONVERGE - ggml_
opt_ result_ GGML_ OPT_ FAIL - ggml_
opt_ result_ GGML_ OPT_ INVALID_ WOLFE - ggml_
opt_ result_ GGML_ OPT_ NO_ CONTEXT - ggml_
opt_ result_ GGML_ OPT_ OK - ggml_
opt_ type_ GGML_ OPT_ ADAM - ggml_
opt_ type_ GGML_ OPT_ LBFGS - ggml_
type_ GGML_ TYPE_ COUNT - ggml_
type_ GGML_ TYPE_ F16 - ggml_
type_ GGML_ TYPE_ F32 - ggml_
type_ GGML_ TYPE_ I8 - ggml_
type_ GGML_ TYPE_ I16 - ggml_
type_ GGML_ TYPE_ I32 - ggml_
type_ GGML_ TYPE_ Q4_ 0 - ggml_
type_ GGML_ TYPE_ Q4_ 1 - true_
Functions§
- ggml_
abs ⚠ - ggml_
add ⚠ - ggml_
blck_ ⚠size - ggml_
build_ ⚠backward - ggml_
build_ ⚠forward - ggml_
build_ ⚠forward_ expand - ggml_
conv_ ⚠1d_ 1s - ggml_
conv_ ⚠1d_ 2s - ggml_
cpu_ ⚠has_ arm_ fma - ggml_
cpu_ ⚠has_ avx - ggml_
cpu_ ⚠has_ avx2 - ggml_
cpu_ ⚠has_ avx512 - ggml_
cpu_ ⚠has_ blas - ggml_
cpu_ ⚠has_ f16c - ggml_
cpu_ ⚠has_ fma - ggml_
cpu_ ⚠has_ fp16_ va - ggml_
cpu_ ⚠has_ neon - ggml_
cpu_ ⚠has_ sse3 - ggml_
cpu_ ⚠has_ vsx - ggml_
cpu_ ⚠has_ wasm_ simd - ggml_
cpy ⚠ - ggml_
cycles ⚠ - ggml_
cycles_ ⚠per_ ms - ggml_
diag_ ⚠mask_ inf - ggml_
div ⚠ - ggml_
dup ⚠ - ggml_
dup_ ⚠tensor - ggml_
element_ ⚠size - ggml_
flash_ ⚠attn - ggml_
flash_ ⚠ff - ggml_
fp16_ ⚠to_ fp32 - ggml_
fp32_ ⚠to_ fp16 - ggml_
free ⚠ - ggml_
gelu ⚠ - ggml_
get_ ⚠data - ggml_
get_ ⚠data_ f32 - ggml_
get_ ⚠f32_ 1d - ggml_
get_ ⚠i32_ 1d - ggml_
get_ ⚠rows - ggml_
graph_ ⚠compute - ggml_
graph_ ⚠dump_ dot - ggml_
graph_ ⚠print - ggml_
graph_ ⚠reset - ggml_
init ⚠ - ggml_
mean ⚠ - ggml_
mlock ⚠ - ggml_
mlock_ ⚠supported - ggml_
mul ⚠ - ggml_
mul_ ⚠mat - ggml_
nbytes ⚠ - ggml_
neg ⚠ - ggml_
nelements ⚠ - ggml_
new_ ⚠f32 - ggml_
new_ ⚠i32 - ggml_
new_ ⚠tensor - ggml_
new_ ⚠tensor_ 1d - ggml_
new_ ⚠tensor_ 2d - ggml_
new_ ⚠tensor_ 3d - ggml_
new_ ⚠tensor_ 4d - ggml_
norm ⚠ - ggml_
opt ⚠ - ggml_
opt_ ⚠default_ params - ggml_
permute ⚠ - ggml_
print_ ⚠object - ggml_
print_ ⚠objects - ggml_
quantize_ ⚠q4_ 0 - ggml_
quantize_ ⚠q4_ 1 - ggml_
relu ⚠ - ggml_
repeat ⚠ - ggml_
reshape ⚠ - ggml_
reshape_ ⚠2d - ggml_
reshape_ ⚠3d - ggml_
rms_ ⚠norm - ggml_
rope ⚠ - ggml_
scale ⚠ - ggml_
set_ ⚠f32 - ggml_
set_ ⚠f32_ 1d - ggml_
set_ ⚠i32 - ggml_
set_ ⚠i32_ 1d - ggml_
set_ ⚠param - ggml_
set_ ⚠scratch - ggml_
set_ ⚠zero - ggml_
sgn ⚠ - ggml_
silu ⚠ - ggml_
soft_ ⚠max - ggml_
sqr ⚠ - ggml_
sqrt ⚠ - ggml_
step ⚠ - ggml_
sub ⚠ - ggml_
sum ⚠ - ggml_
time_ ⚠init - ggml_
time_ ⚠ms - ggml_
time_ ⚠us - ggml_
transpose ⚠ - ggml_
type_ ⚠size - ggml_
type_ ⚠sizef - ggml_
used_ ⚠mem - ggml_
view_ ⚠1d - ggml_
view_ ⚠2d - ggml_
view_ ⚠3d - ggml_
view_ ⚠tensor - llama_
context_ ⚠default_ params - llama_
eval ⚠ - llama_
free ⚠ - llama_
get_ ⚠embeddings - llama_
get_ ⚠kv_ cache - llama_
get_ ⚠kv_ cache_ size - llama_
get_ ⚠kv_ cache_ token_ count - llama_
get_ ⚠logits - llama_
init_ ⚠from_ file - llama_
model_ ⚠quantize - llama_
n_ ⚠ctx - llama_
n_ ⚠embd - llama_
n_ ⚠vocab - llama_
print_ ⚠system_ info - llama_
print_ ⚠timings - llama_
reset_ ⚠timings - llama_
sample_ ⚠top_ p_ top_ k - llama_
set_ ⚠kv_ cache - llama_
token_ ⚠bos - llama_
token_ ⚠eos - llama_
token_ ⚠to_ str - llama_
tokenize ⚠
Type Aliases§
- __
blkcnt64_ t - __
blkcnt_ t - __
blksize_ t - __
caddr_ t - __
clock_ t - __
clockid_ t - __
daddr_ t - __dev_t
- __
fsblkcnt64_ t - __
fsblkcnt_ t - __
fsfilcnt64_ t - __
fsfilcnt_ t - __
fsword_ t - __gid_t
- __id_t
- __
ino64_ t - __ino_t
- __
int8_ t - __
int16_ t - __
int32_ t - __
int64_ t - __
int_ least8_ t - __
int_ least16_ t - __
int_ least32_ t - __
int_ least64_ t - __
intmax_ t - __
intptr_ t - __key_t
- __
loff_ t - __
mode_ t - __
nlink_ t - __
off64_ t - __off_t
- __pid_t
- __
quad_ t - __
rlim64_ t - __
rlim_ t - __
sig_ atomic_ t - __
socklen_ t - __
ssize_ t - __
suseconds64_ t - __
suseconds_ t - __
syscall_ slong_ t - __
syscall_ ulong_ t - __
time_ t - __
timer_ t - __
u_ char - __u_int
- __
u_ long - __
u_ quad_ t - __
u_ short - __uid_t
- __
uint8_ t - __
uint16_ t - __
uint32_ t - __
uint64_ t - __
uint_ least8_ t - __
uint_ least16_ t - __
uint_ least32_ t - __
uint_ least64_ t - __
uintmax_ t - __
useconds_ t - ggml_
fp16_ t - ggml_
linesearch - ggml_op
- ggml_
opt_ result - ggml_
opt_ type - ggml_
type - int_
fast8_ t - int_
fast16_ t - int_
fast32_ t - int_
fast64_ t - int_
least8_ t - int_
least16_ t - int_
least32_ t - int_
least64_ t - intmax_
t - llama_
progress_ callback - llama_
token - uint_
fast8_ t - uint_
fast16_ t - uint_
fast32_ t - uint_
fast64_ t - uint_
least8_ t - uint_
least16_ t - uint_
least32_ t - uint_
least64_ t - uintmax_
t - wchar_t