Structs§
- ggml_
cgraph - ggml_
context - ggml_
init_ params - ggml_
object - ggml_
opt_ params - ggml_
opt_ params__ bindgen_ ty_ 1 - ggml_
opt_ params__ bindgen_ ty_ 2 - ggml_
scratch - ggml_
tensor - quantize_
fns_ t
Constants§
- GGML_
DEFAULT_ N_ THREADS - GGML_
FILE_ MAGIC - GGML_
FILE_ VERSION - GGML_
MAX_ CONTEXTS - GGML_
MAX_ DIMS - GGML_
MAX_ NODES - GGML_
MAX_ OPT - GGML_
MAX_ PARAMS - GGML_
OBJECT_ SIZE - ggml_
ftype_ GGML_ FTYPE_ ALL_ F32 - ggml_
ftype_ GGML_ FTYPE_ MOSTLY_ F16 - ggml_
ftype_ GGML_ FTYPE_ MOSTLY_ Q4_ 0 - ggml_
ftype_ GGML_ FTYPE_ MOSTLY_ Q4_ 1 - ggml_
ftype_ GGML_ FTYPE_ MOSTLY_ Q4_ 2 - ggml_
ftype_ GGML_ FTYPE_ MOSTLY_ Q4_ 1_ SOME_ F16 - ggml_
ftype_ GGML_ FTYPE_ MOSTLY_ Q5_ 0 - ggml_
ftype_ GGML_ FTYPE_ MOSTLY_ Q5_ 1 - ggml_
ftype_ GGML_ FTYPE_ MOSTLY_ Q8_ 0 - ggml_
ftype_ GGML_ FTYPE_ UNKNOWN - ggml_
linesearch_ GGML_ LINESEARCH_ BACKTRACKING_ ARMIJO - ggml_
linesearch_ GGML_ LINESEARCH_ BACKTRACKING_ STRONG_ WOLFE - ggml_
linesearch_ GGML_ LINESEARCH_ BACKTRACKING_ WOLFE - ggml_
linesearch_ GGML_ LINESEARCH_ DEFAULT - ggml_
op_ GGML_ OP_ ABS - ggml_
op_ GGML_ OP_ ADD - ggml_
op_ GGML_ OP_ ALIBI - ggml_
op_ GGML_ OP_ CONT - ggml_
op_ GGML_ OP_ CONV_ 1D_ 1S - ggml_
op_ GGML_ OP_ CONV_ 1D_ 2S - ggml_
op_ GGML_ OP_ COUNT - ggml_
op_ GGML_ OP_ CPY - ggml_
op_ GGML_ OP_ DIAG_ MASK_ INF - ggml_
op_ GGML_ OP_ DIV - ggml_
op_ GGML_ OP_ DUP - ggml_
op_ GGML_ OP_ FLASH_ ATTN - ggml_
op_ GGML_ OP_ FLASH_ FF - ggml_
op_ GGML_ OP_ GELU - ggml_
op_ GGML_ OP_ GET_ ROWS - ggml_
op_ GGML_ OP_ MAP_ BINARY - ggml_
op_ GGML_ OP_ MAP_ UNARY - ggml_
op_ GGML_ OP_ MEAN - ggml_
op_ GGML_ OP_ MUL - ggml_
op_ GGML_ OP_ MUL_ MAT - ggml_
op_ GGML_ OP_ NEG - ggml_
op_ GGML_ OP_ NONE - ggml_
op_ GGML_ OP_ NORM - ggml_
op_ GGML_ OP_ PERMUTE - ggml_
op_ GGML_ OP_ RELU - ggml_
op_ GGML_ OP_ REPEAT - ggml_
op_ GGML_ OP_ RESHAPE - ggml_
op_ GGML_ OP_ RMS_ NORM - ggml_
op_ GGML_ OP_ ROPE - ggml_
op_ GGML_ OP_ SCALE - ggml_
op_ GGML_ OP_ SGN - ggml_
op_ GGML_ OP_ SILU - ggml_
op_ GGML_ OP_ SOFT_ MAX - ggml_
op_ GGML_ OP_ SQR - ggml_
op_ GGML_ OP_ SQRT - ggml_
op_ GGML_ OP_ STEP - ggml_
op_ GGML_ OP_ SUB - ggml_
op_ GGML_ OP_ SUM - ggml_
op_ GGML_ OP_ TRANSPOSE - ggml_
op_ GGML_ OP_ VIEW - ggml_
opt_ result_ GGML_ LINESEARCH_ FAIL - ggml_
opt_ result_ GGML_ LINESEARCH_ INVALID_ PARAMETERS - ggml_
opt_ result_ GGML_ LINESEARCH_ MAXIMUM_ ITERATIONS - ggml_
opt_ result_ GGML_ LINESEARCH_ MAXIMUM_ STEP - ggml_
opt_ result_ GGML_ LINESEARCH_ MINIMUM_ STEP - ggml_
opt_ result_ GGML_ OPT_ DID_ NOT_ CONVERGE - ggml_
opt_ result_ GGML_ OPT_ FAIL - ggml_
opt_ result_ GGML_ OPT_ INVALID_ WOLFE - ggml_
opt_ result_ GGML_ OPT_ NO_ CONTEXT - ggml_
opt_ result_ GGML_ OPT_ OK - ggml_
opt_ type_ GGML_ OPT_ ADAM - ggml_
opt_ type_ GGML_ OPT_ LBFGS - ggml_
type_ GGML_ TYPE_ COUNT - ggml_
type_ GGML_ TYPE_ F16 - ggml_
type_ GGML_ TYPE_ F32 - ggml_
type_ GGML_ TYPE_ I8 - ggml_
type_ GGML_ TYPE_ I16 - ggml_
type_ GGML_ TYPE_ I32 - ggml_
type_ GGML_ TYPE_ Q4_ 0 - ggml_
type_ GGML_ TYPE_ Q4_ 1 - ggml_
type_ GGML_ TYPE_ Q4_ 2 - ggml_
type_ GGML_ TYPE_ Q5_ 0 - ggml_
type_ GGML_ TYPE_ Q5_ 1 - ggml_
type_ GGML_ TYPE_ Q8_ 0 - ggml_
type_ GGML_ TYPE_ Q8_ 1
Functions§
- ggml_
abs ⚠ - ggml_
add ⚠ - ggml_
add_ ⚠inplace - ggml_
alibi ⚠ - ggml_
blck_ ⚠size - ggml_
build_ ⚠backward - ggml_
build_ ⚠forward - ggml_
build_ ⚠forward_ expand - ggml_
cont ⚠ - ggml_
conv_ ⚠1d_ 1s - ggml_
conv_ ⚠1d_ 2s - ggml_
cpu_ ⚠has_ arm_ fma - ggml_
cpu_ ⚠has_ avx - ggml_
cpu_ ⚠has_ avx2 - ggml_
cpu_ ⚠has_ avx512 - ggml_
cpu_ ⚠has_ avx512_ vbmi - ggml_
cpu_ ⚠has_ avx512_ vnni - ggml_
cpu_ ⚠has_ blas - ggml_
cpu_ ⚠has_ clblast - ggml_
cpu_ ⚠has_ cublas - ggml_
cpu_ ⚠has_ f16c - ggml_
cpu_ ⚠has_ fma - ggml_
cpu_ ⚠has_ fp16_ va - ggml_
cpu_ ⚠has_ gpublas - ggml_
cpu_ ⚠has_ neon - ggml_
cpu_ ⚠has_ sse3 - ggml_
cpu_ ⚠has_ vsx - ggml_
cpu_ ⚠has_ wasm_ simd - ggml_
cpy ⚠ - ggml_
cycles ⚠ - ggml_
cycles_ ⚠per_ ms - ggml_
diag_ ⚠mask_ inf - ggml_
div ⚠ - ggml_
dup ⚠ - ggml_
dup_ ⚠tensor - ggml_
element_ ⚠size - ggml_
flash_ ⚠attn - ggml_
flash_ ⚠ff - ggml_
fp16_ ⚠to_ fp32 - ggml_
fp16_ ⚠to_ fp32_ row - ggml_
fp32_ ⚠to_ fp16 - ggml_
fp32_ ⚠to_ fp16_ row - ggml_
free ⚠ - ggml_
ftype_ ⚠to_ ggml_ type - ggml_
gelu ⚠ - ggml_
get_ ⚠data - ggml_
get_ ⚠data_ f32 - ggml_
get_ ⚠f32_ 1d - ggml_
get_ ⚠i32_ 1d - ggml_
get_ ⚠name - ggml_
get_ ⚠rows - ggml_
graph_ ⚠compute - ggml_
graph_ ⚠dump_ dot - ggml_
graph_ ⚠print - ggml_
graph_ ⚠reset - ggml_
init ⚠ - ggml_
internal_ ⚠get_ quantize_ fn - ggml_
is_ ⚠quantized - ggml_
map_ ⚠binary_ f32 - ggml_
map_ ⚠unary_ f32 - ggml_
mean ⚠ - ggml_
mul ⚠ - ggml_
mul_ ⚠mat - ggml_
nbytes ⚠ - ggml_
neg ⚠ - ggml_
nelements ⚠ - ggml_
new_ ⚠f32 - ggml_
new_ ⚠i32 - ggml_
new_ ⚠tensor - ggml_
new_ ⚠tensor_ 1d - ggml_
new_ ⚠tensor_ 2d - ggml_
new_ ⚠tensor_ 3d - ggml_
new_ ⚠tensor_ 4d - ggml_
norm ⚠ - ggml_
opt ⚠ - ggml_
opt_ ⚠default_ params - ggml_
permute ⚠ - ggml_
print_ ⚠object - ggml_
print_ ⚠objects - ggml_
quantize_ ⚠chunk - ggml_
quantize_ ⚠q4_ 0 - ggml_
quantize_ ⚠q4_ 1 - ggml_
quantize_ ⚠q4_ 2 - ggml_
quantize_ ⚠q5_ 0 - ggml_
quantize_ ⚠q5_ 1 - ggml_
quantize_ ⚠q8_ 0 - ggml_
relu ⚠ - ggml_
repeat ⚠ - ggml_
reshape ⚠ - ggml_
reshape_ ⚠2d - ggml_
reshape_ ⚠3d - ggml_
rms_ ⚠norm - ggml_
rope ⚠ - ggml_
scale ⚠ - ggml_
set_ ⚠f32 - ggml_
set_ ⚠f32_ 1d - ggml_
set_ ⚠i32 - ggml_
set_ ⚠i32_ 1d - ggml_
set_ ⚠name - ggml_
set_ ⚠param - ggml_
set_ ⚠scratch - ggml_
set_ ⚠zero - ggml_
sgn ⚠ - ggml_
silu ⚠ - ggml_
soft_ ⚠max - ggml_
sqr ⚠ - ggml_
sqrt ⚠ - ggml_
step ⚠ - ggml_
sub ⚠ - ggml_
sum ⚠ - ggml_
time_ ⚠init - ggml_
time_ ⚠ms - ggml_
time_ ⚠us - ggml_
transpose ⚠ - ggml_
type_ ⚠name - ggml_
type_ ⚠size - ggml_
type_ ⚠sizef - ggml_
used_ ⚠mem - ggml_
view_ ⚠1d - ggml_
view_ ⚠2d - ggml_
view_ ⚠3d - ggml_
view_ ⚠tensor