llama-cpp-sys-4 0.10.0

Low Level Bindings to llama.cpp
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

#ifndef HTP_DCACHE_H
#define HTP_DCACHE_H

#include <stdint.h>
#include "htp-ops.h"

#define HTP_MAX_DIRTY_RANGES 64

struct htp_dirty_range {
    uint32_t start;
    uint32_t end;
};

struct htp_context;

void htp_dcache_flush_dirty_ranges(struct htp_context * ctx);
void htp_dcache_flush_dirty_tensors(struct htp_context * ctx, const struct htp_tensor * const * tensors, uint32_t n);
void htp_dcache_mark_dirty_tensors(struct htp_context * ctx, const struct htp_tensor * const * tensors, uint32_t n);

#endif // HTP_DCACHE_H