aprender-serve 0.70.2

Pure Rust ML inference engine built from scratch - model serving for GGUF and safetensors
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

GGUFgeneral.architecturellamageneral.name"tinyllama_tinyllama-1.1b-chat-v1.0llama.context_lengthllama.embedding_lengthllama.block_countllama.feed_forward_lengthllama.rope.dimension_count@llama.attention.head_count llama.attention.head_count_kv&llama.attention.layer_norm_rms_epsilon��'7llama.rope.freq_base@Fgeneral.file_typetokenizer.ggml.modelllamatokenizer.ggml.tokens	<unk><s></s><0x00><0x01><0x02><0x03><0x04><0x05><0x06><0x07><0x08><0x09><0x0A><0x0B><0x0C><0x0D><0x0E><0x0F><0x10><0x11><0x12><0x13><0x14><0x15><0x16><0x17><0x18><0x19><0x1A><0x1B><0x1C><0x1D><0x1E><0x1F><0x20><0x21><0x22><0x23><0x24><0x25><0x26><0x27><0x28><0x29><0x2A><0x2B><0x2C><0x2D><0x2E><0x2F><0x30><0x31><0x32><0x33><0x34><0x35><0x36><0x37><0x38><0x39><0x3A><0x3B><0x3C><0x3D><0x3E><0x3F><0x40><0x41><0x42><0x43><0x44><0x45><0x46><0x47><0x48><0x49><0x4A><0x4B><0x4C><0x4D><0x4E><0x4F><0x50><0x51><0x52><0x53><0x54><0x55><0x56><0x57><0x58><0x59><0x5A><0x5B><0x5C><0x5D><0x5E><0x5F><0x60><0x61><0x62><0x63><0x64><0x65><0x66><0x67><0x68><0x69><0x6A><0x6B><0x6C><0x6D><0x6E><0x6F><0x70><0x71><0x72><0x73><0x74><0x75><0x76><0x77><0x78><0x79><0x7A><0x7B><0x7C><0x7D><0x7E><0x7F><0x80><0x81><0x82><0x83><0x84><0x85><0x86><0x87><0x88><0x89><0x8A><0x8B><0x8C><0x8D><0x8E><0x8F><0x90><0x91><0x92><0x93><0x94><0x95><0x96><0x97><0x98><0x99><0x9A><0x9B><0x9C><0x9D><0x9E><0x9F><0xA0><0xA1><0xA2><0xA3><0xA4><0xA5><0xA6><0xA7><0xA8><0xA9><0xAA><0xAB><0xAC><0xAD><0xAE><0xAF><0xB0><0xB1><0xB2><0xB3><0xB4><0xB5><0xB6><0xB7><0xB8><0xB9><0xBA><0xBB><0xBC><0xBD><0xBE><0xBF><0xC0><0xC1><0xC2><0xC3><0xC4><0xC5><0xC6><0xC7><0xC8><0xC9><0xCA><0xCB><0xCC><0xCD><0xCE><0xCF><0xD0><0xD1><0xD2><0xD3><0xD4><0xD5><0xD6><0xD7><0xD8><0xD9><0xDA><0xDB><0xDC><0xDD><0xDE><0xDF><0xE0><0xE1><0xE2><0xE3><0xE4><0xE5><0xE6><0xE7><0xE8><0xE9><0xEA><0xEB><0xEC><0xED><0xEE><0xEF><0xF0><0xF1><0xF2><0xF3><0xF4><0xF5><0xF6><0xF7><0xF8><0xF9><0xFA><0xFB><0xFC><0xFD><0xFE><0xFF>▁▁▁terin▁aenon▁thes▁▁▁▁▁s▁datoran▁cisreit▁thearle▁w▁poual▁f▁med▁o▁bomioningicaselent▁in▁hndet▁l▁nst▁toch▁Iro▁▁▁▁▁▁▁▁il▁ofdect▁(am▁C▁de▁S▁u▁A▁\▁e▁and▁Tol▁vimotadut▁gemurid▁*igra▁re▁isquow▁Mest▁yseveceieun▁P▁Bagul▁=heendodetermentos▁Difation▁for▁r▁L▁you▁belyverabte▁it▁onrius▁"▁wh▁con▁H▁stir▁E▁Fck▁anthegayith▁Ristand▁that▁al▁$▁#odum▁Whtcode▁Gateess▁Nerepp▁as▁se▁pro▁withpe▁kerspt);lo▁▁▁▁▁▁comame▁`▁Comiaant▁la▁{▁enction▁exldub▁jlaue▁Jich▁do▁O▁quivortart▁un▁##▁thiske▁ha▁-out▁The▁not▁neill▁leciromine//opegin
▁Comment0▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁beginстassiz).og▁п▁or▁was▁atour▁iain▁Kна▁Vge▁suapageouldneavxtoreile--▁в▁byliathраberachall▁Thult▁}▁U▁us▁zust▁havelicни▁cantrcom),tokenizer.ggml.scores	tokenizer.ggml.token_type	tokenizer.ggml.merges	▁ te ri n▁ ae no n▁t h▁ the s▁ s▁ da to ra n▁ ci sr ei t▁t he▁th e▁ thea rl e▁ w▁ po ua l▁ f▁ me d▁ o▁ bo mio ni onin gi ngi ca se len te nt▁i n▁ in▁ hn de t▁ l▁ ns t▁t o▁ toc h▁ Ir oi l▁o f▁ ofd ec t▁ (a m▁ C▁d e▁ de▁ S▁ u▁ A▁ \▁ e▁a nd▁an d▁ and▁ To l▁ vi mo ta du t▁ ge mu ri d▁ *i gr a▁r e▁ re▁i s▁ isq uo w▁ Mes te st▁ ys ev ec ei eu n▁ P▁ Ba gu l▁ =h een de ndod eo dete rt erme ntmen tm ento s▁ Di fat ionati onatio na tion▁f or▁fo r▁ for▁ r▁ L▁y ou▁yo u▁ you▁b e▁ bel yve rv era bt e▁i t▁ it▁o n▁ onr iu s▁ "▁w h▁ wh▁c on▁co n▁ con▁ H▁s t▁ sti r▁ E▁ Fc k▁a n▁ ant he ga yit hi th▁ Ris ti stan da nd▁t hat▁th at▁ that▁a l▁ al▁ $▁ #o du m▁ Wh tco decod ec ode▁ Gat ea tees se ss▁ Ner ee rep p▁a s▁ as▁s e▁ se▁p ro▁pr o▁ pro▁w ith▁wit h▁ withp e▁ ker se rsp t) ;l o▁c om▁co m▁ comam ea me▁ `▁C om▁Co m▁ Comi aan ta nt▁l a▁ la▁ {▁e n▁ enct ionc tion▁e x▁ exl du b▁ jl au e▁ Jic hi ch▁d o▁ do▁ O▁q u▁ qui vor to rtar ta rt▁u n▁ un▁# #▁ ##▁t his▁th is▁ thisk e▁h a▁ ha▁ -ou to ut▁T he▁Th e▁ The▁n ot▁no t▁ not▁n e▁ neil li ll▁l e▁ lec iro mr omin ei ne/ /o peg ine gin▁Com ment▁Comm ent▁ Commentbe ginbeg inb eginс тas sa ssi z) .o g▁ п▁o r▁ or▁w as▁wa s▁ was▁a t▁ atou ro ur▁ iai na in▁ Kн а▁ Vg e▁s u▁ sua pag ea geou ldoul do uldn ea vx tor eo reil ei le- -▁ в▁b y▁ byl iat ha thр аbe rb erac ha chal la ll▁T h▁ Thul tu lt▁ }▁ U▁u s▁ us▁ zus tu st▁h ave▁ha ve▁hav e▁ haveli cl icн и▁c an▁ca n▁ cant rco mc om) ,▁I n▁ Inin di ndel le ll▁f rom▁fr om▁fro m▁ fromо вt o▁ [ab leabl ea bleos to st▁c h▁ chec te ctig htigh tin ti nt▁ '▁a re▁ar e▁ are▁i m▁ im▁s h▁ sh▁ <▁A n▁ An▁ сat aa tair ei re▁t r▁ trco nc onor do rdit yi tyar da rd▁h e▁ he▁b ut▁bu t▁ buto c= "▁p r▁ prur eu repe rp erac ka ckor kon go ngan sa nsк оpl ep le▁d es▁de s▁ deso kor mo rmwe rw era kp ras ea se▁e l▁ elp ha c▁u nd▁un d▁ und▁a r▁ ar▁i f▁ ifu dp sit ei tebl eb leн оfe rf erp liv ei vean ga ngen se nsр о▁s o▁ sos oas ta st( )sw ers werr uie si es▁ :a uo vр ег о▁d er▁de r▁ der▁m y▁ my▁w e▁ we▁m e▁ men t▁a d▁ adur nu rn▁y ourtokenizer.ggml.bos_token_idtokenizer.ggml.eos_token_idtokenizer.ggml.unknown_token_idtokenizer.ggml.padding_token_idtokenizer.chat_template�{% for message in messages %}
{% if message['role'] == 'user' %}
{{ '<|user|>
' + message['content'] + eos_token }}
{% elif message['role'] == 'system' %}
{{ '<|system|>
' + message['content'] + eos_token }}
{% elif message['role'] == 'assistant' %}
{{ '<|assistant|>
'  + message['content'] + eos_token }}
{% endif %}
{% if loop.last and add_generation_prompt %}
{{ '<|assistant|>' }}
{% endif %}
{% endfor %}general.quantization_version