aprender-serve 0.70.2

Pure Rust ML inference engine built from scratch - model serving for GGUF and safetensors
1
2
3
4
5
�5=-%��5=�5=<���o��5=�5=�o��5=�o��5=�5=�5=�5=�5=p��h��h��h��h��h����=�=>��=h��h����=h��h��p����=��=@��@���A<�A<��=�A<@��@���A<@����=��=�A<�A<@��TM=ϼ2νϼ2νϼ2νP4�ϼϼϼ2νϼϼ2νϼ��<��<��<��=��<��<@�h>��<@���<@���=��=��<��<��<��<��=��=@��@����<@����<h�=@��h�=@����<@��h�=���(@����(@��������=����=������(@�P���=��������<��<��<��<@���<��=��=@���<��<��=��<��<��<��=��<@��@����=�P=��<@����<��=��<��<@���P=@��@����<<ܽ0�<<ܽ0�<��0�<P4�0�<������0�<0�<0�<0�<0�<�?� �< �< �<�?� �<�?��?��?� �< �<�?��?�`X� �<��=��<@�@���=��<@���<@���<h>��<@���=��<��<��<�C<�C<�C<�C<�C<�C<�C<�C<�C<�C<�C<�g�XF��g��g��g�Ѐ<`X���=Ѐ<`X�`X�~>Ѐ<Ѐ<`X�Ѐ<`X�Ѐ<Ѐ<`X�Ѐ< �<; �<; м`X�`X� м м м`X� �< �< м �<;4�4�P�<P�<`ؽP�<P�<4�4���=P�<��=P�<P�<P�<4������<��<X����<�����<�����<��<�����<��<�����<������F=���N����N��N����N��F=�F=�N��N���=���F=����;����;����&=�;�;�;�;@�@��&=�;@��&=���x�=P=�������&<����&<P=P=P=���P=�&<P=P=�C<�v��v��=�=�v��v��=�v��v�X,�X,��C<X,��C<�C<�p=�p=��P�=�����p=�����p=�����p=�p=�p=���`4=@M<`4=@M<`4=���`4=���@M<�N����@M<@M<@M<@M<@M<X,��C<�v��=�C<�v��C<�v��C<�v��C<X,��=�v��v��=Hq��V<Hq�8I=�V<Hq�8I=�V<Hq�8I=����V<����V<������g;g;`�� �< �<�N� �< �< �< �<�N�g; �<`��`�� �<�@;�@;�@;X,��@;�@;hD=X,�d�=hD=�@;�@;�@;�@;�@;hD=`<`<`<`<`<T�=xp�`<`<`<`<B�xp�xp�`<`< �<�:��� �< �<��� �<��� �< �<P= �<�������: �<��<��<�����������������<��<��<��������<��<�c�Hq���<�c���<�c��c��=�c���<��<�=�c�Hq��c��:�μ�:�μ��<��<�:�μ�μ�:xd=�:�μ��<�μxd=�w�8�;q��w�q��w�?�<?�<�w�q�q��w�q�8�;q�q���:��:��:���L�<t$<��:���t$<t$<t$<t$<��:������t$<�����;��;������;��;�p<��;��;��;��;��p<��|<�|<����^����p�;�^�p�;���p�;�^�����|<���p�;������<�<f#������<�����f#���f#��<�<���<q�q�q�q�8�;8�;?�<�w�q�8�;8�;8�;�w�q�q�q��ۻ(�;�ۻ(�;(�;�ۻ���(�;�ۻ�ۻ{�<(�;�ۻ���(�;(�;�s;�s;F���<�����<F�����s;�s;�s;��<�s;�s;F�F��;0'�6��0'�0'��;0'���;��0'��0'�0'��;e;0h��,<�,<e;0h�\-�e;�,<0h�0h�0h�0h��,<�,<0h����T;f�<���T;�T;�T;���T;<�T;�����T;�T;���+� F��0< F��+��0<�+� F��+� F� F��+��+��<�+��+� F� F���; F���;��;Ŋ<H�H�H�H� F���;H���;H�J&<J&<T��T��J&<�^�@;T��J&<T���^�T��J&<@;T��T����;��;�O�6���O��O��O��O�6����;�O���;�O���;��;��Ȃ;�������^����Ȃ;�^��Q<�Q<����������Q<�Q<���Ȃ;l�<��;��;��;(
���;��;(
���;��;(
���;l�<��;��;�ȼ����:@<<�:@<<@<<�:���:@<<�����������:�< ]� ]��< ]��< ]��< ]�H�H�H��<�<�<�<�ڻ�<�z<�z<�):�ڻ�<�ڻ�z<�):�ڻ�<�ڻ�ڻ�<�<�:������@<<@<<�:����@<<@<<��@<<@<<@<<�:�:���X6��	<�	<���Ԕ<�	<����	<������X6��	<X6�X6����|�<����O:�O:�O:�O:�O:���O:����������O:�O:�O:�O:���� V<�����; V<�� V<���;�< V< V<�; V<0I<�t;�������Z��t;0I<���0I<�Z��������t;����Z�����$<H������$<��:����:������:��:��:�$<��:��:���@<;'<'<���'<'<'<'<�����<'<���'<@<;������w<��� �; �;��< �;���w< �; �;��� �;w<���w<�Z�@��Z�@�@�@��Z�0
<�Z�0
<�Z���<@�@�@�@��*<��:�ڻ�*<L�<��:��:L�<�ڻ��:�ڻ��:�ڻ�*<��:�ڻ�1<�1<��X6��X6���Բ<�1<�1<��1<��X6��f;X6�`y��f;`y��f;X6�`y�`y��1<�f;�1<`y�X6��1<���v=�����\��\����\��v=�\��\����v=�\��\��\�D�D�D�D�@[=D��s�D�D�D��s�D�����s�D�D��H<�H<�H<�����H<�H<�H<����H<����H<�H<���H<�� U< U< U< U< U< U< U<82�> U< U< U<82� U<d�=82�82�)=82�)=82�82�)=)=82��W>)=82�82�)=82�82��H<�H<�H<�H<����H<�������������H<�_=�������_=�_=�����<��������<���p�=��<(�=��<��<��<��<��<p�=����<�<���<�<�������������<���<�<�<T�=�0�<��0�<���0�<0�<0�<0�<�0�<�T�=���������)=��T�=����)=82�������82���Y>��=��= �P�< �82�P�< � � � ��=82�82� �82� � ���
=������
=@[<�@[<��������������D����D�`�<D�D�`�<`�<D�pd=`�<D�D�D���� ��@�< ���S�@�<@�<@�<@�<8�� ��@�< �� �� �� �� �������������������=����������������^��������������<�<��=�<����<�<�������<�������<����<����=���=�:���=�:��=�:�:��p�=4�<�K=�ܻ:�:��ܻ4�<:��K=�K=:��ܻ�ܻ4�<4�<4�<�^��^���`����H�<`��H�<H�<`��H�<`��H�<`��`��H�<��;��;p��=��;�N�p���N���;�N�p��==��;p����;H+<(	�H+<�޼��<H+<(	��޼(	�(	�(	��޼H+<H+<H+<��<������=�����=�=�����=�=���=��������;�;�;DּDּDּd�<Dּ�;�;Dּ�;�;�^�Dּd�<��<��<��:��:��<�޼�k=��:��:��<��:��:�޼�޼�޼��:p�;��<:N=�~�p�;�~�:N=p�;��<:N=�~�p�;�~���<�~�p�;=p!<����>�p!<p!<p!<p!<p!<p!<=������p!<=p!<�~��~�̭<̭<�~��~��~��==�==̭<�~��~�C�=̭<�~��~���;��;==p��p����;=��;p��p����;��;=��;�N��<����<�<�޼�������<�޼���|=�������<����<L=$��9<�9<$�Pa�Pa��9<�9<�9<Pa��9<�9<�9<Pa��9<0<0<0<0<�¼�¼d9=d9=0<0<�¼0<�¼�n�0<�¼<<���<<ԁ�<<ԁ�ԁ�<<ԁ�<<��<<<ԁ�������ԁ��+�(<�+��+�$q�$q��+�(<(<$q��+�(<�+�(<�+���<\<\<����\<��|�|��t��\<�|��� �: �: �: �: �:���� �:���� �:P-<ޢ< �: �:8ۻ��;@����;8ۻ�$<��;@���$<�$<@��8ۻ�$<@���$<��;����(<������P:;P:;���LE��(<P:;����(<P:;�(<���P:;�<���������`�;���`�;$q��<$q�`�;���`�;���`�;�<`/���;ا��9ا���;`/��9�9��;��;`/�`/�`/��9�9n<���������@�;@�;n<@�;8[����@�;@�;@�;n<���8[�p<dȻdȻj��dȻdȻdȻdȻdȻp<dȻdȻdȻ��<p<dȻ
<����
<��
<
<LE���LE�٘<����٘<������:��;��:x���:��:t���:t���:��;t���:��;��;x�8ۻ��;�$<�$<8ۻ��;@��8ۻ8ۻ��;@��8ۻ@��@���$<@���;�3���<�3��3��3�LE��3��;�;�;�;�;LE�LE��;\��\��\��;�<`/�\��\��`/�`/�\��\���<`/�`/�\��Ԏ<P����;��;P��P����;��;�����;������P��P����;P����:8<��:�l��l��ѻ8<�ѻ��:��:��:�ѻ��:��:��:��:@�;@�;H��p��@�;@�;p��@�;p����<@�;@�;p��H��p��p�����0��0��w;�v<�v<0��0��w;�v<w;0��0��w;w;w;��;��;��;��;�=�����=��=���;�=��=���;��;�<�=��=�\V<�;�;�;�;`���;�;�; ��;�;`��`�� ��;�ƻ�ƻ�ƻ�ƻ$�< ���;�ƻ�ƻ�ƻ$�<�;�ƻ�ƻ�ƻ�ƻ�%��%���;Ȓ���;��;@�:Ȓ�@�:Ȓ��%���;��;@�:��;@�:�<H���<z��<z�z��<�<�<�<ʦ<z�ʦ<�<z�8����������8������;��; �� �����8���������������$/<$/<��@�:H��$/<$/<$/<������$/<H��$/<@�:�%�<<�p�<�%��p��5;�5;�p�<�5;<�p��5;�%�0��w;w;w;������w;�v<���w;w;w;w;w;0��w;8G<8G<f:8G<x*����8G<x*�x*����f:8G<8G<x*�x*�8G<�;�;?<�;�; ���; ������;���?<?<�; ���;M�M�M���M�pF<M�M�M�pF<pF<��M���;M����<Х��<l�l�l�0-�l��<l��<�<l�0-�0-��<�������=�������½0�=������������0�=���0�=0�=���@��j�@���:�:@���:@��@���=�:�:@���:�:j� �<�i������� �� �<�� ���i� �� �� �<�� �< �< )< )<��<������< )<�� )<����� )<���<(�<��(�<������(�<(�<��(�<(�<������(�<���A��A��A�D>=D>=�A��A��A��A��A�j�D>=�A��A�D>=D>=П�8=П�П�П�8=8=8=П�8=8=,�=8=��П�П����>=`�=���>=�������>=�i�`�=�����i�`�=�>=�*��*��*��*��*��*��*�8/��<8/�8/��<�^=�*��*��*�<�=������<��������������<��<<�=��<���>0=<8��0=<�R>0=<0=<0=<0=<0=<0=<8��0=<8��0=<0=<8���<�o��o��o��<�<�<[��o��<�o��<�<�o��o��o��=�><�i��><�=�i��i��><�i��><�i��i��><�i��i��i�8/�@&;8/�@&;D=D=@&;@&;8/�D=8/�8/�@&;@&;ξ=@&;�s=�s=���i��s= �<���s=�� �< �<�i��i��s= �<����X?�X?����<���<��<��<�X?���<�8����<�3�`Ľ�=�=�3��=�3��3��3��=�=�3��3��=�3��3�Pq�Pq�(�<H�H��;�;Pq��;Pq�(�<�;�;�;(�<�;e���<��<e���<e�e�]=e�e�e�`D�]=��<e�e���������<��<��<��<��=�����<��<��������<��<H����=`ļ`ļ`ļ�:�<�V=�<`ļ�:`ļ�V=�:�:�:`ļ`ļH�`̻`̻H�H�`̻`̻`̻`�<`�<`�<`�<`̻`�<`�<�Y=H��H��`<<`<<�(=H��H��H��H��`<<H��`<<`<<�(=`D�H���������=�=������H����=���=H����=x�<x�<�x�<���x��x�<xu�x�<x�<�����;Pq�H�(�<(�<�;Pq��;�;H��;�;�;�;Pq��;�+��u<�+��+��%=�u<�%=�u<�u<�+�H��u<H��+��+��+�`<<H��H��`D�H��H���(=H��`<<`<<H��`<<H��H��H��`D� �<`= �< �<豼豼豼`= �<豼豼豼 �< �<xu�xu�P�U<P�U<U<H��H��(c=U<U<P�P�P�U<U<U<H��u<H�H�H��u<�u<H�H��=�u<�u<�u<�u<H�H��8<�8<�8<�V��8<�8<�8<�V��8<8��8<�8<�8<�8<�8<�8<��; ����;��;�8 ����; ���8�8�8��;�8�8@B� ��ൺ�ൺ,�;ൺ,�;,�;,�;ൺ,�;,�;ൺ���ൺ�,�;9995�995�9F9<99995�F9<����;�5���;����;������<���5���;��;�5���;����;��; ���8�8 ����;��;��;@B���; �� ����; ���8 ���r��r��r��r�0�;���������0�;����<0�;���0�;����<�����h<���)��)��h<���)��)��)�X�;�)��h<��X�;88��;88@»��;�C<@»@»8��;�C<��;88��������;�������;�\<���;���;�\<�\<�����ji<$��$��$��$��ji<�r�X�;$��X�;X�;X�;$��X�;ji<ji<�������;���;����\<�\<�\<���������\<�������:��:�,<�,<��: ��,< ���:��: ������� ���:�,<��� J;�� J; J; J;�� J; J; J;|]< J;|]< J; J;��xv;@»xv;@»\\<��<xv;@»@»xv;@»xv;@»xv;\\<@»Hp�PG;Hp�Hp��)�PG;Hp��<�)�Hp��<Hp�PG;�)��)��<�Z�����<��:�����:�������<�Z���:�����:��:�<�<pA<�;pA<pA<�����;��<�;���;���;pA<�;pA<����;���� C� C���;�� C�����; C� C���<����; û��;Ϻ��;07; û07;Ϻ07; û ûϺ ûϺϺ ûh�;P���R<P��h�;�[�h�;h�;P��P��h�;�[��R<h�;�R<h�;��;�[�Hw���;�[��}<Hw��[��}<�[�Hw�Hw���;Hw���;��;����@�:@�:�$<@�:����@�:�<@�:@�:��@�:�<@�:�9>A<�9~3�>A<�9�9�9>A<�9�9�9>A<>A<�9X��V@�������V@��:���X������:�:X������:X������������w<��;��;�����;�����;��;���������&��������@���;X��;@��@���E<�E<@��@���E<@��@���;@���E<p�;��<p�;����<����p�;������<��<����p�;0�;0�;O�0�;0�; C�O�0�;0�;�j<O�O��j<O�O��j<�h��s��h�P�;�s�P�;�h�8�P�;P�;�h�8�P�;�s�8�8���;�s�l��.e<�s���;.e<l����;.e<��;l��l��.e<l����;�[��ѻ�:�;�:�;�;�ѻ�ѻ�ѻ�:�[��;�;�ѻ�[�Č���:Č�Č�R<��:R<R<R<R<��:Č��*��*���:�*�