portail 2.1.0

Unified proxy/gateway: AI Gateway + MCP Gateway + CDN cache
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62

# A2C Module (Agent-to-Consumer)

## Architecture

```
┌─────────────────────────────────────────────────────────────────┐
│                    A2C Chat Flow                                │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│   Consumer Request                                              │
│        │                                                        │
│        ▼                                                        │
│   ┌────────────┐     ┌────────────┐     ┌────────────┐         │
│   │  /a2c/chat │────▶│  Apply     │────▶│  Forward   │         │
│   │            │     │  Hooks     │     │  to        │         │
│   │            │     │            │     │  Upstream  │         │
│   └────────────┘     └────────────┘     └────────────┘         │
│                                              │                  │
│                                              ▼                  │
│                                       ┌────────────┐            │
│                                       │  LiteLLM   │            │
│                                       │  / OpenAI  │            │
│                                       └────────────┘            │
│                                              │                  │
│                                              ▼                  │
│                                       ┌────────────┐            │
│                                       │  Response  │            │
│                                       │  (stream)  │            │
│                                       └────────────┘            │
│                                                                 │
├─────────────────────────────────────────────────────────────────┤
│   Chat Request Format                                           │
│                                                                 │
│   {                                                             │
│     "messages": [                                               │
│       { "role": "user", "content": "Hello" }                    │
│     ],                                                          │
│     "model": "gpt-4",                                           │
│     "stream": true,                                             │
│     "temperature": 0.7                                          │
│   }                                                             │
│                                                                 │
├─────────────────────────────────────────────────────────────────┤
│   Tool Calls (MCP Integration)                                  │
│                                                                 │
│   {                                                             │
│     "id": "call_123",                                           │
│     "tool_name": "read_file",                                   │
│     "arguments": { "path": "/tmp/test.txt" }                    │
│   }                                                             │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘
```

## Hot Paths

1. **handle_chat()** - Serialize request, forward, return - O(1)
2. **forward_with_url()** - HTTP request to upstream - O(1)

## Endpoints

- `POST /a2c/chat` - Chat completion request