portail 2.1.0

Unified proxy/gateway: AI Gateway + MCP Gateway + CDN cache
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

# Gateway Module

## Architecture

```
┌─────────────────────────────────────────────────────────────────┐
│                     AI Gateway Forwarding                       │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│   Client Request                                                │
│        │                                                        │
│        ▼                                                        │
│   ┌────────────┐     ┌────────────┐     ┌────────────┐         │
│   │  strip_    │────▶│  add_xff() │────▶│  HTTP      │         │
│   │  hop_by_   │     │            │     │  Client    │         │
│   │  hop()     │     │            │     │  (reqwest) │         │
│   └────────────┘     └────────────┘     └────────────┘         │
│                                              │                  │
│                                              ▼                  │
│                                       ┌────────────┐            │
│                                       │  Upstream  │            │
│                                       │  (LiteLLM) │            │
│                                       └────────────┘            │
│                                              │                  │
│                                              ▼                  │
│                                       ┌────────────┐            │
│                                       │  Response  │            │
│                                       │  (strip)   │            │
│                                       └────────────┘            │
│                                                                 │
├─────────────────────────────────────────────────────────────────┤
│   Hop-by-Hop Headers Removed                                    │
│                                                                 │
│   host, connection, transfer-encoding, proxy-authenticate,      │
│   proxy-authorization, te, trailer, upgrade, keep-alive         │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘
```

## Hot Paths

1. **forward()** - Parse request, forward, return response - O(1)
2. **forward_with_body()** - Same but with pre-read body - O(n)
3. **strip_hop_by_hop()** - Filter headers - O(n)

## Client Configuration

```rust
Client::builder()
    .timeout(Duration::from_secs(600))
    .http2_keep_alive_interval(Some(Duration::from_secs(30)))
    .build()
```