liquid-cache-client 0.1.10

10x lower latency for cloud-native DataFusion
Documentation
---
source: src/client/src/tests/mod.rs
expression: displayable.tree_render().to_string()
---
┌───────────────────────────┐
│  SortPreservingMergeExec  │
│    --------------------   │
│        revenue DESC       │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│          SortExec         │
│    --------------------   │
│       revenue@1 DESC      │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│       ProjectionExec      │
│    --------------------   │
│       n_name: n_name      │
│                           │
│          revenue:         │
│        sum(lineitem       │
│        .l_extendedp       │
│ rice * Int64(1) - lineitem│
│        .l_discount)       │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│       AggregateExec       │
│    --------------------   │
│           aggr:           │
│        sum(lineitem       │
│        .l_extendedp       │
│ rice * Int64(1) - lineitem│
│        .l_discount)       │
│                           │
│      group_by: n_name     │
│                           │
│           mode:           │
│      FinalPartitioned     │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│    CoalesceBatchesExec    │
│    --------------------   │
│     target_batch_size:    │
│           16384           │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│      RepartitionExec      │
│    --------------------   │
│ partition_count(in->out): │
│           8 -> 8          │
│                           │
│    partitioning_scheme:   │
│    Hash([n_name@0], 8)    │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│       AggregateExec       │
│    --------------------   │
│           aggr:           │
│        sum(lineitem       │
│        .l_extendedp       │
│ rice * Int64(1) - lineitem│
│        .l_discount)       │
│                           │
│      group_by: n_name     │
│       mode: Partial       │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│    CoalesceBatchesExec    │
│    --------------------   │
│     target_batch_size:    │
│           16384           │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│        HashJoinExec       │
│    --------------------   │
│            on:            ├──────────────┐
│(r_regionkey = n_regionkey)│              │
└─────────────┬─────────────┘              │
┌─────────────┴─────────────┐┌─────────────┴─────────────┐
│   LiquidCacheClientExec   ││       ProjectionExec      │
│    --------------------   ││    --------------------   │
│          server:          ││        l_discount:        │
│  http://localhost:50051,  ││         l_discount        │
│      object_stores=[]     ││                           │
│                           ││      l_extendedprice:     │
│                           ││      l_extendedprice      │
│                           ││                           │
│                           ││       n_name: n_name      │
│                           ││                           │
│                           ││        n_regionkey:       │
│                           ││        n_regionkey        │
└─────────────┬─────────────┘└─────────────┬─────────────┘
┌─────────────┴─────────────┐┌─────────────┴─────────────┐
│       DataSourceExec      ││    CoalesceBatchesExec    │
│    --------------------   ││    --------------------   │
│          files: 1         ││     target_batch_size:    │
│      format: parquet      ││           16384           │
│                           ││                           │
│         predicate:        ││                           │
│       r_name = ASIA       ││                           │
└───────────────────────────┘└─────────────┬─────────────┘
                             ┌─────────────┴─────────────┐
                             │        HashJoinExec       │
                             │    --------------------   │
                             │            on:            ├──────────────┐
                             │(n_nationkey = s_nationkey)│              │
                             └─────────────┬─────────────┘              │
                             ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                             │   LiquidCacheClientExec   ││       ProjectionExec      │
                             │    --------------------   ││    --------------------   │
                             │          server:          ││        l_discount:        │
                             │  http://localhost:50051,  ││         l_discount        │
                             │      object_stores=[]     ││                           │
                             │                           ││      l_extendedprice:     │
                             │                           ││      l_extendedprice      │
                             │                           ││                           │
                             │                           ││        s_nationkey:       │
                             │                           ││        s_nationkey        │
                             └─────────────┬─────────────┘└─────────────┬─────────────┘
                             ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                             │       DataSourceExec      ││    CoalesceBatchesExec    │
                             │    --------------------   ││    --------------------   │
                             │          files: 1         ││     target_batch_size:    │
                             │      format: parquet      ││           16384           │
                             │      predicate: true      ││                           │
                             └───────────────────────────┘└─────────────┬─────────────┘
                                                          ┌─────────────┴─────────────┐
                                                          │        HashJoinExec       │
                                                          │    --------------------   │
                                                          │            on:            │
                                                          │ (s_suppkey = l_suppkey),  ├──────────────┐
                                                          │       (s_nationkey =      │              │
                                                          │        c_nationkey)       │              │
                                                          └─────────────┬─────────────┘              │
                                                          ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                          │   LiquidCacheClientExec   ││      RepartitionExec      │
                                                          │    --------------------   ││    --------------------   │
                                                          │          server:          ││ partition_count(in->out): │
                                                          │  http://localhost:50051,  ││           1 -> 8          │
                                                          │      object_stores=[]     ││                           │
                                                          │                           ││    partitioning_scheme:   │
                                                          │                           ││     RoundRobinBatch(8)    │
                                                          └─────────────┬─────────────┘└─────────────┬─────────────┘
                                                          ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                          │       DataSourceExec      ││    CoalesceBatchesExec    │
                                                          │    --------------------   ││    --------------------   │
                                                          │          files: 1         ││     target_batch_size:    │
                                                          │      format: parquet      ││           16384           │
                                                          │      predicate: true      ││                           │
                                                          └───────────────────────────┘└─────────────┬─────────────┘
                                                                                       ┌─────────────┴─────────────┐
                                                                                       │        HashJoinExec       │
                                                                                       │    --------------------   │
                                                                                       │            on:            ├───────────────────────────────────────────┐
                                                                                       │ (o_orderkey = l_orderkey) │                                           │
                                                                                       └─────────────┬─────────────┘                                           │
                                                                                       ┌─────────────┴─────────────┐                             ┌─────────────┴─────────────┐
                                                                                       │       ProjectionExec      │                             │   LiquidCacheClientExec   │
                                                                                       │    --------------------   │                             │    --------------------   │
                                                                                       │        c_nationkey:       │                             │          server:          │
                                                                                       │        c_nationkey        │                             │  http://localhost:50051,  │
                                                                                       │                           │                             │      object_stores=[]     │
                                                                                       │        o_orderkey:        │                             │                           │
                                                                                       │         o_orderkey        │                             │                           │
                                                                                       └─────────────┬─────────────┘                             └─────────────┬─────────────┘
                                                                                       ┌─────────────┴─────────────┐                             ┌─────────────┴─────────────┐
                                                                                       │    CoalesceBatchesExec    │                             │       DataSourceExec      │
                                                                                       │    --------------------   │                             │    --------------------   │
                                                                                       │     target_batch_size:    │                             │          files: 1         │
                                                                                       │           16384           │                             │      format: parquet      │
                                                                                       │                           │                             │      predicate: true      │
                                                                                       └─────────────┬─────────────┘                             └───────────────────────────┘
                                                                                       ┌─────────────┴─────────────┐
                                                                                       │        HashJoinExec       │
                                                                                       │    --------------------   │
                                                                                       │            on:            ├──────────────┐
                                                                                       │  (o_custkey = c_custkey)  │              │
                                                                                       └─────────────┬─────────────┘              │
                                                                                       ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                                                       │   LiquidCacheClientExec   ││   LiquidCacheClientExec   │
                                                                                       │    --------------------   ││    --------------------   │
                                                                                       │          server:          ││          server:          │
                                                                                       │  http://localhost:50051,  ││  http://localhost:50051,  │
                                                                                       │      object_stores=[]     ││      object_stores=[]     │
                                                                                       └─────────────┬─────────────┘└─────────────┬─────────────┘
                                                                                       ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                                                       │       DataSourceExec      ││       DataSourceExec      │
                                                                                       │    --------------------   ││    --------------------   │
                                                                                       │          files: 1         ││          files: 1         │
                                                                                       │      format: parquet      ││      format: parquet      │
                                                                                       │                           ││      predicate: true      │
                                                                                       │         predicate:        ││                           │
                                                                                       │ o_orderdate >= 1994-01-01 ││                           │
                                                                                       │   AND o_orderdate < 1995  ││                           │
                                                                                       │           -01-01          ││                           │
                                                                                       └───────────────────────────┘└───────────────────────────┘