liquid-cache-client 0.1.10

10x lower latency for cloud-native DataFusion
Documentation
---
source: src/client/src/tests/mod.rs
expression: displayable.tree_render().to_string()
---
┌───────────────────────────┐
│  SortPreservingMergeExec  │
│    --------------------   │
│ supp_nation ASC NULLS LAST│
│  , cust_nation ASC NULLS  │
│   LAST, l_year ASC NULLS  │
│            LAST           │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│          SortExec         │
│    --------------------   │
│  supp_nation@0 ASC NULLS  │
│     LAST, cust_nation@1   │
│   ASC NULLS LAST, l_year  │
│     @2 ASC NULLS LAST     │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│       ProjectionExec      │
│    --------------------   │
│        cust_nation:       │
│        cust_nation        │
│                           │
│       l_year: l_year      │
│                           │
│          revenue:         │
│    sum(shipping.volume)   │
│                           │
│        supp_nation:       │
│        supp_nation        │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│       AggregateExec       │
│    --------------------   │
│           aggr:           │
│    sum(shipping.volume)   │
│                           │
│         group_by:         │
│ supp_nation, cust_nation, │
│           l_year          │
│                           │
│           mode:           │
│      FinalPartitioned     │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│    CoalesceBatchesExec    │
│    --------------------   │
│     target_batch_size:    │
│           16384           │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│      RepartitionExec      │
│    --------------------   │
│ partition_count(in->out): │
│           8 -> 8          │
│                           │
│    partitioning_scheme:   │
│    Hash([supp_nation@0,   │
│       cust_nation@1,      │
│        l_year@2], 8)      │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│       AggregateExec       │
│    --------------------   │
│           aggr:           │
│    sum(shipping.volume)   │
│                           │
│         group_by:         │
│ supp_nation, cust_nation, │
│           l_year          │
│                           │
│       mode: Partial       │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│       ProjectionExec      │
│    --------------------   │
│    cust_nation: n_name    │
│                           │
│          l_year:          │
│date_part(YEAR, l_shipdate)│
│                           │
│    supp_nation: n_name    │
│                           │
│          volume:          │
│ l_extendedprice * (Some(1)│
│    ,20,0 - l_discount)    │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│    CoalesceBatchesExec    │
│    --------------------   │
│     target_batch_size:    │
│           16384           │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│        HashJoinExec       │
│    --------------------   │
│          filter:          │
│ n_name = FRANCE AND n_name│
│    = GERMANY OR n_name =  │
│    GERMANY AND n_name =   ├──────────────┐
│           FRANCE          │              │
│                           │              │
│            on:            │              │
│(n_nationkey = c_nationkey)│              │
└─────────────┬─────────────┘              │
┌─────────────┴─────────────┐┌─────────────┴─────────────┐
│   LiquidCacheClientExec   ││       ProjectionExec      │
│    --------------------   ││    --------------------   │
│          server:          ││        c_nationkey:       │
│  http://localhost:50051,  ││        c_nationkey        │
│      object_stores=[]     ││                           │
│                           ││        l_discount:        │
│                           ││         l_discount        │
│                           ││                           │
│                           ││      l_extendedprice:     │
│                           ││      l_extendedprice      │
│                           ││                           │
│                           ││        l_shipdate:        │
│                           ││         l_shipdate        │
│                           ││                           │
│                           ││       n_name: n_name      │
└─────────────┬─────────────┘└─────────────┬─────────────┘
┌─────────────┴─────────────┐┌─────────────┴─────────────┐
│       DataSourceExec      ││    CoalesceBatchesExec    │
│    --------------------   ││    --------------------   │
│          files: 1         ││     target_batch_size:    │
│      format: parquet      ││           16384           │
│                           ││                           │
│         predicate:        ││                           │
│ n_name = GERMANY OR n_name││                           │
│          = FRANCE         ││                           │
└───────────────────────────┘└─────────────┬─────────────┘
                             ┌─────────────┴─────────────┐
                             │        HashJoinExec       │
                             │    --------------------   │
                             │            on:            ├──────────────┐
                             │(n_nationkey = s_nationkey)│              │
                             └─────────────┬─────────────┘              │
                             ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                             │   LiquidCacheClientExec   ││       ProjectionExec      │
                             │    --------------------   ││    --------------------   │
                             │          server:          ││        c_nationkey:       │
                             │  http://localhost:50051,  ││        c_nationkey        │
                             │      object_stores=[]     ││                           │
                             │                           ││        l_discount:        │
                             │                           ││         l_discount        │
                             │                           ││                           │
                             │                           ││      l_extendedprice:     │
                             │                           ││      l_extendedprice      │
                             │                           ││                           │
                             │                           ││        l_shipdate:        │
                             │                           ││         l_shipdate        │
                             │                           ││                           │
                             │                           ││        s_nationkey:       │
                             │                           ││        s_nationkey        │
                             └─────────────┬─────────────┘└─────────────┬─────────────┘
                             ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                             │       DataSourceExec      ││    CoalesceBatchesExec    │
                             │    --------------------   ││    --------------------   │
                             │          files: 1         ││     target_batch_size:    │
                             │      format: parquet      ││           16384           │
                             │                           ││                           │
                             │         predicate:        ││                           │
                             │ n_name = FRANCE OR n_name ││                           │
                             │         = GERMANY         ││                           │
                             └───────────────────────────┘└─────────────┬─────────────┘
                                                          ┌─────────────┴─────────────┐
                                                          │        HashJoinExec       │
                                                          │    --------------------   │
                                                          │            on:            ├──────────────┐
                                                          │  (c_custkey = o_custkey)  │              │
                                                          └─────────────┬─────────────┘              │
                                                          ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                          │   LiquidCacheClientExec   ││      RepartitionExec      │
                                                          │    --------------------   ││    --------------------   │
                                                          │          server:          ││ partition_count(in->out): │
                                                          │  http://localhost:50051,  ││           1 -> 8          │
                                                          │      object_stores=[]     ││                           │
                                                          │                           ││    partitioning_scheme:   │
                                                          │                           ││     RoundRobinBatch(8)    │
                                                          └─────────────┬─────────────┘└─────────────┬─────────────┘
                                                          ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                          │       DataSourceExec      ││    CoalesceBatchesExec    │
                                                          │    --------------------   ││    --------------------   │
                                                          │          files: 1         ││     target_batch_size:    │
                                                          │      format: parquet      ││           16384           │
                                                          │      predicate: true      ││                           │
                                                          └───────────────────────────┘└─────────────┬─────────────┘
                                                                                       ┌─────────────┴─────────────┐
                                                                                       │        HashJoinExec       │
                                                                                       │    --------------------   │
                                                                                       │            on:            ├───────────────────────────────────────────┐
                                                                                       │ (l_orderkey = o_orderkey) │                                           │
                                                                                       └─────────────┬─────────────┘                                           │
                                                                                       ┌─────────────┴─────────────┐                             ┌─────────────┴─────────────┐
                                                                                       │   CoalescePartitionsExec  │                             │   LiquidCacheClientExec   │
                                                                                       │                           │                             │    --------------------   │
                                                                                       │                           │                             │          server:          │
                                                                                       │                           │                             │  http://localhost:50051,  │
                                                                                       │                           │                             │      object_stores=[]     │
                                                                                       └─────────────┬─────────────┘                             └─────────────┬─────────────┘
                                                                                       ┌─────────────┴─────────────┐                             ┌─────────────┴─────────────┐
                                                                                       │    CoalesceBatchesExec    │                             │       DataSourceExec      │
                                                                                       │    --------------------   │                             │    --------------------   │
                                                                                       │     target_batch_size:    │                             │          files: 1         │
                                                                                       │           16384           │                             │      format: parquet      │
                                                                                       │                           │                             │                           │
                                                                                       │                           │                             │         predicate:        │
                                                                                       │                           │                             │       true AND true       │
                                                                                       └─────────────┬─────────────┘                             └───────────────────────────┘
                                                                                       ┌─────────────┴─────────────┐
                                                                                       │        HashJoinExec       │
                                                                                       │    --------------------   │
                                                                                       │            on:            ├──────────────┐
                                                                                       │  (s_suppkey = l_suppkey)  │              │
                                                                                       └─────────────┬─────────────┘              │
                                                                                       ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                                                       │   LiquidCacheClientExec   ││   LiquidCacheClientExec   │
                                                                                       │    --------------------   ││    --------------------   │
                                                                                       │          server:          ││          server:          │
                                                                                       │  http://localhost:50051,  ││  http://localhost:50051,  │
                                                                                       │      object_stores=[]     ││      object_stores=[]     │
                                                                                       └─────────────┬─────────────┘└─────────────┬─────────────┘
                                                                                       ┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                                                       │       DataSourceExec      ││      RepartitionExec      │
                                                                                       │    --------------------   ││    --------------------   │
                                                                                       │          files: 1         ││ partition_count(in->out): │
                                                                                       │      format: parquet      ││           1 -> 8          │
                                                                                       │                           ││                           │
                                                                                       │                           ││    partitioning_scheme:   │
                                                                                       │                           ││     RoundRobinBatch(8)    │
                                                                                       └───────────────────────────┘└─────────────┬─────────────┘
                                                                                                                    ┌─────────────┴─────────────┐
                                                                                                                    │       DataSourceExec      │
                                                                                                                    │    --------------------   │
                                                                                                                    │          files: 1         │
                                                                                                                    │      format: parquet      │
                                                                                                                    │                           │
                                                                                                                    │         predicate:        │
                                                                                                                    │  l_shipdate >= 1995-01-01 │
                                                                                                                    │   AND l_shipdate <= 1996  │
                                                                                                                    │      -12-31 AND true      │
                                                                                                                    └───────────────────────────┘