liquid-cache-client 0.1.10

10x lower latency for cloud-native DataFusion
Documentation
---
source: src/client/src/tests/mod.rs
expression: displayable.tree_render().to_string()
---
┌───────────────────────────┐
│  SortPreservingMergeExec  │
│    --------------------   │
│   s_name ASC NULLS LAST   │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│          SortExec         │
│    --------------------   │
│  s_name@0 ASC NULLS LAST  │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│    CoalesceBatchesExec    │
│    --------------------   │
│     target_batch_size:    │
│           16384           │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│        HashJoinExec       │
│    --------------------   │
│    join_type: LeftSemi    │
│                           ├───────────────────────────────────────────┐
│            on:            │                                           │
│  (s_suppkey = ps_suppkey) │                                           │
└─────────────┬─────────────┘                                           │
┌─────────────┴─────────────┐                             ┌─────────────┴─────────────┐
│    CoalesceBatchesExec    │                             │    CoalesceBatchesExec    │
│    --------------------   │                             │    --------------------   │
│     target_batch_size:    │                             │     target_batch_size:    │
│           16384           │                             │           16384           │
└─────────────┬─────────────┘                             └─────────────┬─────────────┘
┌─────────────┴─────────────┐                             ┌─────────────┴─────────────┐
│        HashJoinExec       │                             │        HashJoinExec       │
│    --------------------   │                             │    --------------------   │
│            on:            │                             │          filter:          │
│(n_nationkey = s_nationkey)│                             │    CAST(ps_availqty AS    │
│                           │                             │         Float64) >        │
│                           │                             │       Float64(0.5) *      │
│                           ├──────────────┐              │        sum(lineitem       ├───────────────────────────────────────────┐
│                           │              │              │        .l_quantity)       │                                           │
│                           │              │              │                           │                                           │
│                           │              │              │            on:            │                                           │
│                           │              │              │ (ps_partkey = l_partkey), │                                           │
│                           │              │              │  (ps_suppkey = l_suppkey) │                                           │
└─────────────┬─────────────┘              │              └─────────────┬─────────────┘                                           │
┌─────────────┴─────────────┐┌─────────────┴─────────────┐┌─────────────┴─────────────┐                             ┌─────────────┴─────────────┐
│   LiquidCacheClientExec   ││   LiquidCacheClientExec   ││    CoalesceBatchesExec    │                             │       ProjectionExec      │
│    --------------------   ││    --------------------   ││    --------------------   │                             │    --------------------   │
│          server:          ││          server:          ││     target_batch_size:    │                             │     Float64(0.5) * sum    │
│  http://localhost:50051,  ││  http://localhost:50051,  ││           16384           │                             │         (lineitem         │
│      object_stores=[]     ││      object_stores=[]     ││                           │                             │       .l_quantity):       │
│                           ││                           ││                           │                             │  0.5 * CAST(sum(lineitem  │
│                           ││                           ││                           │                             │      .l_quantity) AS      │
│                           ││                           ││                           │                             │          Float64)         │
│                           ││                           ││                           │                             │                           │
│                           ││                           ││                           │                             │    l_partkey: l_partkey   │
│                           ││                           ││                           │                             │    l_suppkey: l_suppkey   │
└─────────────┬─────────────┘└─────────────┬─────────────┘└─────────────┬─────────────┘                             └─────────────┬─────────────┘
┌─────────────┴─────────────┐┌─────────────┴─────────────┐┌─────────────┴─────────────┐                             ┌─────────────┴─────────────┐
│       DataSourceExec      ││       DataSourceExec      ││        HashJoinExec       │                             │       AggregateExec       │
│    --------------------   ││    --------------------   ││    --------------------   │                             │    --------------------   │
│          files: 1         ││          files: 1         ││    join_type: RightSemi   │                             │           aggr:           │
│      format: parquet      ││      format: parquet      ││                           │                             │  sum(lineitem.l_quantity) │
│                           ││      predicate: true      ││            on:            │                             │                           │
│         predicate:        ││                           ││  (p_partkey = ps_partkey) ├──────────────┐              │         group_by:         │
│      n_name = CANADA      ││                           ││                           │              │              │    l_partkey, l_suppkey   │
│                           ││                           ││                           │              │              │                           │
│                           ││                           ││                           │              │              │           mode:           │
│                           ││                           ││                           │              │              │      FinalPartitioned     │
└───────────────────────────┘└───────────────────────────┘└─────────────┬─────────────┘              │              └─────────────┬─────────────┘
                                                          ┌─────────────┴─────────────┐┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                          │   LiquidCacheClientExec   ││   LiquidCacheClientExec   ││    CoalesceBatchesExec    │
                                                          │    --------------------   ││    --------------------   ││    --------------------   │
                                                          │          server:          ││          server:          ││     target_batch_size:    │
                                                          │  http://localhost:50051,  ││  http://localhost:50051,  ││           16384           │
                                                          │      object_stores=[]     ││      object_stores=[]     ││                           │
                                                          └─────────────┬─────────────┘└─────────────┬─────────────┘└─────────────┬─────────────┘
                                                          ┌─────────────┴─────────────┐┌─────────────┴─────────────┐┌─────────────┴─────────────┐
                                                          │       DataSourceExec      ││       DataSourceExec      ││      RepartitionExec      │
                                                          │    --------------------   ││    --------------------   ││    --------------------   │
                                                          │          files: 1         ││          files: 1         ││ partition_count(in->out): │
                                                          │      format: parquet      ││      format: parquet      ││           8 -> 8          │
                                                          │                           ││                           ││                           │
                                                          │         predicate:        ││                           ││    partitioning_scheme:   │
                                                          │    p_name LIKE forest%    ││                           ││     Hash([l_partkey@0,    │
                                                          │                           ││                           ││      l_suppkey@1], 8)     │
                                                          └───────────────────────────┘└───────────────────────────┘└─────────────┬─────────────┘
                                                                                                                    ┌─────────────┴─────────────┐
                                                                                                                    │       AggregateExec       │
                                                                                                                    │    --------------------   │
                                                                                                                    │           aggr:           │
                                                                                                                    │  sum(lineitem.l_quantity) │
                                                                                                                    │                           │
                                                                                                                    │         group_by:         │
                                                                                                                    │    l_partkey, l_suppkey   │
                                                                                                                    │                           │
                                                                                                                    │       mode: Partial       │
                                                                                                                    └─────────────┬─────────────┘
                                                                                                                    ┌─────────────┴─────────────┐
                                                                                                                    │   LiquidCacheClientExec   │
                                                                                                                    │    --------------------   │
                                                                                                                    │          server:          │
                                                                                                                    │  http://localhost:50051,  │
                                                                                                                    │      object_stores=[]     │
                                                                                                                    └─────────────┬─────────────┘
                                                                                                                    ┌─────────────┴─────────────┐
                                                                                                                    │      RepartitionExec      │
                                                                                                                    │    --------------------   │
                                                                                                                    │ partition_count(in->out): │
                                                                                                                    │           1 -> 8          │
                                                                                                                    │                           │
                                                                                                                    │    partitioning_scheme:   │
                                                                                                                    │     RoundRobinBatch(8)    │
                                                                                                                    └─────────────┬─────────────┘
                                                                                                                    ┌─────────────┴─────────────┐
                                                                                                                    │       DataSourceExec      │
                                                                                                                    │    --------------------   │
                                                                                                                    │          files: 1         │
                                                                                                                    │      format: parquet      │
                                                                                                                    │                           │
                                                                                                                    │         predicate:        │
                                                                                                                    │  l_shipdate >= 1994-01-01 │
                                                                                                                    │    AND l_shipdate < 1995  │
                                                                                                                    │           -01-01          │
                                                                                                                    └───────────────────────────┘