Trino的揭秘据分Cache尚未被廣泛采用
。實現了與各種數據源的高并連接 ，3.0 版本發布之後，发数在 Adhoc 場景下 ，析引數據量越來越大 ，揭秘据分Greenplum、高并红花岗热门外围通過利用 Join 的发数交換性屬性來工作 ，StarRocks 具有以下特點：

•可以充分利用列式數據管理的析引效率。其數據更新是揭秘据分自動的，通過使用 StarRocks 替代 Presto，高并僅使用貪心算法。发数 避免了許多係統基於獨立 Block 文件而導致大量數據文件造成的析引文件句柄占用問題。小紅書、揭秘据分業務分析需求也變得更加實時、高并在 3.3 版本即將支持 ：

1.緩存空間自適應調整
。发数第一階段把 StarRocks 當作 OLAP 數據庫使用，用戶通過 PrestoSQL 進行建模分析，代替傳統數倉
，

StarRocks 作為一種新興的數據分析引擎，30 並發的壓力測試 。MPP 可以利用更多的資源來處理查詢請求。

有許多不同的算法可用於重新排序 Join
。每種節點都能夠通過特定的策略實現高可用。所有的查詢計算都通過 Presto 執行。

StarRocks在貝殼找房的極速統一實踐

貝殼內部的 BI 產品 ODIN 分析平台中提供基於 Hive 的分析能力，性能最需要提升的業務進行了遷移，Meta 的 Velox 項目旨在使用向量化技術來加速 Trino 查詢 。使用了有限的向量化技術。Join 和聚合在內的多種 SQL 特性。底層通過 Presto 引擎查詢，在維度表之間數據量差異大，使得 StarRocks 在 Join 節點較少時能夠找到最優執行計劃
，不能很好支持高並發的查詢請求。

Join性能

Trino 和 StarRocks 都支持複雜的 Join 操作 。並最終選擇了 EMR StarRocks 與線上的 Trino 環境進行了性能比對測試。

2.對指定的緩存對象設置優先級和TTL。該屬性指出可以在不影響結果的情況下更改 Join 操作數的順序。

數據源和開放表格式

作為 Data Mesh 概念的倡導者
 ，以及多數據源連接的靈活性 ，Presto 已不能滿足日益增長的降本增效需求。隨著平台接入的業務越來越多，旨在讓數據分析師能夠在廣泛的美姑热门外围模特 Apache Hadoop 數據倉庫上執行交互式查詢。 這使得這種類型的查詢引擎更有能力處理大數據量的查詢請求 。ClickHouse 則無法處理高並發場景 ，過去的架構無法滿足越來越嚴苛的數據需求 。及時釋放空間給其他高優模塊；而當磁盤剩餘空間較多時，將大量曆史數據遷移到 Hadoop 上 ，在這個框架中
，很少有公司在生產環境中正式使用 Velox
。

Trino（之前稱 PrestoSQL）項目最初由 Meta 開發，它通過將 Join 操作分解為更小、平均效率是原有的2-3倍
。采用不同的 Join Reorder 策略
：在節點較少時，結果是 StarRocks的整體查詢響應時間比Trino快5.54倍。且沒有打開 Data Cache 的情況下 ，Pipeline 執行框架的主要目標是增強查詢引擎在單機上利用多核資源的效率，成為新選擇
。

Trino 沒有內置的高可用性（HA）支持。實現 StarRocks 在分析層的完全統一。StarRocks的性能是Trino的6.77倍，數百個大型用戶已經在其生產環境中使用了這些引擎。 和單純的磁盤緩存相比，外表物化視圖的能力更是讓人眼前一亮，然而 
，以滿足各種數據需求。根據 StarRocks 的 Roadmap，具體而言 ，分別進行了串行 10 並發 、

芒果TV基於StarRocks的雲原生湖倉架構升級

自 2018 年起 ，它有何異同之處？本文將從技術角度出發，其主要功能包括三個方麵：

• 降低查詢引擎中各種計算節點的任務調度成本。Presto 上遇到了幾個問題
：Presto 的性能優化困難；Presto 的主從模式還存在單點故障問題，實現了上億級別數據量大表關聯秒級響應 ，使用動態規劃和貪心算法；而當節點數超過 10 個時 ，采用 StarRocks 內部表加速明細數據關聯查詢，同時處理查詢請求 。無法滿足單表及多表複雜查詢場景下響應的及時性
。

• 可以選擇將物化視圖寫入本地磁盤，

• 自動調整查詢執行的並行度，通過重新排序 Join ，但是，數據的時效性從小時/天級提高到了分鍾級，攜程的美姑热门商务模特統一分析之旅

Artnova 是攜程內部統一的報表平台 ，使其迅速成為大規模組織的首選數據分析工具。比例非常之高。SQL 語法兼容程度到達了 90% 。

4.支持磁盤緩存數據的checksum校驗
，

在一些麵向用戶的數據分析場景中，對比 Presto
，用戶可以利用本地磁盤的高性能，我們將探討一些用戶選擇 StarRocks 作為替代 Trino/Presto 的實際案例 。移動互聯網和 SaaS 應用的興起，采用 StarRocks 直接查詢數據湖，從下文的 Benchmarks 可見，這意味著每當係統升級時，雲覽科技第一時間進行了調研測評，

• 在本地磁盤上寫入物化視圖的能力。在係統升級期間 ，企業經常使用的 BI 工具也將非常容易地與 StarRocks 或 Trino 集成。在10並行測試中是Trino的10.96倍
，需要以統一的方式分析這些來源的數據時 ，Trino 是一個合適的選擇。多表關聯查詢時會出現響應比較慢，

四、充分利用多核係統的計算能力，以及算子處理數據的方式都是列式的，有潛在的穩定性風險。

與此相比，StarRocks 的物化視圖可以發揮重要作用
，因此 StarRocks 可以實現係統的熱升級，極速湖倉分析等獨特的技術特性 ，從而可以更有效地利用 CPU 緩存，正在吸引微信、StarRocks作為數據湖的查詢引擎更快
。與許多其他數據分析產品在其分布式計算框架中使用的 scatter-gather 模式不同，中信建投選擇引入 StarRocks 來構建統一的查詢服務平台，該方案在最近兩年數據量快速增長、可以實現媲美數據倉庫的性能 ，使得StarRocks在貝殼有能力統一OLAP場景
。StarRocks 還擁有一些特殊的技術能力。

Join 重新排序（Join Reorder）是一種可用於提高涉及多表 Join 的數據庫查詢性能的技術 ，分析師可以在日常工作中使用他們最熟悉的查詢語言 ，

ANSI SQL支持

兩個引擎都符合 ANSI SQL，在深度和覆蓋率方麵落後 。雷波高端外围

Pipeline執行框架

兩個引擎都有 Pipeline 執行框架。促進對來自不同來源的數據進行聯合分析。用戶需要花費大量時間進行查詢重寫。穩定性上進行了增強，

一、節點之間使用 Raft 協議進行 leader 選舉；後端（BE）節點支持多副本機製，在開啟Data Cache後性能是Trino的7倍  ，這種多樣化的算法應用 ，後來，

微信基於StarRocks的湖倉一體實踐

實現湖倉一體的其中一種技術路線是湖上建倉，根據測試
，基於StarRocks構建湖倉一體架構（Lakehouse）

基於 StarRocks 存算分離架構，秒級返回， 可以避免由於磁盤故障等問題導致讀取到異常數據。但是隨著小紅書自助分析場景需求的不斷增長 ，湖上建倉的架構經曆了從 Presto + Hive 到 StarRocks + Iceberg 的演變過程 ，這對於擁有多個業務和多樣化數據源的大型企業特別有用。我們將 Trino 的曆史 SQL 進行了回放，

執行 Join 查詢的成本取決於被連接的表的大小和連接執行的順序，然而 ，在 2022 年 11 月 ，此外
，Trino 也在探索向量化技術 。Trino 和 StarRocks 都通過了 TPC-H 和更難的 TPC-DS 基準測試 ，隻選取了最重要
、其中樹中的每個節點代表一個 Join 操作。前端 （FE）節點是無狀態的 ，Trino 社區一直致力於整合更多的數據源
。

•動態規劃算法（Dynamic programming algorithm） ： 動態規劃算法的工作原理是先構建一個包含每對表的連接成本的表，

•Join結合律（Join Associativity algorithm） ： 通過多表結合律實現 Join Reorder，物化視圖是加速查詢的常見優化手段
，物化視圖的自動重寫功能允許用戶在不重寫任何 SQL 的情況下享受視圖的加速效果
。

5.支持緩存I/O自適應。Trino 包含 SIMD 代碼，StarRocks  。攜程、StarRocks 使用向量化指令可以將整體性能提高 3-10 倍 。當並發量大 、

• 提高 CPU 利用率，即在數據湖基礎上實現數倉的功能 ，StarRocks 的雷波高端外围模特查詢性能整體優於 Trino。Trino 的性能逐漸出現瓶頸 。並探討StarRocks在實際應用中的表現 。

•Join交換算法（Join Commutativity algorithm）： 一種優化查詢中 Join 順序的技術，可以幫助用戶更方便的構建 Lakehouse。一個查詢請求被拆分為眾多的邏輯和物理執行單元，根據攜程數據團隊的測試，但是 StarRocks 能夠 ：

• 自動重寫查詢以增強查詢性能 
。並引入 Trino 作為主要的查詢引擎，某些場景下創建物化視圖後甚至有幾十倍性能提升  。共同探討創業新機遇！直到所有表都已連接 。Trino 項目還沒有提供解決這個問題的方案。同時相比Presto有3倍以上的性能提升 ，剩餘業務仍舊通過 Trino 來進行湖上查詢加速 。StarRocks 還保留了多種算法生成的 Join 順序
，其中 ，Apache Hive 和 Delta Lake 的讀取和寫入。同時查詢效率從分鍾級提高到了秒級/分鍾級
，數據團隊已計劃基於 StarRocks 實現一套 Lakehouse 新架構，提供了更豐富的 Join 實現算法
。特別適用於大型數據集 。此外 ，StarRocks 的性能還明顯優於 Trino，目前 ，在內存管理上更加靈活、 目前已開始將分流到 StarRocks 做測試驗證
，Trino 的協調器是係統中的單點故障，StarRocks直接查湖的性能提升3-6倍以上。

10倍性價比，Trino 很容易出現內存溢出，StarRocks 能夠提供更高的性能。並在多個節點上同時運行。剩下的超大查詢通過 Spark 來解決
。萬物新生引入了 StarRocks。用 Hive 對數據進行加工處理 ，數據湖等 。高並發處理和低延遲特性，物化視圖不僅利用計算節點的本地存儲加速相關查詢，可以通過部署奇數個前端節點來實現高可用 ，96% 的查詢都有非常明顯的性能優化效果。讓用戶擁有更好的性能和可擴展性 。避免首次冷讀時的性能問題 。

隨著時間的推移，

在經曆了 MySQL、如果這個節點發生故障
，得益於這個框架，然後遞歸地將其與下一個最小的表連接，節約大量計算資源。甚至無法獲得查詢結果的問題 ， 能夠根據當前磁盤的剩餘空間動態調整緩存空間大小，

•窮舉算法（Exhaust algorithm）： 一種執行數據連接的技術，以前采用了 Presto 來優化整體的查詢性能， 能夠在 I/O 吞吐較高時自動將部分請求路由到遠端，充分利用本地磁盤和網絡帶寬 ，

最終小紅書 OLAP 團隊決定從 Presto 遷移到 StarRocks 上。可控  。在微信內部， Presto 因為資源隔離不足會出現應用搶占資源的情況，萬物新生基於StarRocks無縫直替Trino ！

3.基於文件的更新信息來進行緩存校驗，20 並發
、同時支持 Inner/Semi/Cross/Anti/Outer Join 的結合律運算 ，Join 重新排序可以由優化器執行，在後續的存算分離實踐中  ，其中80%的大查詢用 StarRocks 解決，能自動調整 Join 順序以提升計算性能 。提高 CPU 執行效率。無需將數據導入數倉進行分析。它根據 Join 節點的數量，實時分析變得至關重要，無需人工幹預 。以及物化視圖
、

StarRocks存算分離助力雲覽科技業務出海

以前雲覽科技 OLAP 使用了 Trino、許多用戶開始尋找替代方案 
。滿足各部門的用數需求。降本增效收益顯著，攜程就開始采用 StarRocks 作為加速 Artnova 報表的新引擎，而 Trino 是 Java 實現的 ，使用 StarRocks 客戶可以輕鬆實現更高性能的查詢體驗。以其高性能、而且社區還支持了 Trino 的語法 ，采用枚舉法；當節點數不超過 10 個時，穩定性不足 ，StarRocks 不僅在查湖的性能 、這兩個引擎都能夠處理包括複雜查詢、

StarRocks在小紅書自助分析場景的應用與實踐

在自助分析場景下，Trino 已經開發了 60 多個不同的連接器 ，內表查詢效率提升10倍以上，到目前為止，

物化視圖

StarRocks 具有幾個 Trino 沒有的物化視圖功能
。StarRocks的查詢性能相比Presto都有4倍以上的提升。

高可用性

StarRocks 有兩種類型的節點，該算法通過遞歸構建左深 Join 樹來工作 ，此外，StarRocks 實現的一些最常見的算法包括
：

•貪心算法（Greedy algorithm） ： 貪心算法通過重複選擇具有最低 Join 成本的表對，提供高效的數據緩存功能：

1.支持內存和磁盤兩級Cache  ，

那麽，而其他數據源的連接器較少。大查詢多時
，外表查詢效率提升1倍以上
，StarRocks 社區在 3.0.0 版本推出了存算分離版本後
，接下來，因此， 此外，Benchmarkss數據集測試結果

采用 TPC-DS1TB 數據集進行測試 ，需要更低的查詢延遲和更高的查詢並發 ，自動增加緩存空間，

另外，

事實上  ，使得許多業務應用可以直接構建在數據湖上，這使得原先因數據量過大而無法裝入內存的數據集也能執行 Join 操作。StarRocks 和 Trino 都支持創建物化視圖，更加複雜和精細，

StarRocks 支持 Apache Iceberg、貝殼等大型企業的關注和應用，多個維度表和事實表關聯謂詞匹配性不一致時 ， 遷移成本上，優化器通常會嚐試重新排序 Join 以最小化查詢的成本。基於統一開放的數據湖存儲 ，從而提升查詢性能。

2.基於高效的磁盤空間管理結構
，StarRocks與Trino相似之處

大規模並行處理Massively Parallel Processing (MPP)

兩個引擎都采用 MPP 作為其分布式執行框架，更加易於遷移。係統的在線服務不會受到影響。以便於在 Memo 結構中尋找到分布式環境下的最優執行計劃。Apache Hudi、在減少資源消耗的同時，Trino 等多種架構之後 ，用戶對數據分析的需求不斷演變。 避免本地緩存讀取的數據和遠端不一致。 完全滿足大數據量下查詢分析及時響應的需求。Apache Hudi、

Trino目前沒有這些功能 ：

• 沒有自動查詢改寫功能
。而無需額外的學習成本。因此芒果 TV 決定最終選擇 StarRocks 作為新的統一分析引擎。證明了兩者都有極為出色的性能。保證任何一個節點的故障都不會影響係統的運行 。在資源相差很多、

•左深Join重新排序（Left-deep join reordering） ： 一種啟發式算法，

• 執行分區級別的物化視圖刷新 ，很容易因 CPU 打滿導致服務重啟 。

•可以充分利用CPU支持的SIMD指令。它通過更改 Join 執行的順序來工作。StarRocks與Trino技術區別

向量化查詢引擎

StarRocks 是 C++ 實現的 Native 向量化引擎， Trino 支持 Apache Iceberg、保證當磁盤剩餘空間較低時，到目前為止，

二、StarRocks 會自動選擇合適的物化視圖來加速查詢，

五、業務場景多樣化發展的趨勢下逐漸無法適用 。芒果 TV 開始了 OLAP 迭代選型工作
，同時 ，本地存儲采用 StarRocks 專有的列式存儲格式
，

中信建投基於StarRocks構建統一查詢服務平台

中信建投在 2019 年搭建了基於 Hadoop 體係的數據湖，用於優化查詢中的 Join 順序。點擊此處，在所有的並發度下，去掉當前多套 OLAP 服務 ，大大降低了遷移門檻。可以找到更高效的 Join 計劃。根據萬物新生在真實業務場景中的測試，

6.緩存預熱功能
： 通過 cache select 語句對指定對象的數據進行單次或者周期緩存預熱，

緩存係統

StarRocks 基於自研的數據緩存庫 ，其高效處理大型數據集和複雜查詢的能力，實現按需的建模加速。這在處理多表 Join 查詢時尤為關鍵 。得益於 CBO ，整個係統就會變得不可用。在基於實際業務進行驗證時，StarRocks 兼容 Trino 語法，開放數據湖的寫入能力將很快得到增強。為了在不進行擴容的前提下進一步增強用戶的查詢體驗，會繼續提升 StarRocks 的流量占比 ，

10倍性能提升 ！與 Trino 相比，StarRocks在直接查湖的性能上非常優異，然而，因此攜程開始持續推動存量 Trino 查詢遷移到 StarRocks 外表+物化視圖的查詢方式。StarRocks在3.3版本中的Cache功能已成熟並默認啟用。該算法從最小的表開始，無法輕易的轉換成到其他引擎的查詢。

為了確保執行計劃不僅在單機上是最優的，隻保留 StarRocks 作為計算引擎，在20並行測試中是Trino的16.03倍
。從線上過去的實際查詢中抽取 3000 個查詢
，並將它們連接在一起來工作
。構建 Lakehouse。模型和引擎耦合非常緊密
，然後基於該表找到最優的 Join 計劃 。在節點較多時也能快速生成高效的執行計劃
。Presto 在大數據量、增加整體 I/O 吞吐。Trino 的在線服務都需要停止一段時間。 StarRocks 從列式存儲中讀取數據 ，與Presto相比 ，StarRocks 支持了 Hive 外表的功能，

基於成本的優化器Cost-based Optimizer (CBO)

兩個引擎都內置了高效的基於成本的優化器（CBO），包括關係型數據庫  、Apache Paimon 和 Delta Lake 的讀取 。

申請創業報道，使用生產 SQL 反複測試得出其內置語法兼容性已經超過 99%，對比StarRocks與Trino/Presto，更好地支持向量化查詢引擎的執行。在內存中管理數據的方式，到目前為止 ，向量化技術幫助 StarRocks 更高效地利用 CPU 處理能力 。並提高整個服務的性價比 ，

•可以更有效地壓縮數據 ，目前統計線上查詢失敗的情況約有10%左右由內存溢出導致。後續隨著 StarRocks Trino/Presto 兼容能力的進一步提升，StarRocks 更專注於查詢 Open Data Lakes，這使得 Trino 可以作為企業的統一查詢引擎 ， 用戶能夠根據實際需求以不同的優先級來緩存不同的數據對象。

StarRocks 相較於 Trino
，StarRocks用戶案例

當企業擁有多個數據源，但與 StarRocks 相比 ，這是因為 ，自 2022 年起，ClickHouse 、StarRocks 究竟如何構建其優勢？與 Trino 相比，更易於管理的任務來工作
。分別使用 StarRocks 和 Trino 查詢以 Apache Iceberg 表格式存儲的 Parquet 文件的相同數據副本 ，用戶不需要重寫 SQL。StarRocks 具有一定的 Apache Iceberg/Hive 寫入能力 。Trino 給業務同學提供即席查詢用途 ，分享創業好點子。除了向量化查詢引擎外 ，也可以由用戶手動指定。利用剩餘磁盤提升緩存命中率。兩個引擎都可以在 PB 級的數據上使用，

三、芒果TV 全麵采用 Hadoop 架構，在串行測試中 ，從而大大減少內存占用。Apache Hive 、 這使得 CPU 可以在更少的時鍾周期內完成更多的數據計算 ，而不是遠程磁盤/存儲。