對于慢查詢和慢導入，Doris 提供了完善的 Profile 機制，在了解相關技術細節(jié)后，我們在線上集群開啟了 Profile 收集，通過調度任務定時收集慢查詢、慢導入的 Profile 信息并落庫。

在唐縣等地區(qū)，都構建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產品創(chuàng)新能力，以專注、極致的服務理念，為客戶提供網站設計、成都網站設計 網站設計制作專業(yè)公司,公司網站建設,企業(yè)網站建設,品牌網站設計,全網整合營銷推廣,外貿網站制作,唐縣網站建設費用合理。

Doris 提供的 Profile 信息非常詳細，例如?OLAP_SCAN_NODE提供了原始的掃描行數，各個索引的過濾行數，每個 Instance 的?EXCHANGE_NODE提供了接收的數據總行數和接收的數據量大小。這些信息為查詢調優(yōu)提供了詳細的依據，我們在使用過程中針對快速定位查詢性能的瓶頸進行了優(yōu)化，取得了良好的效果。

建表規(guī)范

在我們的使用場景中，有下列類型的表：

• pda 表：每日全量更新，即每日分區(qū)存儲全量快照數據

• pdi 表： 每日增量更新，即每日分區(qū)存儲增量數據

• a 表：全量不分區(qū)表

• s 表：靜態(tài)非每日更新數據

由于當前 Doris 集群中所有的表都是基于 Hive 數倉中各層級的表同步而來，因此目前僅使用了 Duplcate 模型和 Unique 模型，對于 pda、pdi 和 a 表，為了降低 Doris 表的分區(qū)數，減輕 FE 元數據管理壓力，我們在建 Doris 表時均啟用了根據日期劃分的動態(tài)分區(qū)特性，較久遠的歷史數據我們按年、月的維度分區(qū)歸檔，近期的數據按日、小時分區(qū)，未來我們計劃通過程序自動識別完成歷史分區(qū)的歸檔合并。

對于 pda 表使用場景，pda 表需要每日同步全量數據，我們采用了 Duplicate 模型，不考慮使用 Unique 模型數據去重的原因是 Doris 的導入模型本身就提供了基于任務 Label 的數據一致性保證，同步時一次調度周期的 pda 表的一個分區(qū)的導入任務能產生唯一且不變的 Label，因此我們可以保證即使錯誤執(zhí)行了多次，該分區(qū)的數據仍然不會重復。另外，因為 Duplicate 模型相比于 Unique 模型，在導入和查詢階段均不會做預聚合去重，所以可以一定程度上加速導入和查詢的性能。

對于 pdi 表使用場景，因在實際使用中 pdi 表存在少數對歷史數據的部分更新場景（絕大部分是數據更新場景，基本沒有數據刪除場景），考慮到 Doris 數據表的分區(qū)可用性，我們采用了 Unique 模型，這樣在更新歷史分區(qū)的數據時不必做重建分區(qū)操作。

對于 a 表使用場景，因業(yè)務上可以接受短時間數據不可用情況，我們啟用了動態(tài)分區(qū)，在做數據導入時，每次導入都會先刪除歷史分區(qū)，然后將全量數據導入今天的分區(qū)內，這樣做的考慮是杜絕重建表操作，且實施成本相對比較低，因此我們沒有采取動態(tài)更新視圖綁定當日分區(qū)的方案。

在 Doris 之前的版本中，尚未實現 Hive 元數據變更同步和管理功能，為了提高效率開發(fā)了 Doris 建表工具，我們通過選擇和配置數倉集群、Hive 表名、數據模型、Bucket 數量等參數，自動關聯 Hive 表，解析表字段并生成對應的建表語句。經過與社區(qū)溝通得知，最近即將發(fā)布的 1.2 新版本中已經實現 Multi Catalog，支持 Hive 元數據的對接和 Schema 的自動同步，可以極大程度上減少這一部分的工作。

監(jiān)控體系

當前 Doris 集群監(jiān)控體系分為主機指標監(jiān)控告警、日志告警和集群指標監(jiān)控告警，總體監(jiān)控體系如下。

你是否還在尋找穩(wěn)定的海外服務器提供商？創(chuàng)新互聯www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調度確保服務器高可用性，企業(yè)級服務器適合批量采購，新人活動首月15元起，快前往官網查看詳情吧

文章名稱：Doris提供了完善的Profile機制-創(chuàng)新互聯
URL網址：http://www.aaarwkj.com/article40/jcseo.html

成都網站建設公司_創(chuàng)新互聯，為您提供虛擬主機、網站設計、網站制作、App設計、營銷型網站建設、手機網站建設

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯