每日更新av,久久久亚洲天堂精品999,日日摸夜夜爽无码,无码二区三区

您好,歡迎訪(fǎng)問(wèn)上海聚搜信息技術(shù)有限公司官方網(wǎng)站!

構建實(shí)時(shí)數據倉庫首選,云原生數據倉庫AnalyticDB for MySQL

時(shí)間:2020-05-22 15:50:56 點(diǎn)擊:
AnalyticDB for MySQL的產(chǎn)品系列包括基礎版(單機版)和集群版,基礎版為單個(gè)節點(diǎn)提供服務(wù),極簡(jiǎn)的架構大大的降低了基礎版的成本。存儲計算分離架構、行列混存技術(shù)、輕量的索引構建方式和分布式混合計算引擎又保證了基礎版強大的分析性能。年成本不到一萬(wàn)就可以構建一套實(shí)時(shí)數據倉庫,無(wú)需成立專(zhuān)門(mén)的大數據團隊,為企業(yè)節省百萬(wàn)成本。
上海聚搜信息技術(shù)有限公司是阿里云代理商網(wǎng)址:http://www.4526.cn/可以直接在網(wǎng)站上聯(lián)系阿里云代理商客服進(jìn)行咨詢(xún)服務(wù)器架構和配置以及優(yōu)惠價(jià)格?。ň鬯?a href="http://wap.ysatjc.com/">營(yíng)銷(xiāo)介紹鏈接:http://wap.ysatjc.com/meiyou/)是一家致力于搜索引聚搜營(yíng)銷(xiāo)及全網(wǎng)營(yíng)銷(xiāo),致力于為客戶(hù)提供搜索營(yíng)銷(xiāo)領(lǐng)域的服務(wù),幫助廣告客戶(hù)在搜索引聚搜獲取的投資回報,包括搜索引聚搜競價(jià)服務(wù)(SEM),搜索引聚搜優(yōu)化服務(wù)(seo)和搜索營(yíng)銷(xiāo)代運營(yíng)服務(wù),能夠有效為廣告主帶來(lái)高效的投放回報,我們的理念一直是:讓搜索營(yíng)銷(xiāo)營(yíng)銷(xiāo)具有價(jià)值。

1.基礎版技術(shù)架構
如下為基礎版架構圖,整體由Coordinator和Worker組成,各自的職責如下介紹。
1.1 Coordinator: 前端控制節點(diǎn),職責包括
(1)MySQL協(xié)議層接入,SQL解析
(2)認證和鑒權,提供了更完善和細化的權限體系模型,白名單和集群級別RAM控制,并審計與合規記錄所有SQL操作。
(3)集群管理:成員管理、元數據、數據一致性、路由同步、備份與恢復(數據與log管理)
(4)后臺異步任務(wù)管理
(5)事務(wù)管理
(6)優(yōu)化器,執行計劃生成
(7)計算調度,負責執行任務(wù)調度
1.2 Worker: 存儲和計算節點(diǎn),包含
(1)計算模塊
分布式MPP+DAG混合計算引擎和優(yōu)化器達到了更高的復雜計算能力和混合負載管理能力。利用阿里云計算平臺之上資源靈活調度上的優(yōu)勢,實(shí)現了計算資源的彈性調度。計算 Worker節點(diǎn)可以單獨拉起,因應業(yè)務(wù)需求做到分鐘級甚至秒級擴展,實(shí)現資源的最有效利用。
(2)存儲模塊
存儲模塊更加輕量化,具備了承載更大吞吐數據實(shí)時(shí)寫(xiě)入和讀取能力,寫(xiě)入性能比之前版本同等規格高50%倍左右,毫秒級可見(jiàn),滿(mǎn)足客戶(hù)實(shí)時(shí)分析需求。
存儲節點(diǎn)提供全量和增量備份和恢復能力,云盤(pán)的定期快照和日志會(huì )實(shí)時(shí)同步到oss中保存,對用戶(hù)數據提供更高的安全保障,幫助用戶(hù)在數據庫發(fā)生問(wèn)題時(shí)最大限度的找回。
(3)Worker Group
帶存儲模塊的Worker節點(diǎn)被劃分為一個(gè)個(gè)節點(diǎn)組(Worker Group),集群版提供三副本的存儲,通過(guò)Raft分布式一致性協(xié)議像一個(gè)整體一樣工作,允許其中一些Worker節點(diǎn)出現故障也能繼續提供服務(wù),基礎版只有單副本提供服務(wù)。
2.基礎版優(yōu)化器
優(yōu)化器負責對Parser生成的語(yǔ)法樹(shù)進(jìn)行處理,通過(guò)優(yōu)化算法生成代價(jià)最優(yōu)的計劃提供給計算引擎。計劃代價(jià)直接影響查詢(xún)性能,因此優(yōu)化器是數據庫中最核心的模塊之一?;A版采用了與集群版一樣強大的優(yōu)化器,包含基于規則、基于代價(jià)、和基于模式的多種復合優(yōu)化技術(shù)。
復雜分析型查詢(xún)經(jīng)常包含多表join,表的join順序直接影響查詢(xún)性能。AnalyticDB優(yōu)化器采用了基于代價(jià)估算和實(shí)時(shí)采樣信息的join order優(yōu)化算法,能夠感知底層存儲的數據分布。優(yōu)化器利用AnalyticDB全索引特征提高了過(guò)濾因子(filter factor)估算的準確性。針對復雜join,優(yōu)化器基于數據分布信息動(dòng)態(tài)調整join order,同時(shí)評估數據reshuffling的代價(jià),來(lái)從全局代價(jià)的維度選擇最優(yōu)的執行計劃。
AnalyticDB優(yōu)化器在經(jīng)典基于規則優(yōu)化器(Rule-Based Optimizer)的基礎上增加了代價(jià)估算和迭代優(yōu)化,并且集成了Cascades CBO(Cost-Based Optimizer)優(yōu)化框架。CBO搜索框架會(huì )調用 property Enforcement模塊生成分布式執行計劃,然后調用代價(jià)估算模塊,給每一種候選計劃評估代價(jià),選擇最優(yōu)的分布式執行計劃。為了進(jìn)一步提高join order的優(yōu)化效果和效率,AnalyticDB優(yōu)化器還采用了基于歷史信息的優(yōu)化技術(shù)(History-Based Optimizer)、基于常見(jiàn)SQL模式的動(dòng)態(tài)優(yōu)化技術(shù)(Pattern-Based Optimizer),以及數據驅動(dòng)的智能技術(shù),例如Auto Analyze模塊自動(dòng)搜集統計信息,為優(yōu)化器搜索最佳計劃提供準確的數據支持。

此外,AnalyticDB優(yōu)化器還針對復雜查詢(xún)中經(jīng)常出現的組合過(guò)濾條件、聚合算子、關(guān)聯(lián)子查詢(xún)等進(jìn)行了一系列優(yōu)化處理以提升性能。比如下推優(yōu)化技術(shù)將計劃中的過(guò)濾條件和聚合算子盡量推到整個(gè)鏈路的底層模塊去執行,不但提高底層算子的效率,也減少了上游算子要處理的數據量,提高整體查詢(xún)性能。針對關(guān)聯(lián)子查詢(xún)語(yǔ)句,優(yōu)化器通過(guò)關(guān)系代數轉化,將關(guān)聯(lián)子查詢(xún)改寫(xiě)為語(yǔ)義等價(jià)的非關(guān)聯(lián)計劃,使得計算引擎可以高效流水線(xiàn)處理。

3.基礎版計算引擎
AnalyticDB計算引擎采用大規模并行處理MPP+DAG體系結構和基于內存的pipeline執行模式,具有高并發(fā)、低延遲的特點(diǎn)。為了加快對復雜表達式的求值速度,優(yōu)化執行性能,計算引擎通過(guò)Runtime Codegen在運行時(shí)生成JVM bytecode,動(dòng)態(tài)加載生成對象的實(shí)例,減少了執行過(guò)程中虛函數調用,提高了cpu-Intensive任務(wù)的效率。計算引擎還采用向量化執行模型處理表達式求值,利用CPU SIMD指令集來(lái)加速求值計算。
4.基礎版存儲引擎
AnalyticDB存儲引擎采用行列混合存儲的設計。如圖所示。對于一張表的每k行數據(Row Group),每列數據連續的存放在單獨的Data Block中,每行組的列Block的在磁盤(pán)上連續存放。行組內列Block的數據可按指定列排序存放,可以在按該列查詢(xún)時(shí)顯著(zhù)減少磁盤(pán)隨機IO次數。這種設計的獨特優(yōu)勢是兼具了行存(適合OLTP點(diǎn)查詢(xún))和列存(適合OLAP多維分析)的長(cháng)處,很好的滿(mǎn)足了不同類(lèi)型workload的需求:
針對OLTP類(lèi)型的點(diǎn)查詢(xún)需要select出一整行的明細數據,行列混存設計下將列存的完全隨機讀轉化為了順序讀
針對OLAP類(lèi)型的多維分析:不僅解決了海量數據統計分析下行存的讀放大問(wèn)題,而且進(jìn)行單列IO時(shí)將列存的順序讀轉化為了順序跳讀,進(jìn)行多列IO時(shí)則將隨機讀轉化為了順序讀
寫(xiě)入大吞吐:列存時(shí)的隨機寫(xiě)被轉化為了順序寫(xiě)
AnalyticDB存儲引擎采用智能全索引,對每列數據建立一個(gè)值到行號的倒排索引。查詢(xún)時(shí),將SQL多個(gè)條件表達式的AND、OR 轉換成Boolean Query同時(shí)走索引,通過(guò)搜索得到滿(mǎn)足where條件的結果集行號,支持快速多路合并,能夠在毫秒級別找出滿(mǎn)足條件的結果集。
5.基礎版優(yōu)勢
基礎版大幅度降低了用戶(hù)構建數據倉庫門(mén)檻,與大數據(Hadoop,Spark和EMR)和OLTP建倉方式相比都有超高的性?xún)r(jià)比。
(1)降低使用門(mén)檻
基礎版最低1.75元/小時(shí),860元/月,與集群版相比,起步價(jià)降低了約三分之一。磁盤(pán)空間僅0.6元/GB,磁盤(pán)空間上限最大為4T,可以隨時(shí)按需擴展,大大降低中小企業(yè)復雜分析和構建實(shí)時(shí)數倉的使用門(mén)檻。
(2)性能高
同等配置下其數據查詢(xún)性能約為MySQL的10倍,很好地幫助用戶(hù)解決MySQL復雜分析慢的痛點(diǎn)。
(3)規格豐富
基礎版支持四種規格:T8、T16、T32和T52,可以根據業(yè)務(wù)的不同要求選擇規格和任意調整規格。
(4)生態(tài)透明
上下游生態(tài)完全兼容集群版,對用戶(hù)透明。
6.適合客戶(hù)
特別適合以下人群:
(1)Hadoop/Spark等太復雜,想快速實(shí)現數據化轉型的中小型企業(yè);
(2)報表數據庫查詢(xún)慢,有交互式BI分析訴求的中小型企業(yè);
(3)需要快速構建測試環(huán)境的進(jìn)行數倉選型的用戶(hù);
(4)學(xué)習類(lèi)人群,可快速了解AnalyticDB for MySQL的用戶(hù);
阿里云優(yōu)惠券領(lǐng)取
騰訊云優(yōu)惠券領(lǐng)取

熱門(mén)文章更多>

QQ在線(xiàn)咨詢(xún)
售前咨詢(xún)熱線(xiàn)
133-2199-9693
售后咨詢(xún)熱線(xiàn)
4000-747-360

微信掃一掃

加客服咨詢(xún)