在线欧美精品国产综合五月_国产精品免费久久久久影院_国产精品久久久久无码av_a级毛片黄免费a级毛片

首頁 > 新聞 > 智能 > 正文

當(dāng)前消息!36 氪專訪華瑞指數(shù)云:SDS 進(jìn)入 2.0 時代,漸進(jìn)式迭代以 10 年為周期

2023-06-02 12:05:04來源:ZAKER科技  

整理 | Ricky


(資料圖)

作者 | 王與桐

軟件定義存儲(SDS),并不是個新概念,但是在創(chuàng)投圈子卻還是年輕的。

該概念發(fā)展至今已有十余年的歷史,相關(guān)的技術(shù)和產(chǎn)品在2010年前后開始進(jìn)入商用市場,初期主要用于互聯(lián)網(wǎng)等行業(yè),具體場景是需要海量數(shù)據(jù)存儲、高訪問并發(fā)量、但是對數(shù)據(jù)的可靠性和一致性要求并不苛刻等業(yè)務(wù)場景。

在2015年左右,隨著云計算的普及,以及移動互聯(lián)網(wǎng)進(jìn)入井噴期,數(shù)據(jù)量急劇增加,因此軟件定義存儲/分布式存儲開始在企業(yè)級市場得到大量應(yīng)用,尤其是在虛擬化和云計算環(huán)境中,存儲資源需要池化和彈性擴(kuò)容,軟件定義存儲搭配普通服務(wù)器硬件組成分布式存儲集群成為當(dāng)然之選。由于分布式架構(gòu)和軟件定義帶來的諸多優(yōu)勢,SDS也被公認(rèn)是數(shù)據(jù)存儲系統(tǒng)的未來發(fā)展方向。

從SDS技術(shù)的現(xiàn)實情況來看:

一方面,SDS在公有云平臺上得到了廣泛的應(yīng)用。目前所有的公有云大平臺,它們的存儲架構(gòu)都采用的是軟件定義存儲架構(gòu),不會有任何公有云使用以EMC為代表的傳統(tǒng)存儲架構(gòu)。

另一方面,目前整個企業(yè)級市場在存儲領(lǐng)域的投資仍然集中在傳統(tǒng)存儲架構(gòu)上,采購的也大都是傳統(tǒng)的存儲產(chǎn)品。而華瑞指數(shù)云主要是面對企業(yè)級市場,目前SDS的市場份額占比還比較低,并且主要應(yīng)用于中低端業(yè)務(wù)場景,但是隨著企業(yè)IT架構(gòu)的現(xiàn)代化升級和演進(jìn),未來增長空間較大。

另外,SDS本身也需要迭代升級——從1.0進(jìn)化到2.0——這也是華瑞指數(shù)云想要做的。

36氪此次采訪了華瑞指數(shù)云聯(lián)合創(chuàng)始人&CTO曹羽中,以及華瑞指數(shù)云早期投資人明勢資本董事總經(jīng)理徐之浩。曹羽中曾任華為公司云與計算BG 西歐區(qū) CTO,華為公有云創(chuàng)始核心專家,華為私有云首席架構(gòu)師,美國IBM私有云產(chǎn)品SCE首席架構(gòu)師等,對云計算賽道以及軟件定義存儲賽道有著縱深的理解和廣闊的視野。他將從"科普"的角度,解釋SDS是什么,為什么我們要進(jìn)入SDS2.0時代。

以下是對話實錄,36氪整理:

36氪:軟件定義存儲這個行業(yè)還在發(fā)展過程中,能不能先簡單介紹一下該行業(yè)的基本情況。

曹羽中:軟件定義存儲這個概念已有十余年的歷史。從技術(shù)愿景的角度來說,自從這個概念推出以來,整個產(chǎn)業(yè)界都認(rèn)可這是存儲領(lǐng)域的發(fā)展方向和未來,比如Gartner從2015年起一直到最新的2022年,在其每年發(fā)布的"存儲和數(shù)據(jù)保護(hù)技術(shù)周期報告"中都把SDS列為存儲領(lǐng)域的變革性技術(shù),甚至是唯一的變革性技術(shù)。

從該技術(shù)的現(xiàn)實情況來看:一方面,它在公有云平臺上起到了很大的作用。目前所有的公有云大平臺,它們的存儲架構(gòu)都采用的是軟件定義存儲架構(gòu),不會有任何公有云使用以EMC為代表的傳統(tǒng)存儲架構(gòu);另一方面,目前整個企業(yè)級市場在存儲領(lǐng)域的投資仍然集中在傳統(tǒng)存儲架構(gòu)上,采購的也是傳統(tǒng)的存儲產(chǎn)品,SDS產(chǎn)品雖然也開始在一些企業(yè)廣泛部署使用,但是主要應(yīng)用于中低端業(yè)務(wù)場景,它們并沒有選擇大步朝軟件定義存儲的方向邁進(jìn),在我看來,這是一個錯位。

公有云全部采用了SDS方向的技術(shù),但企業(yè)市場并沒有。我們團(tuán)隊曾經(jīng)長期從事公有云IaaS層分布式基礎(chǔ)軟件的研發(fā),最大的愿景是用軟件定義存儲的架構(gòu)真正改變企業(yè)對其的抵觸心態(tài)。

另外一些比較深層次的原因,軟件定義存儲在企業(yè)級市場上并沒有大廠家出現(xiàn),傳統(tǒng)存儲巨頭很難從戰(zhàn)略層面對SDS產(chǎn)品進(jìn)行大規(guī)模投入,大型公有云廠商主要把SDS當(dāng)作整體IaaS底座的一部分。這也預(yù)示著這是一個會有很大變革機(jī)會的領(lǐng)域。

從IT基礎(chǔ)架構(gòu)的發(fā)展來看,存儲架構(gòu)與計算架構(gòu)是需要配套發(fā)展的。從計算架構(gòu)的角度來說,其實已經(jīng)大步邁向分布式架構(gòu),微服務(wù)架構(gòu),分析型引擎,數(shù)據(jù)驅(qū)動計算等新范式,整個企業(yè)級應(yīng)用都在朝向云原生應(yīng)用發(fā)展。但是對于存儲架構(gòu)來說,在今天的線下的企業(yè)級數(shù)據(jù)中心市場,很大一部分投資還是在集中式架構(gòu),硬件形態(tài)為主的傳統(tǒng)存儲陣列,雖然也有一些企業(yè)已經(jīng)部分采用了SDS,但只用承載外圍的中低端應(yīng)用,只占其存儲投資的小部分,沒有進(jìn)入的主流賽道,遠(yuǎn)遠(yuǎn)不足以驅(qū)動企業(yè)數(shù)據(jù)架構(gòu)的大變革。

我們團(tuán)隊希望使用軟件定義存儲的架構(gòu)完成整個企業(yè)級存儲架構(gòu)的演進(jìn),讓它變成一個統(tǒng)一的SDS架構(gòu),進(jìn)而支撐起整個企業(yè)的數(shù)據(jù)底座,我們計算架構(gòu)的云原生架構(gòu)以及應(yīng)用架構(gòu)將向新的應(yīng)用形態(tài)演進(jìn),整個趨勢都能把它匹配起來,這也是我們的總體方向。

36氪:SDS分布已經(jīng)從1.0時代發(fā)展到2.0時代,可以詳細(xì)地介紹一下二者有哪些區(qū)別嗎?行業(yè)的哪些變化又導(dǎo)致了這些區(qū)別的產(chǎn)生?

曹羽中:SDS1.0誕生的這十多年時間里,其被貼上了中低端存儲的標(biāo)簽,沒有進(jìn)入企業(yè)存儲的中高端市場,更不足以成為真正的企業(yè)級存儲架構(gòu)的變革者和主流選擇。

第一代SDS軟件(SDS 1.0) 起源于18年以前,開源Ceph軟件為典型代表,隨著互聯(lián)網(wǎng),云計算和大數(shù)據(jù)時代的到來獲得了較為廣泛的采用,但是第一代SDS軟件(SDS1.0)存在先天不足——面向慢速硬件和網(wǎng)絡(luò)時代設(shè)計,存儲系統(tǒng)的IO處理效率局限性明顯,IOPS低、時延大,性能穩(wěn)定性和可靠性都難以匹配企業(yè)關(guān)鍵業(yè)務(wù)的需求,且進(jìn)化速度也比較緩慢,SDS 1.0不可避免地進(jìn)入了瓶頸期。

存儲產(chǎn)品最重要的幾個性質(zhì)是可靠性、性能與時延。盡管1.0版本理念與方向是先進(jìn)的,同時天然地貼合企業(yè)未來發(fā)展,可惜在上述三項核心能力上沒有達(dá)到集中式架構(gòu)應(yīng)有的水準(zhǔn)。所以我們提出2.0的新概念。SDS 2.0作為新一代存儲系統(tǒng)軟件,首先需要適應(yīng)新興的高速硬件和網(wǎng)絡(luò)技術(shù)的要求,通過軟件層IO棧的顛覆性的改變,實現(xiàn)IO處理效率的數(shù)量級提升,能夠充分的壓榨出新一代硬件的極限性能,能夠通過軟件技術(shù)創(chuàng)新,而不是依賴于專屬硬件設(shè)計,來提升系統(tǒng)的總體可靠性,故障容錯能力和故障恢復(fù)的效率,在IOPS,時延,可靠性等存儲系統(tǒng)的核心指標(biāo)上,能夠達(dá)到替換傳統(tǒng)高端存儲陣列的水準(zhǔn)。其次,面向海量數(shù)據(jù)處理場景,需要提供高吞吐,大并發(fā),性能和容量的線性擴(kuò)展能力,支撐高性能,低時延的數(shù)據(jù)實時分析處理。第三,企業(yè)在數(shù)字化轉(zhuǎn)型過程中,會經(jīng)歷一場深刻的轉(zhuǎn)變,從以應(yīng)用和業(yè)務(wù)流程為驅(qū)動,轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為驅(qū)動,企業(yè)迫切需要構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施,能夠?qū)崿F(xiàn)數(shù)據(jù)的天然的共享存儲,共享訪問,統(tǒng)一管理和智能流動,還能更好地滿足數(shù)據(jù)跨越混合多云及邊緣的應(yīng)用需求。為了滿足這樣的需求,SDS2.0作為一個統(tǒng)一的存儲系統(tǒng)軟件,需要從架構(gòu)和元數(shù)據(jù)管理層面有充分的前瞻設(shè)計和全新的工程實現(xiàn)。

36氪:關(guān)于SDS迭代,為什么會從1.0時代進(jìn)化到2.0?

曹羽中:我從兩個方向回答。一方面,是需求側(cè)發(fā)生的變化;另一方面,是技術(shù)側(cè)發(fā)生的變化。

從需求側(cè)來說,一個是AI,另一個是國內(nèi)的信創(chuàng),需要我們核心的系統(tǒng)或數(shù)據(jù)庫搬到國產(chǎn)自主可控的大平臺上,存儲技術(shù)就包括其中。企業(yè)IT云化轉(zhuǎn)型走向深入,會把更多的企業(yè)關(guān)鍵應(yīng)用,核心應(yīng)用,各類圍繞著OLTP數(shù)據(jù)庫構(gòu)建起來的系統(tǒng)遷移到國產(chǎn)自主可控的云化平臺上,在這個過程中,云平臺對于軟件定義存儲技術(shù)提出了更高的要求,需要軟件定義存儲具備以軟件定義的方式去替代各類傳統(tǒng)存儲和全閃陣列的能力。 數(shù)字化技術(shù)和AI的廣泛采用,將推動大數(shù)據(jù)的分析和應(yīng)用由原來的批處理走向?qū)崟r數(shù)據(jù)分析,將需要存儲層在應(yīng)對海量數(shù)據(jù)存儲高并發(fā)訪問的同時,提供更低的IO讀寫時延。從存儲系統(tǒng)的信創(chuàng)角度,我們并不能僅僅滿足于研發(fā)同質(zhì)化的產(chǎn)品實現(xiàn)對國外存儲系統(tǒng)的平替,信創(chuàng)存儲產(chǎn)品能夠借助軟件定義存儲的架構(gòu)實現(xiàn)彎道超車,換道超車,實現(xiàn)我國在企業(yè)存儲領(lǐng)域的超越。

從技術(shù)側(cè)來說,首先計算范式發(fā)生了很大的變化,比較明顯的是原先的算力主要通過CPU形式來提供,往后更多的通過GPU這類更專用的硬件形式提供。GPU極大的提升了數(shù)據(jù)的并行處理能力,與CPU讀取和處理數(shù)據(jù)的方式是很不一樣的,需要有跟它的并行處理能力相匹配的數(shù)據(jù)底座。就比如取外賣時只有一個外賣架投入使用,在外賣不多時是可以滿足需求的,在GPU運算時代,可能相當(dāng)于整個公司的人都同時去取外賣,原先的外賣架就不能滿足需求了。

過去十幾年來,硬盤介質(zhì)和網(wǎng)絡(luò)等基礎(chǔ)硬件發(fā)生了很大的變化。譬如存儲介質(zhì)已經(jīng)實現(xiàn)了大規(guī)模的從機(jī)械硬盤向SSD固態(tài)硬盤的過渡,由此帶來了硬件層面的超高IOPS和超低時延,新興SSD介質(zhì)相比磁介質(zhì),性能提升了1000倍,訪問時延下降了數(shù)百倍,達(dá)到了10us級;網(wǎng)絡(luò)帶寬由過去的10M和100M已經(jīng)提升到現(xiàn)在的10G和100G, 提升了1000倍,隨著RDMA等新興技術(shù)的出現(xiàn),網(wǎng)絡(luò)訪問時延已經(jīng)下降數(shù)百倍,達(dá)到了10~20us的水平。然而,目前市場上主流的第一代SDS的IO軟件棧還是采用的15~18年以前的系統(tǒng)架構(gòu),處理單個IO的時延會達(dá)到幾百us之多,比今天的網(wǎng)絡(luò)和介質(zhì)要慢一個數(shù)量級,軟件IO棧已經(jīng)成為了整個數(shù)據(jù)存儲系統(tǒng)的主要瓶頸。

打個比方,2005年的游戲是沒有辦法把2023年的電腦跑滿的,硬盤,網(wǎng)絡(luò)等處于一個很閑的狀態(tài),也沒有辦法把今天的3090,4090顯卡充分的用起來給用戶帶來優(yōu)秀的體驗。客戶花錢買下新一代硬件,但可能硬件上只有10%左右的潛力被挖掘出來,還有90%的IO能力被閑置,這不就是一種資源的巨大浪費嗎。

其實我們可以這么說,通用標(biāo)準(zhǔn)硬件發(fā)展到現(xiàn)在這個階段,再加上軟件技術(shù)的完整革新,在存儲領(lǐng)域我們已經(jīng)具備用SDS軟件+通用標(biāo)準(zhǔn)硬件完全替換掉集中式架構(gòu)的高端存儲陣列的能力了。

36氪:您提到的"硬件到目前這個階段"是從什么時候開始的?

曹羽中:硬盤介質(zhì)方面,NVMe SSD相比傳統(tǒng)的機(jī)械硬盤HDD,從性能,時延,可靠性等維度都是遠(yuǎn)遠(yuǎn)優(yōu)勝,除了成本。實際上最近這幾年NVMe SSD的每TB成本一直在下降,大家對它的預(yù)期是等NVMe SSD的成本進(jìn)入到所謂的顛覆點,到了這個點之后,企業(yè)的熱數(shù)據(jù)存儲乃至溫數(shù)據(jù)存儲都不會再采購機(jī)械硬盤,企業(yè)采購全閃介質(zhì)的投入就會大于HDD上的投入,企業(yè)數(shù)據(jù)中心的全閃時代就到來了。這個時間點預(yù)期在未來幾年就會出現(xiàn),當(dāng)SSD的成本下降到某一點時,整個企業(yè)級市場就沒有再去采購HDD作為主存儲介質(zhì)的理由。就像筆記本電腦實際上就已經(jīng)發(fā)生類似的事情,從某個時間點起,所有的筆記本電腦里就都沒有機(jī)械硬盤了。

企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)的大變化其實很快也會發(fā)生。基于RoCEv2協(xié)議的RDMA正在走向大規(guī)模成熟商用。目前的新一代25GE以太網(wǎng)交換機(jī)和網(wǎng)卡中,RoCEv2幾乎已經(jīng)是標(biāo)配了,隨著企業(yè)網(wǎng)絡(luò)從10GE向25GE的升級,企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)大范圍支持基于RoCEv2協(xié)議的RDMA網(wǎng)絡(luò)是在幾年內(nèi)即將發(fā)生的事,RDMA網(wǎng)絡(luò)的超低時延,將極大的利好于分布式架構(gòu)和存算分離架構(gòu),也為分布式的SDS軟件在要求高性能和低時延的業(yè)務(wù)領(lǐng)域去平替集中式存儲提供了現(xiàn)實基礎(chǔ)。

技術(shù)此消彼長時就會出現(xiàn)交叉點,我們已經(jīng)看到了交叉的趨勢,等待交叉點的到來。在硬件升級的交叉點到來時,我們希望通過實現(xiàn)SDS軟件的換代升級,使SDS這樣的產(chǎn)品形態(tài)有能力切入企業(yè)更核心,更高端的業(yè)務(wù)系統(tǒng),進(jìn)而實現(xiàn)SDS換代替換傳統(tǒng)硬件盒子式的存儲產(chǎn)品的交叉點。

36氪:所以我可以理解為,目前這個領(lǐng)域仍處于市場教育的階段,你們現(xiàn)在所做的是搶占窗口期,等到時間點到來的時候,你們已經(jīng)成為占領(lǐng)市場的一方?

曹羽中:現(xiàn)在NVMe+RDMA網(wǎng)絡(luò)這樣的硬件組合還屬于比較高端的市場。只有在比較高端的業(yè)務(wù)場景里,客戶才會考慮掏錢購買NVMe SSD加RDMA網(wǎng)絡(luò)這樣的配置。但是如前所述接下來幾年這個配置就會成為一種硬件采購的標(biāo)配,會成為一個通用的主流市場。這種情況下,我們的新一代SDS2.0這樣的軟件架構(gòu)產(chǎn)品的市場規(guī)模、可以觸達(dá)的客戶業(yè)務(wù)場景將會快速擴(kuò)大。

現(xiàn)在我們和客戶談的是,在今天主流的普通機(jī)械硬盤HDD加10GE TCP/IP網(wǎng)絡(luò)的硬件條件下,我們的SDS2.0軟件相比市場上的SDS1.0產(chǎn)品也會有幾倍的性能提升,但它還不是顛覆性的,但是當(dāng)你硬件環(huán)境進(jìn)化到NVMe SSD+RDMA網(wǎng)絡(luò)的層次,SDS2.0軟件架構(gòu)相比市場上的SDS1.0軟件的性能提升將達(dá)到幾十倍,是碾壓式,顛覆性的提升,故障恢復(fù)速度,可靠性的提升也將是巨大的。客戶幾乎沒有任何理由在NVMe SSD+RDMA網(wǎng)絡(luò)這樣的新一代高速硬件上使用低速的SDS1.0時代的SDS軟件。

36氪:SDS2.0與AFA的關(guān)系是?

曹羽中:在過去的行業(yè)認(rèn)知里,SDS產(chǎn)品是低端存儲,F(xiàn)C SAN混閃陣列是中端存儲,AFA全閃陣列是高端存儲。我們推出SDS2.0產(chǎn)品WDS,是軟件定義的分布式架構(gòu),但是完全攻克了過去分布式存儲架構(gòu)IOPS低,時延大,時延不穩(wěn)定的固有缺點,從IOPS,時延,可靠性等核心指標(biāo)上來評價,是可以達(dá)到乃至超越AFA高端全閃陣列的水準(zhǔn)的,可以作為AFA的一個更現(xiàn)代化的替代品。SDS2.0又不僅僅是對AFA的平替,WDS有許多AFA做不到的能力,比如純軟件交付,容量水平擴(kuò)展,性能線性擴(kuò)展,自動化的資源調(diào)度,與云化環(huán)境/云原生環(huán)境的無縫融合,無特定硬件依賴,業(yè)務(wù)無損的無縫升級擴(kuò)容,與計算引擎的協(xié)同優(yōu)化,數(shù)據(jù)的池化和智能流動等等。所以SDS2.0在企業(yè)存儲架構(gòu)的現(xiàn)代化演進(jìn)上面將扮演主要的角色。

打個比方,假設(shè)一個很極端的場景,華為云或者阿里云使用AFA的存儲架構(gòu),如果用戶需要申請網(wǎng)盤,它們做的事就是往里頭堆一根線,說:"兄弟,hold住,我往那堆一個機(jī)器,堆完以后再接到里面去。"然后再打個電話給客戶說:"兄弟,現(xiàn)在可以使用了,你用的是什么端口?"

極端一點就是這樣。為什么全球的大型公有云平臺不采用AFA這樣的存儲架構(gòu)和產(chǎn)品去承載企業(yè)級應(yīng)用呢?有成本的因素,采購商用的AFA產(chǎn)品很昂貴,硬件的備件更換等等也需要采購專門的硬件,顯著的增加了備件采購成本和運維成本。更重要的是技術(shù)上的考量,因為傳統(tǒng)的AFA架構(gòu)首先是一個硬件,由管理員基于復(fù)雜的配置去定義和創(chuàng)建所謂的LUN,它與云計算所要求的完全自動化、API驅(qū)動、靈活彈性擴(kuò)展和資源池化共享是格格不入的,從運維監(jiān)控的角度,AFA也沒有辦法完全融入云平臺的自動化監(jiān)控運維體系,擴(kuò)容升級等運維操作將非常復(fù)雜,從資源共享和數(shù)據(jù)共享的角度,一套一套的AFA本質(zhì)上就是割裂的數(shù)據(jù)孤島,無法滿足存儲資源池化共享和數(shù)據(jù)智能流動的需求。

36氪:這涉及到另一個老生常談的問題,剛才提到企業(yè)替代AFA的成本是昂貴的,同時你們主打企業(yè)級市場,對于你們的客戶來說,它們有動力去完成替換嗎?

曹羽中:幾個驅(qū)動力:

第一,整個業(yè)務(wù)架構(gòu)要向云架構(gòu)轉(zhuǎn)型,這是業(yè)務(wù)領(lǐng)域很重要的驅(qū)動力。AFA跟云化架構(gòu),云原生架構(gòu)的需求無法完全匹配。

第二,從節(jié)約成本的角度來說,隨著數(shù)據(jù)量越來越大,客戶需要的存儲空間與性能也越來越大,在這種情況下,如果完全用AFA硬件架構(gòu)來搭建,總的成本會是一個天文數(shù)字。這是無法支撐的。

第三,是新興業(yè)務(wù)形態(tài),以GPU計算、以實時數(shù)據(jù)分析或AI訓(xùn)練為代表的業(yè)務(wù)場景,數(shù)據(jù)量不僅大,同時又要求高性能和高吞吐,這種情況下使用AFA極度不經(jīng)濟(jì),這些新型業(yè)務(wù)形態(tài)天然地需要分布式的SDS架構(gòu)。

所以這是三個主要的驅(qū)動力:即老業(yè)務(wù)云化的需求、成本驅(qū)動和新興業(yè)務(wù)場景,這都是SDS2.0比較完美適配需求的地方,所以企業(yè)的動力是很充足的。

另外,也不用局限在平行替換現(xiàn)有AFA這個點上,更重要的是面向未來的發(fā)展如何新建,企業(yè)如何采用新的思維,新的架構(gòu)去建設(shè)其下一代的存儲架構(gòu),乃至一個統(tǒng)一的存儲平面和數(shù)據(jù)底座,這個是SDS 2.0能夠帶給企業(yè)客戶的更大的價值。

36氪:像您剛才提到的,目前這個行業(yè)里有很多痛點,它需要新的架構(gòu)去解決,為什么其他的公司或者說其他的這些技術(shù)人沒有發(fā)現(xiàn)問題,沒有想到用這種改變。

曹羽中:這里有幾個因素。

一個是本身技術(shù)能力沒那么強(qiáng)的公司比如創(chuàng)業(yè)公司或一些大廠,他們技術(shù)發(fā)展思路基于某開源組件的修改,然后去優(yōu)化性能。可1.0的軟件架構(gòu)再怎么修改也不是2.0的,它永遠(yuǎn)都是一個漸進(jìn)式的修補(bǔ)。這一類廠家對技術(shù)本身缺乏把控能力,他們沒有勇氣、架構(gòu)能力和工程能力去拋開原有的開源架構(gòu)去設(shè)計2.0架構(gòu),并使它真正地工程落地,這是做不到的。這一類廠家可以歸結(jié)為"能想得到,但做不到"。馬車再怎么樣做優(yōu)化修改,也成為不了汽車。

第二類廠家已經(jīng)想到,并且也在做。這些廠家以公有云為代表。我們本身是公有云團(tuán)隊,我們有能力做這件事情,是因為我們在過去10多年一直從事云底座的研發(fā),經(jīng)歷了這方面的思考和工程實踐。目前在做這件事情的有幾個公有云巨頭。

公有云需要通過SDS架構(gòu)去承載越來越多的企業(yè)業(yè)務(wù),不會借助AFA這種硬件架構(gòu)來完成這件事。因此,他們有很多業(yè)務(wù)壓力來迫使他去做這件事。目前阿里華為還有其他云巨頭,對底層的 SDS架構(gòu)做了大量研發(fā)和升級。但其中的問題是以公有云平臺為中心進(jìn)行設(shè)計實現(xiàn),這意味著它很難線下產(chǎn)品化交付。阿里云沒有辦法把它以輕量化產(chǎn)品化的方式搬出,賣給某一個企業(yè)使用。從架構(gòu)設(shè)計的一開始,他就沒有針對這種目標(biāo),也由于沒有針對這種目標(biāo),他們的架構(gòu)需要對硬件進(jìn)行依賴。

公有云講究以最快的速度推出,很多性能不足的地方,需要硬件進(jìn)行補(bǔ)充,他們天然就會采取這種措施。公有云的存儲架構(gòu)里,底層可能使用類似傲騰這樣的硬件做加速。對于客戶來說,客戶并不想買傲騰。這就是公有云的問題所在,它面向云平臺架構(gòu),為云服務(wù)而設(shè)計,規(guī)模比較大,有很多依賴。

第三類廠家是傳統(tǒng)存儲巨頭,以EMC為代表。它們有相關(guān)的技術(shù)能力與資源,沒有這方面人才也可以再招。它們沒有來做這件事情最重要的因素是定位問題。傳統(tǒng)存儲端已經(jīng)做了分布式架構(gòu),但不能做成軟件定義存儲這類分布式的存儲,因為它不提供純軟件的交互形態(tài)。這是基于商業(yè)策略來考慮的,所以不提供軟件,而是提供完全一體化的產(chǎn)品,這是第一個缺點;第二個缺點是,傳統(tǒng)巨頭將其集中式存儲架構(gòu)定位為中高端系列面相核心數(shù)據(jù),把分布式存儲體系定位為中低端系列面向海量數(shù)據(jù)。從產(chǎn)品定位就畫了一條線,他們就沒有動力、投入和決心。他不會用左手去打自己的右手,雖然現(xiàn)在是左右兩個手都硬。這也是EMC和華為這些公司的策略,沒有變革的巨大推動力。因為兩條線都是市場的主要玩家,有著比較高的市場占有率,所以不會產(chǎn)生變革性投入。這跟所有大廠很難做顛覆性創(chuàng)新是一個邏輯。顛覆性的東西不會砸資源把它完成,大概就是這么一個市場格局。

36氪:你剛才提到企業(yè)存儲架構(gòu)有更新迭代的必要性,從企業(yè)客戶的角度考慮,他們會選擇什么時候進(jìn)行更換,你們有考慮過這個問題嗎?

曹羽中:這是漸進(jìn)的,不是一蹴而就的。就像現(xiàn)在使用云化架構(gòu)去替換企業(yè)現(xiàn)有架構(gòu),一定是小幅度地試探,一點點推進(jìn)。而不是一夜之間把原先的AFA全部扔掉,換成SDS2.0這種產(chǎn)品。

36氪:所以你們現(xiàn)在有看到他們一點一點地在試探是嗎?

曹羽中:各行業(yè)的企業(yè)正在把越來越多的業(yè)務(wù)做云化,做分布式改造,做云原生改造,做基礎(chǔ)架構(gòu)硬件的標(biāo)準(zhǔn)化,這個事情一直在推進(jìn)。剛開始可能是開發(fā)測試業(yè)務(wù),外圍的業(yè)務(wù),然后再做普通業(yè)務(wù)系統(tǒng),最后再到準(zhǔn)核心,核心業(yè)務(wù)系統(tǒng),他會一步一步向前演進(jìn),在這個過程中,他會進(jìn)一步思考他總體系統(tǒng)架構(gòu),計算架構(gòu),存儲架構(gòu),數(shù)據(jù)架構(gòu)等。

當(dāng)SDS2.0這樣的產(chǎn)品出現(xiàn)之后,由于這是一個面向未來的新一代技術(shù),具備各方面的優(yōu)勢,又可以支撐當(dāng)前必須要用AFA才能承載的業(yè)務(wù),這時企業(yè)就有機(jī)會有意愿選擇SDS2.0而不是傳統(tǒng)存儲和AFA,并且還可以考慮采用SDS 2.0的技術(shù)方案構(gòu)建企業(yè)的統(tǒng)一存儲底座,徹底改變過去為不同的業(yè)務(wù)系統(tǒng)采購和部署不同的存儲硬件的堅井式建設(shè)模式。這個過程需要有一定的總體規(guī)劃,但是肯定是需要逐步去落地的,就像我們說的去IOE,這絕對不是一夜之間完成的,需要慢慢往前推進(jìn)。

36氪:說到國產(chǎn)數(shù)據(jù)庫替代Oracle,可能現(xiàn)在我們很多的國產(chǎn)數(shù)據(jù)庫,包括一些分布式數(shù)據(jù)庫或者開源數(shù)據(jù)庫,放了很多新的技術(shù)概念在其中。他可能適合很多新的場景,但其實跟Oracle相比,他們有不夠穩(wěn)定的問題。這可能是很多企業(yè)沒有辦法下定決心從Oracle切換到國產(chǎn)數(shù)據(jù)庫的一個原因。作為一個創(chuàng)業(yè)公司研發(fā)的創(chuàng)新產(chǎn)品,穩(wěn)定性不如市場主流成熟產(chǎn)品是完全可以理解的,但從客戶的角度來說,他們不會因為是新成立的公司就花錢為產(chǎn)品的不穩(wěn)定性買單。所以我想了解一下華瑞是如何考慮這個問題的?

曹羽中:這是一個非常關(guān)鍵的問題。從技術(shù)方面來說,我們具備領(lǐng)先的優(yōu)勢和面向未來的產(chǎn)品,但阻礙我們的產(chǎn)品真正的走向大規(guī)模的生產(chǎn)應(yīng)用的最核心因素之一就是你所提到的"穩(wěn)定性"。企業(yè)客戶對于產(chǎn)品穩(wěn)定性的擔(dān)憂,有時候是對技術(shù)架構(gòu)不了解引起的,有時候又僅僅表現(xiàn)在心理作用,對于沒有經(jīng)過長時間的市場驗證的產(chǎn)品的一種不安全感。

先從技術(shù)的角度來說,SDS軟件作為分布式架構(gòu),它本身從可靠性與穩(wěn)定性的設(shè)計上與存儲陣列,AFA完全是不同的思路。存儲陣列,AFA的硬件是專門設(shè)計的,更多的依賴硬件的可靠性,硬件的冗余來實現(xiàn)全系統(tǒng)的可靠性,穩(wěn)定性和可靠性確實是高端存儲陣列經(jīng)過長期市場考驗建立起來的口碑。

我們的SDS產(chǎn)品作為分布式架構(gòu)軟件,跑在通用硬件上,其穩(wěn)定性和可靠性的設(shè)計邏輯是首先假定硬件是不可靠的,更多的是從軟件層面來整體實現(xiàn)全系統(tǒng)的可靠性和穩(wěn)定性。分布式系統(tǒng)的系統(tǒng)架構(gòu)原則是沒有單點故障,具備故障容錯能力,具備故障自愈能力,能夠及時識別有故障的硬件,亞健康狀態(tài)的硬件,將這些硬件踢出集群,在這個過程中,對上層業(yè)務(wù)不產(chǎn)生任何影響。在我們的SDS2.0軟件架構(gòu)中,我們在軟件層面實現(xiàn)了更多的可靠性和穩(wěn)定性保障措施,比如極速的分布式復(fù)制狀態(tài)機(jī),能保證數(shù)據(jù)的強(qiáng)一致性同時又具備10微秒級的數(shù)據(jù)復(fù)制時延,可以提供極速的故障恢復(fù)能力,通過副本數(shù)據(jù)比對,端到端dif, 多級故障域,分布式鏈路追蹤等多重手段來進(jìn)一步保障數(shù)據(jù)的可靠性和一致性。

其次呢,通用硬件本身的可靠性其實也一直在提升,比如NVMe SSD介質(zhì)的可靠性就比機(jī)械硬盤高幾個數(shù)量級,普通x86服務(wù)器的可靠性也一直在提升。20多年前,業(yè)界曾經(jīng)普遍認(rèn)為x86服務(wù)器是不夠可靠的,企業(yè)的核心業(yè)務(wù)一定是要跑在小型機(jī)上才放心,但是在過去的10年來,我們看到幾乎所有的企業(yè)都在把核心業(yè)務(wù)從小型機(jī)上下移到x86平臺上來,小型機(jī)逐步在市場上消失了。所以我們堅信,SDS軟件+通用硬件,在可靠性和穩(wěn)定性上面追上乃至趕超高端存儲硬件是一定會發(fā)生的。

第三點,SDS作為分布式架構(gòu)軟件,是更容易與云化環(huán)境融合形成互動的。因為云原生架構(gòu)的上層業(yè)務(wù)注重資源的彈性伸縮、快速創(chuàng)建,重啟和刪除。作為云原生架構(gòu)的SDS存儲能夠更天然地與云原生應(yīng)用產(chǎn)生互動,應(yīng)用層很容易實現(xiàn)存儲資源感知和自動化管理,然后可以采取計算和存儲聯(lián)動的一些可靠性措施,這種更高層面的系統(tǒng)可靠性也就超越了傳統(tǒng)高端存儲陣列所強(qiáng)調(diào)的存儲可靠性了。

至于企業(yè)客戶選擇新產(chǎn)品的心理擔(dān)憂的問題,是需要一定的時間來解決的。實際上企業(yè)客戶乃至具體的信息化技術(shù)負(fù)責(zé)人有很多種類型,有的保守派,有的是追隨者,有的是激進(jìn)派。現(xiàn)在有很多企業(yè)客戶有切實的痛點,如果再加上在選擇產(chǎn)品方面并不保守,在新技術(shù)上面愿意大膽嘗試,這些就是我們理想的早期客戶,我們需要這樣的客戶幫助我們破冰,去培養(yǎng)市場的聲譽和口碑。當(dāng)然,我們本身從產(chǎn)品和技術(shù)層面是要做好充分的可靠性保障的,包括建設(shè)完備的運維能力和售后維保體系。在業(yè)務(wù)有痛點需要解決,新產(chǎn)品本身可以帶來顯著的價值的基本前提下,我們相信品牌和信任是可以逐步建立起來的,企業(yè)客戶的認(rèn)知和產(chǎn)品選擇習(xí)慣是可以逐步改變的。當(dāng)然,這個一定需要一個比較長的周期,這也是為什么我們認(rèn)為在企業(yè)級市場要發(fā)生一次真正的技術(shù)變革需要一個10年的長周期。

36氪:關(guān)于你們跟一些硬件廠家的合作,具體是如何做的?比如你們的產(chǎn)品的極速性能是需要在某些固定的硬件上才能發(fā)揮作用嗎,還是在通用硬件上都可以,合作的形式是怎么樣的?

曹羽中:首先作為一款基礎(chǔ)軟件,我們最重要的架構(gòu)設(shè)計邏輯是不依賴任何特定硬件。這是我們和很多存儲產(chǎn)品最重要的區(qū)別之一。有些存儲產(chǎn)品宣傳的性能也很強(qiáng),其實它是有前提條件的,比如使用了傲騰持久化內(nèi)存來存儲元數(shù)據(jù),如果缺少這一類特定的硬件,他的性能就會大打折扣,甚至是運行不了。

我們把類似傲騰這種硬件歸為非標(biāo)品,因為他目前還是比較特殊、價格昂貴、未得到廣泛采用的新硬件。在我們的SDS軟件體系里,沒有對非標(biāo)品硬件的特定依賴,對于已經(jīng)在市場上得到大量應(yīng)用的通用硬件又提供了廣泛的兼容性支持,客戶可以選擇不同類型的CPU架構(gòu),包括Intel,海光,鯤鵬,飛騰等,可以選擇不同品牌,不同類型的硬盤介質(zhì),包括機(jī)械硬盤,SATA SSD, NVMe SSD,SCM SSD等,實現(xiàn)了從低端硬件到最高端的硬件的全覆蓋支持。

同時我們架構(gòu)設(shè)計的另外一個原則是要壓榨出硬件物理性能的極限,硬件能跑多快,我們的SDS軟件就能跑多快,對外提供相對應(yīng)的存儲IO讀寫性能和帶寬,并且保證穩(wěn)定的低時延。在我們跟英特爾做一次聯(lián)合測試中,特地選擇了基于PCIe 4.0接口的英特爾傲騰P5800X,這是市場上性能最高的商用SSD之一,單盤就能跑出150萬IOPS。測試結(jié)果表明,我們的SDS2.0軟件WDS, 使用單個進(jìn)程就可以將一整塊英特爾傲騰P5800X的峰值能力發(fā)揮出來,也就是達(dá)到近150萬 IOPS。整套分布式存儲系統(tǒng)對外能提供的峰值集群性能與系統(tǒng)中的硬盤介質(zhì)的物理極限性能的總和基本相當(dāng),證明軟件側(cè)沒有瓶頸,能驅(qū)動最高端硬件的極限性能,轉(zhuǎn)化為客戶業(yè)務(wù)能夠使用的IO讀寫能力。

還有一類硬件叫DPU,對此我們的架構(gòu)設(shè)計原則是不依賴于任何特定DPU,但是又預(yù)留開放架構(gòu)與DPU硬件做協(xié)同,讓DPU起到錦上添花,提供更多附加價值的作用。

還有一類硬件叫是計算型存儲,就是SSD介質(zhì)內(nèi)部擁有一定的計算處理能力,能夠在SSD介質(zhì)內(nèi)部提供壓縮,解壓縮能力。我們也是在SDS軟件里面預(yù)留開放架構(gòu)與這一類計算型存儲介質(zhì)做協(xié)同,這樣可以在某些業(yè)務(wù)場景,給企業(yè)客戶提供更有價值的方案。

36氪:徐總,假設(shè)現(xiàn)在有兩家公司,他們能做出同樣的事情,但一家性能更出色,另一家穩(wěn)定性更出色,穩(wěn)定性更好的公司性能可以達(dá)到60分,另一家公司在某些點上的性能能做到90分,你們會選擇投哪家公司呢?

明勢資本徐之浩:我認(rèn)為對于存儲產(chǎn)品來說,穩(wěn)定性和可靠性都非常重要。往往對于一些新興的增量的場景,首先性能要滿足業(yè)務(wù)要求,如果性能滿足不了要求,再穩(wěn)定也無法使用。

我其實有這個答案,之前遇到過類似的情況,客戶是愿意為了滿足業(yè)務(wù)場景的性能需求、在中短期忍受穩(wěn)定性的欠缺。在性能能夠滿足業(yè)務(wù)要求的前提下,穩(wěn)定性和可靠性就會成為關(guān)鍵考慮因素了。我們會參考客戶訪談,團(tuán)隊是否有做過同類商用產(chǎn)品的經(jīng)驗,團(tuán)隊的軟件工程能力和可靠性工程能力等來評估一家公司是否有能力研發(fā)出能夠穩(wěn)定上生產(chǎn),并且可以大規(guī)模復(fù)制銷售的存儲產(chǎn)品。

36氪:行業(yè)里其實也有一些所謂在做軟件定義存儲或SDS這樣的公司,比你會覺得他們和華瑞之間現(xiàn)在聊的華瑞有什么區(qū)別?從投資的角度來說,你認(rèn)為什么樣的公司未來的商業(yè)價值更高?

明勢資本徐之浩:團(tuán)隊在愿景上,在技術(shù)能力上,在選擇的技術(shù)路線上,有沒有成為行業(yè)的變革者和顛覆者的可能性,是我最看重的。可以比較明確地看到一個點是,大家可以去判斷一家存儲創(chuàng)業(yè)公司的產(chǎn)品是不是基于海外一些開源的存儲系統(tǒng)軟件在做,如果是的話,大概率做的就是SDS 1.0時代的產(chǎn)品。我對比較流行的開源的存儲系統(tǒng)也都有所了解,這類開源存儲系統(tǒng)的技術(shù)架構(gòu)都比較過時了,發(fā)展?jié)摿σ灿邢蓿遣痪邆涮魬?zhàn)市場上的成熟集中式存儲產(chǎn)品,變革數(shù)據(jù)存儲行業(yè)的潛力的。我在華瑞指數(shù)云看到了我看重的東西,我覺得這是比較核心的區(qū)別。

另外一個核心的區(qū)別是,雖然目前我們看技術(shù)看軟件,但商業(yè)化能力是非常重要的。我們確實能看到一些具備很強(qiáng)技術(shù)創(chuàng)新能力,或者技術(shù)方向在未來會有較大市場空間的一些創(chuàng)業(yè)公司大部分都走不到后面。這往往是因為早期,純技術(shù)創(chuàng)始人在商業(yè)路徑上的思考很容易彎路。現(xiàn)在的資本市場不是特別好,即使是在資本市場很好的時候,給創(chuàng)業(yè)公司的容錯空間也不見得有那么大。像華瑞公司的話,兩位創(chuàng)始人中,羽中負(fù)責(zé)技術(shù)多一點,另一位創(chuàng)始人亮總,在做業(yè)務(wù)方面有很豐富的經(jīng)驗,不僅在國內(nèi)有經(jīng)驗,在海外也有常駐的經(jīng)歷,負(fù)責(zé)一個區(qū)域的業(yè)務(wù)。我覺得這個點對我們來說是很重要的。

綜合這么考慮,一方面我們還是希望在產(chǎn)品上做到創(chuàng)新的。現(xiàn)在大家都喜歡講國產(chǎn)替代,稍微有追求一點,我們更希望我們做的是國產(chǎn)升級。很多時候純粹的國產(chǎn)替代會面臨很多問題,大家的產(chǎn)品會同質(zhì)化,只能切入相對低端且低毛利的場景中。所以在產(chǎn)品技術(shù)上,我們希望有國產(chǎn)升級的可能性。另外團(tuán)隊上帶來的差異也比較大,無論是技術(shù)、產(chǎn)品還是商業(yè),這都是很強(qiáng)的一支團(tuán)隊,我覺得這一點也是挺關(guān)鍵的。

我再補(bǔ)充一個小點,是我們當(dāng)初在接觸時讓我感觸很深的一點。我們一直在投各類軟件項目,可以看到很多軟件的創(chuàng)業(yè)公司早期并沒有在測試穩(wěn)定性和質(zhì)量保證上投入特別多精力,他們想先把東西做出來,然后再慢慢考慮后面的事。但華瑞這個團(tuán)隊,我們在早期的時候就發(fā)現(xiàn),他們很早就投入了很多錢去建設(shè)自動化測試環(huán)境,進(jìn)行各種故障注入和長期穩(wěn)定性測試。華瑞有一個完全自用的機(jī)房,現(xiàn)在差不多有160臺服務(wù)器組成各類測試平臺。這個投入是非常夸張的。說實話我覺得中大型互聯(lián)網(wǎng)公司里能把測試環(huán)境維持到100多臺的都非常少。他們本身就是華為出來的團(tuán)隊,非常了解穩(wěn)定性和可靠性對企業(yè)軟件的重要性,在特別早期的時候,就投入了很多的資源和精力去構(gòu)建環(huán)境和自己的測試體系,這給我的印象非常深。我們也投了很多數(shù)據(jù)庫類的基礎(chǔ)軟件,穩(wěn)定性確實是早期基礎(chǔ)軟件需要邁過的一道坎,華瑞在這方面的意識和實際的投入是非常足的。

關(guān)鍵詞:

責(zé)任編輯:hnmd003

相關(guān)閱讀

相關(guān)閱讀

精彩推送

推薦閱讀

在线欧美精品国产综合五月_国产精品免费久久久久影院_国产精品久久久久无码av_a级毛片黄免费a级毛片

      
      

        91国内精品野花午夜精品| 欧美va亚洲va在线观看蝴蝶网| 欧美一区二区女人| 日韩伦理免费电影| 麻豆精品国产传媒mv男同| 91日韩精品一区| 亚洲综合偷拍欧美一区色| 欧美一区二区三区的| 亚洲欧美一区二区三区国产精品| 韩国成人福利片在线播放| 欧美国产激情二区三区| 欧美在线视频不卡| 中文字幕av一区二区三区高| 日韩国产精品久久久| 久久免费美女视频| 欧美在线你懂的| 亚洲天堂精品在线观看| 国产在线精品视频| 综合电影一区二区三区| 欧美一级二级在线观看| 亚洲伊人色欲综合网| 99re视频精品| 91久久精品网| 亚洲丝袜制服诱惑| 波多野结衣欧美| 色综合一个色综合亚洲| 国产精品女主播av| 国产成人免费av在线| 一区二区激情小说| 久久久久国产精品厨房| 精品在线观看免费| 亚洲日本va在线观看| 欧美精品一区二区三区蜜臀| 奇米在线7777在线精品| 欧美极品少妇xxxxⅹ高跟鞋 | 欧美日韩免费在线视频| 亚洲激情中文1区| 91在线观看下载| 欧美性猛交xxxxxxxx| 一区二区三区中文字幕精品精品 | 亚洲国产精品成人综合| 国产一区欧美二区| 亚洲国产乱码最新视频| 国产精品剧情在线亚洲| 成人午夜电影久久影院| 日本电影欧美片| 一区二区三区久久| 久久免费视频色| 日韩欧美国产综合在线一区二区三区| 日本不卡免费在线视频| 亚洲日本va在线观看| 国产免费成人在线视频| 国产69精品久久久久777| 亚洲超碰精品一区二区| 日韩码欧中文字| 国产亚洲精品免费| 日韩精品一区二区三区在线播放| 久久99精品久久久久婷婷| 亚洲一区在线视频| 亚洲日本在线a| 国产午夜精品理论片a级大结局 | 日本亚洲电影天堂| 亚洲精品老司机| 最新不卡av在线| 久久久久久久综合色一本| 日韩欧美国产一区二区三区 | 午夜视频在线观看一区| 国产精品电影一区二区| 欧美国产欧美综合| 99精品视频在线观看| 日韩视频免费观看高清完整版 | 欧美日本在线看| 蜜臀va亚洲va欧美va天堂| 亚洲一区二区三区四区在线免费观看 | 日本一区二区视频在线观看| 成人国产亚洲欧美成人综合网 | 亚洲女同一区二区| 中文字幕免费不卡| 欧美国产一区在线| 国产亚洲欧美在线| 国产日韩欧美在线一区| 91麻豆免费视频| 337p粉嫩大胆色噜噜噜噜亚洲| 粉嫩蜜臀av国产精品网站| 欧美久久久久久久久| 国内精品伊人久久久久影院对白| 在线观看不卡视频| 美女在线视频一区| 在线看日本不卡| 美腿丝袜亚洲三区| 欧美视频日韩视频| 韩国三级中文字幕hd久久精品| 欧美三级资源在线| 激情图片小说一区| 在线播放欧美女士性生活| 国产高清视频一区| 91精品国产品国语在线不卡| 国产成人精品亚洲777人妖| 91精品国产综合久久久久久漫画| 国产精品99久久久久久久vr| 欧美疯狂做受xxxx富婆| 国产xxx精品视频大全| 日韩欧美国产一二三区| 91亚洲国产成人精品一区二区三| 久久免费看少妇高潮| 久久久久久99久久久精品网站| 欧美极品xxx| 国产精品福利一区二区| 亚洲黄色免费电影| 亚洲妇熟xx妇色黄| 男女男精品视频网| 欧美精品亚洲一区二区在线播放| 国产盗摄女厕一区二区三区| 欧美xxx久久| 国产日韩欧美在线一区| 亚洲欧美日韩久久精品| 一区二区国产视频| 麻豆成人久久精品二区三区红| 欧美日韩精品一区二区| 成人免费毛片aaaaa**| 久久九九国产精品| 国产精品国产三级国产普通话三级| 亚洲美女电影在线| 香蕉成人伊视频在线观看| 久久99在线观看| 日韩小视频在线观看专区| 久久久久久久av麻豆果冻| 亚洲免费观看高清完整版在线 | 久久久久久久久久看片| 国产精品久久三| 午夜精品久久久久久久99樱桃| 91国产丝袜在线播放| 成人综合在线网站| 国产精品网友自拍| 一区二区三区精品在线| 久久电影网电视剧免费观看| 欧美大片免费久久精品三p| 日本一区二区三级电影在线观看| 一区二区三区精品| 欧美色成人综合| av电影一区二区| 亚洲区小说区图片区qvod| 五月激情综合婷婷| 国产成人免费av在线| 亚洲国产精品成人综合色在线婷婷 | 亚洲一区二区三区四区五区黄 | 一区免费观看视频| 亚洲丶国产丶欧美一区二区三区| 精品一二三四区| 国产午夜精品久久久久久久| 一区二区三区四区激情 | 五月天一区二区三区| 6080午夜不卡| 中文字幕av资源一区| 青娱乐精品在线视频| 欧美mv和日韩mv国产网站| 最近中文字幕一区二区三区| 裸体歌舞表演一区二区| 久久女同性恋中文字幕| 亚洲夂夂婷婷色拍ww47| 丰满白嫩尤物一区二区| 综合中文字幕亚洲| 欧美丝袜丝交足nylons图片| xnxx国产精品| 亚洲一区日韩精品中文字幕| 91精品一区二区三区久久久久久| 国产欧美一区二区精品婷婷| 日韩成人免费在线| 久久免费国产精品| 亚洲成av人片| 久久亚洲一级片| 日本不卡1234视频| 国产三级一区二区三区| 香蕉久久一区二区不卡无毒影院| 91香蕉视频污在线| 视频一区欧美日韩| 26uuu成人网一区二区三区| 亚洲一区二区三区中文字幕 | 亚洲精品久久久久久国产精华液| 国产a精品视频| 一区二区三区精密机械公司| 日韩一级大片在线| 亚洲一区精品在线| av亚洲精华国产精华精华| 午夜一区二区三区在线观看| 亚洲精品一区二区三区影院| 性做久久久久久免费观看| www成人在线观看| 美女尤物国产一区| 日韩理论片在线| 中文字幕视频一区二区三区久| 婷婷综合五月天| 国产亚洲成av人在线观看导航 | 欧美aa在线视频| 国产精品久久久久影院色老大| 欧美日韩在线播| 亚洲人成7777| eeuss鲁片一区二区三区在线观看 eeuss鲁片一区二区三区在线看 | 日韩亚洲电影在线| 五月天激情综合|