在當今以數(shù)據(jù)和智能為核心驅(qū)動力的時代,數(shù)據(jù)存儲與管理技術(shù)正經(jīng)歷著深刻的范式轉(zhuǎn)變。杉巖數(shù)據(jù)首席技術(shù)官邱尚高先生近期指出,隨著人工智能(AI)的深度融合與數(shù)據(jù)湖架構(gòu)的廣泛采納,對象存儲已遠非簡單的數(shù)據(jù)存放倉庫,其角色正從被動存儲向主動、智能的數(shù)據(jù)服務(wù)基石演進。
一、AI與數(shù)據(jù)湖:驅(qū)動存儲需求變革的雙引擎
人工智能,特別是大規(guī)模機器學(xué)習(xí)與深度學(xué)習(xí),對數(shù)據(jù)提出了前所未有的要求:海量的非結(jié)構(gòu)化數(shù)據(jù)(如圖像、視頻、文本)、高吞吐的訪問性能、以及跨地域、跨集群的高效數(shù)據(jù)流轉(zhuǎn)。與此數(shù)據(jù)湖作為集中存儲企業(yè)各種原始數(shù)據(jù)的大型存儲庫,其核心理念是打破數(shù)據(jù)孤島,支持多樣化的分析工作負載。這兩大趨勢共同作用,對底層存儲系統(tǒng)的可擴展性、經(jīng)濟性、協(xié)議兼容性及元數(shù)據(jù)管理能力構(gòu)成了嚴峻考驗。傳統(tǒng)的存儲方案往往難以兼顧規(guī)模、成本與靈活性。
二、對象存儲:數(shù)據(jù)湖的理想底座
對象存儲憑借其近乎無限的橫向擴展能力、基于策略的自動化數(shù)據(jù)生命周期管理、以及通過標準S3等API實現(xiàn)的廣泛生態(tài)兼容性,天然契合數(shù)據(jù)湖的建設(shè)需求。它能夠以相對低廉的成本,高效地存儲和管理EB級的海量非結(jié)構(gòu)化數(shù)據(jù),為上層的數(shù)據(jù)分析、AI訓(xùn)練提供統(tǒng)一、可靠的數(shù)據(jù)源。邱尚高強調(diào),對象存儲已成為構(gòu)建現(xiàn)代數(shù)據(jù)湖事實上的標準存儲層。
三、不止于存儲:向智能數(shù)據(jù)服務(wù)演進
邱尚高認為,在AI+數(shù)據(jù)湖的時代,對象存儲的價值絕不應(yīng)止步于“存得住”和“取得出”。其發(fā)展的關(guān)鍵方向在于“用得好”,即演變?yōu)橹悄艿臄?shù)據(jù)服務(wù)平臺。這主要體現(xiàn)在以下幾個方面:
- 性能與智能加速:針對AI訓(xùn)練等數(shù)據(jù)密集型場景,對象存儲需要通過緩存加速、與計算框架緊耦合、支持GPU Direct Storage等技術(shù),顯著降低數(shù)據(jù)訪問延遲,提升整體訓(xùn)練效率。智能的數(shù)據(jù)預(yù)取、分層策略可以進一步優(yōu)化數(shù)據(jù)流轉(zhuǎn)。
- 豐富的元數(shù)據(jù)與標簽化:強大的自定義元數(shù)據(jù)能力,使得對象存儲能夠為每個數(shù)據(jù)對象打上豐富的語義標簽。結(jié)合AI對元數(shù)據(jù)進行自動分析、分類和標注,可以極大提升數(shù)據(jù)治理水平和發(fā)現(xiàn)效率,讓數(shù)據(jù)更“易理解”、更“可搜索”。
- 內(nèi)置數(shù)據(jù)處理能力:下一代對象存儲開始探索將部分計算邏輯“下推”到存儲層,例如支持在存儲側(cè)直接進行圖片轉(zhuǎn)碼、視頻截圖、數(shù)據(jù)過濾等輕量級處理(類似于S3 Select/Object Lambda理念),減少不必要的數(shù)據(jù)移動,實現(xiàn)“存算融合”。
- 數(shù)據(jù)安全與合規(guī)智能化:利用AI能力,對象存儲可以更智能地識別敏感數(shù)據(jù),實現(xiàn)自動化的分類分級、加密、脫敏和訪問控制,并滿足日益嚴格的數(shù)據(jù)合規(guī)性要求。
- 統(tǒng)一數(shù)據(jù)視圖與流動:作為數(shù)據(jù)湖的核心,對象存儲需要與HDFS、數(shù)據(jù)庫、數(shù)據(jù)倉庫等系統(tǒng)無縫協(xié)同,提供統(tǒng)一命名空間,并智能化地調(diào)度數(shù)據(jù)在不同存儲層級(熱、溫、冷)及不同系統(tǒng)間的流動,支撐混合云、多云環(huán)境下的數(shù)據(jù)管理。
四、展望:構(gòu)建以數(shù)據(jù)為中心的基礎(chǔ)設(shè)施
邱尚高道,未來的競爭是數(shù)據(jù)的競爭,更是數(shù)據(jù)利用效率的競爭。對象存儲作為承載企業(yè)核心數(shù)據(jù)資產(chǎn)的基石,其發(fā)展必須與上層應(yīng)用(尤其是AI)的需求同頻共振。杉巖數(shù)據(jù)等廠商正在推動對象存儲向更智能、更融合、更服務(wù)化的方向發(fā)展,目標是將存儲基礎(chǔ)設(shè)施從成本中心轉(zhuǎn)變?yōu)橘x能業(yè)務(wù)創(chuàng)新的數(shù)據(jù)服務(wù)中心。在AI與數(shù)據(jù)湖的雙重浪潮下,對象存儲的旅程,才剛剛駛向更廣闊的深海。