① 如何實現高性能分布式文件存儲
其實分布式文件存儲,最復雜的就是元數據的保存和處理,而我使用的XGFS文件存儲軟體只需要三個全快閃記憶體元數據高可用節點,就可以高效保存和處理 100 億文件規模的數據,可以靈活擴展,滿足公司不斷增長的業務對性能和容量的需求,XSKY星辰天合這款產品還是很有性價比的。
② 什麼是分布式數據存儲
什麼是分布式存儲
分布式存儲是一種數據存儲技術,它通過網路使用企業中每台機器上的磁碟空間,這些分散的存儲資源構成了虛擬存儲設備,數據分布存儲在企業的各個角落。
分布式存儲系統,可在多個獨立設備上分發數據。傳統的網路存儲系統使用集中存儲伺服器來存儲所有數據。存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,無法滿足大規模存儲應用的需求。分布式網路存儲系統採用可擴展的系統結構,使用多個存儲伺服器共享存儲負載,利用位置伺服器定位存儲信息,不僅提高了系統的可靠性,可用性和訪問效率,而且易於擴展。
③ 數字財富投資分布式存儲數據中心建設是真的嗎
科技周報,為你精選過去一周(12.05~12.11)最值得關注的「科技」新聞
整理|周峰
編輯|白瑞
政策&市場
工信部發布《汽車雷達無線電管理暫行規定》
為推動汽車智能化技術應用和產業發展,加強汽車雷達無線電管理,維護空中電波秩序,近日,工業和信息化部發布了《關於印發汽車雷達無線電管理暫行規定的通知》(工信部無〔2021〕181號,下稱《通知》)。《通知》依據《中華人民共和國無線電管理條例》《中華人民共和國無線電頻率劃分規定》等法規規章,並參考國際電信聯盟《無線電規則》等相關規定,充分考慮了汽車雷達與其他無線電業務之間的頻率兼容共存,兼顧產業現狀和技術發展趨勢,從規范管理、促進發展的角度出發,明確了汽車雷達使用頻率、主要應用場景、射頻技術要求、管理方式以及設置使用和干擾協調要求,以促進頻率資源高效利用。(中華人民共和國工業和信息化部)
四部門:堅決避免數據中心盲目無序發展
12月8日,國家發展改革委、中央網信辦、工業和信息化部、國家能源局等四部門發布《貫徹落實碳達峰碳中和目標要求推動數據中心和5G等新型基礎設施綠色高質量發展實施方案》。《實施方案》提出,到2025年,數據中心和5G基本形成綠色集約的一體化運行格局。(證券時報)
歐盟反壟斷機構暫停對英偉達收購ARM案調查
12月9日,《論壇報》《馬賽新聞》報道,歐盟反壟斷監管機構近期暫停了對英偉達收購ARM案的調查,並表示正在從各方搜集更多信息。(人民網)
英國:將於2033年前逐步淘汰2G和3G移動網路
路透社12月7日消息,英國政府周三表示,英國將在2033年前逐步淘汰2G和3G移動網路,為5G和最終的6G服務做准備,後者將為無人駕駛汽車、無人機和虛擬現實等技術提供動力。(界面新聞)
Gartner:第三季度全球智能手機銷量同比下降6.8%
根據Gartner的數據,2021年第三季度全球智能手機銷量同比下降了 6.8%。組件短缺擾亂了生產計劃,導致庫存減少和產品供應延遲,最終影響了銷量。(財經網)
TrendForce:全球半導體代工主要市場Q3環比增長11.8%
市場研究公司TrendForce最近表示,佔全球半導體代工市場97%的前10家公司的銷售額在2021年第三季度環比增長11.8%至272.7億美元。三星電子的代工銷售額也較第二季度增長11.0%至48.1億美元,繼續位居第二。然而,這家韓國半導體巨頭的市場份額從2020年的17.3%下降到17.1%。另一方面,台積電擴大市場份額,拉大與三星電子的差距。台積電第三季度銷售額環比增長11.9%至148.84億美元,佔比53.1%。這一數字比第二季度的52.9%增加了0.2個百分點。(TechWeb)
IDC:中國物聯網市場規模有望在2025年超3000億美元
IDC近日發布《2021年V2全球物聯網支出指南》。DC預測,2021年全球物聯網支出將達到7542.8億美元,並有望在2025年達到1.2萬億美元,五年(2021-2025)復合增長率(CAGR)11.4%。其中,中國市場規模將在2025年超過3000億美元,全球佔比約26.1%。(新浪財經)
IDC:三季度全球可穿戴設備出貨同比增長9.9%至1.38億
市場調研機構IDC發布的報告顯示,2021年第三季度全球可穿戴設備出貨量為1.384億台,同比增長9.9%。其中,耳戴式產品出貨量同比增長26.5%,占可穿戴設備總出貨量的64.7%。其次是腕戴式產品,占據可穿戴設備市場的34.7%。(中國半導體行業協會)
Gartner:預計2023年移動應用隱私追蹤退出率將從85%下降到60%
研究機構Gartner於12月2日發表了一份預告,預測了未來移動應用程序追蹤用戶數據提供個性化廣告的情況。在蘋果的帶領下,App收集用戶偏好數據的難度越來越大,因為蘋果要求應用主動提示用戶是否同意收集個性化的使用數據。2021年有大約85%的用戶選擇拒絕提供數據,預計2023年這一指標將降低至60%,意味著更多的用戶同意App收集一定的偏好數據,來提供個性化廣告或推薦。(電子工程世界)
大公司&大事件
2021年世界品牌500強發布,44個中國品牌入選
由世界品牌實驗室(World Brand Lab)獨家編制的2021年度(第十八屆)《世界品牌500強》排行榜於12月7日在美國紐約揭曉。2020年的亞軍谷歌(Google)擊敗亞馬遜(Amazon)榮登榜首;亞馬遜因受疫情影響業績不及預期,退居第二;2021財年凈利潤大增的微軟(Microsoft)繼續保持第三。中國品牌入選數為44個,比2020年多1個,在所有國家中位列第四。在上榜的44個中國品牌中,前五位分別為國家電網(排名23)、騰訊(排名35)、海爾(排名37)、中國工商銀行(排名40)、華為(排名56)。(揚子晚報)
2021全球最具創新企業公布:華為超三星拿下第一
日前Capital on Tap發布了2021年最具創新技術公司排行榜。TOP25中上榜的中國公司有7家,其中排名最高的是華為,拿下總榜第一,之後還有京東方(第三位)、騰訊、網路、台積電、小米和平安。此次排名按照的是2021年專利申請數來考察,其中華為的數量達到了9739件,幾乎是第三名京東方的兩倍。(快科技)
商湯科技港股IPO前,被美列入投資黑名單
當地時間周五(12月10日),美國財政部海外資產控制辦公室(OFAC)OFAC還將商湯集團有限公司列入「非SDN中國軍事綜合體企業」(NS-CMIC,涉軍企業)清單。按美國相關政策,一旦被列入該名單,則美國投資者將不能在市場上同商湯科技進行交易,此舉可能使商湯科技本月的香港首次公開募股(IPO)計劃復雜化。根據商湯科技IPO招股書,美國的銀湖資本和高通公司參與了對商湯科技的投資。截至北京時間11日凌晨,銀湖資本和高通都未對有關報道予以置評。
12月11日上午,商湯科技通過官微發布聲明稱,"對於這一決定與相關指控表示強烈反對。我們認為該決定與相關指控毫無根據,反映了對我公司根本性的誤解。科技發展不應該受到地緣政治的影響。"
12月7日,商湯科技啟動香港首次公開招股。上市文件顯示,商湯科技本次上市共發行15億股,其中90%為國際配售。市場消息顯示,國際配售部分僅半日已獲得超額認購,本次招股,基石認購佔比六成。基石投資者分別是中國誠通發起設立的混合所有制改革基金、國盛海外香港、上海人工智慧產業股權投資基金、上汽香港、廣發基金、Pleiad基金、WT、Focustar及Hel Ved。按照計劃,商湯科技將於12月17日上午掛牌上市,代碼為「0020.HK」。(綜合自環球時報、證券時報、北京商報)
聯想控股:國有資產未流失,歷次中央巡視未提異議
12月10日上午,聯想控股在內網發布聲明表示,2009年的股權轉讓,嚴格按照國有資產產權交易相關要求進行了審計、資產評估和備案。聲明稱,本次股權轉讓,實現了國有資產的保值增值,歷次中央巡視和國家審計署審計均未對此提出過任何異議。早前,司馬南公開質疑聯想2009年將29%股權轉讓給泛海集團,「涉嫌國有資產流失」,引發軒然大波。(每日經濟新聞)
阿里巴巴升級「多元化治理」,加碼內需與全球化戰略
12月6日,阿里巴巴董事會主席兼CEO張勇發出內部信,宣布公司升級「多元化治理」體系,任命戴珊和蔣凡分別負責新設立的「中國數字商業」和「海外數字商業」兩大板塊。在內部信中,張勇表示,進行多元化治理體系升級,是為了在各個業務領域用更清晰的戰略藍圖、更敏捷的組織面向未來,真正創造長期價值。(每日經濟新聞)
工業富聯擬收購鴻海精密全資子公司相關資產,耗資2.88億
12月8日晚間,富士康(下稱「工業富聯」)於上交所發布關於購買資產暨關聯交易的公告。公告稱,工業富聯擬通過全資子公司富聯科技(蘭考)有限公司以自有資金收購鴻海精密的全資子公司蘭考裕富精密科技有限公司持有的機器設備(CNC精雕機、拋光機、清洗機等)相關資產,交易價格約為2.88億元。(AI財經社)
小米15億成立新公司:涉晶元業務
企查查顯示,上海玄戒技術有限公司於日前成立,注冊資本15億人民幣,曾學忠擔任其執行董事、總經理、法定代表人;劉德任監事。該公司由X-RingLimited全資控股。該公司經營范圍包括電子科技、通信科技、信息科技、半導體科技領域內的技術服務、技術開發、技術咨詢、技術轉讓;信息技術咨詢服務;信息系統集成服務;集成電路晶元設計及服務;集成電路晶元及產品銷售;集成電路設計;軟體開發;通訊設備銷售;電子產品銷售;半導體分立器件銷售;半導體器件專用設備銷售等。(C114)
三星電子高層換血,合並消費電子和移動業務部門
12月7日,三星電子通過官方網站宣布,電子影像顯示業務負責人韓鍾熙(Jong-Hee Han)任副董事長兼CEO,領導由消費電子和移動業務合並新成立的SET部門。任命Kyehyun Kyung為CEO,負責設備解決方案(DS)部門。此前三星電子共有三位CEO,包括金基南、金玄石和高東真,分別負責半導體、消費電子和移動業務。三星電子表示,新任命是「為了公司未來增長的下一階段並加強其業務競爭力」。(澎湃新聞)
Meta AI團隊並入AR/VR部門,Workplace業務主管離職
據外媒The Information援引知情人士消息,Facebook母公司Meta已將其AI團隊合並入負責開發AR/VR產品的Reality Labs部門。該消息得到Meta確認。另據報道,Meta負責職場業務的副總裁朱利安·考德紐安(Julien Codorniou)周二宣布,他將離開Meta,加入倫敦風險投資公司Felix Capital。考德紐安自Meta Workplace業務2016年推出以來,一直擔任該部門的領導職位,他之前已在該公司任職5年,並擔任平台合作團隊總監。(新浪科技)
英特爾自動駕駛子公司Mobileye將上市,估值超500億美元
據外媒披露,英特爾旗下自動駕駛公司Mobileye籌備2022年年中在美國上市,預計估值超過500億美元。Mobileye創建於1999年,是以色列一家知名的高級駕駛輔助系統(ADAS)廠商,其提供的演算法和計算機晶元能夠根據圖像(由汽車上的攝像頭拍攝)來預測潛在的碰撞事故。(界面新聞)
同程藝龍成立酒店科技平台
12月9日,同程藝龍宣布成立藝龍酒店科技平台。該平台是集酒店管理、信息技術和采購貿易為一體的住宿產業綜合平台,擬通過技術、酒店營銷與運營、供應鏈、資本等賦能體系,目前藝龍酒店科技平台已有多家酒管公司入駐。(環球網)
松下大幅縮減電視業務,多數製造將外包至TCL
據日經新聞報道,松下最近與全球第三大電視機製造商TCL簽署了一項協議,根據協議,從明年開始,TCL將為東南亞和印度等市場生產松下的大部分廉價電視機。兩家公司還希望在面板采購和開發方面展開合作,這在生產成本中佔了相當大的比例。同時,松下將在2020財年前結束在日本、越南和印度的生產,並將在今年關閉巴西的工廠,在明年3月底前關閉捷克共和國的工廠,只剩下馬來西亞和中國台灣的兩家工廠。該公司將繼續為日本國內市場生產OLED等高利潤產品。(財經網)
全球排名系統Alexa Rank網站將於2022年5月1日關閉
Amazon旗下的全球網站流量排名系統Alexa Internet周三(12/8)宣布,將在2022年的5月1日結束長達25年的經營,且即日起就不再接受新的訂閱。但不管是Amazon或Alexa Internet都未披露關閉該服務的原因。(鈦媒體)
紫光集團破產重組方案確定
紫光股份有限公司12月11日發布公告,確認紫光集團重組方案,戰略投資者為智路資本和建廣資產組成的聯合體。目前紫光集團總資產約為3000億元人民幣,確認債權近1426億,重組完成後旗下7個主體的資產將納入到智路建廣聯合體的體系中。官方表示,在法院的監督指導下,通過建立遴選機制開展多輪重整投資方案遴選工作,紫光集團確定北京智路資產管理有限公司和北京建廣資產管理有限公司作為牽頭方組成的聯合體,為紫光集團等七家企業實質合並重整戰略投資者,依法與戰略投資者推進重整投資協議簽署及重整計劃草案制定等相關工作。(IT之家)
柔宇科技被爆資金緊張、拖欠員工薪酬
據財新報道,柔宇科技承諾11月30日為員工補發10月工資,但當日公司並未補發薪資。由於未如期發薪,11月30日下午,劉自鴻召開全員大會,向全員溝通公司資金狀況,稱公司融資正在進行中,預計12月有資金進入,將在12月底或者次年一月發放薪資,但仍有不確定性。(財新)
英特爾CEO下周將會見台積電高管
知情人士稱,美國晶元製造商英特爾公司CEO帕特·基辛格(Pat Gelsinger)將於下周與台積電管理層的會面。英特爾既需要台積電的先進製造服務,也打算與台積電在晶元代工領域展開競爭。此前他曾公開游說美國政府,要求只能把劃撥給美國晶元行業的資金提供給本國公司。基辛格辯稱,台積電和三星電子等海外製造商不應該通過《晶元法案》獲得資金,該法案目前正在接受華盛頓的政治審批。同時,台積電和三星都宣布了在美國建廠的計劃(cnBeta)
小米訴爭Mi商標獲法院支持
12月7日消息,天眼查App顯示,12月6日,小米科技有限責任公司與國家知識產權局其他一審行政判決書公開。文書顯示,此前,國家知識產權局對訴爭商標(45082362號「Mi」商標)的注冊申請予以駁回。原告小米公司稱,引證商標(12599801號)已撤銷,且訴爭商標是原告在先商標的延續注冊。請求法院依法撤銷被訴決定,判令被告重新作出決定。法院認為,鑒於引證商標連續三年不使用被撤銷在全部商品上的注冊,訴爭商標注冊的權利障礙已發生變化,據此撤銷國家知識產權局作出的商標駁回復審決定,並由其重新作出決定。(鳳凰科技)
微軟逼迫Office客戶改為按年訂閱,否則漲價20%
2022年,微軟將推出所謂的「Office新商務體驗」產品計劃,這是對企業通過微軟經銷商夥伴購買軟體的程序進行了優化提升。目前,微軟尚未宣布公開未來軟體產品價格變動,但是一些微軟合作夥伴已經獲得通知,如果Office企業用戶按照月度付費,則將面臨20%的漲價,除非切換成年度付費會員。(新浪科技)
台積電11月營收超340億元,同比增長18.7%
12月10日,台積電公布2021年11月營收報告。11月合並營收約為新台幣1482億元(人民幣約340億元),環比增加10.2%,同比增加18.7%。該月營收為歷年同期新高,以及單月營收的史上第3高。(AI財經社)
新產品&新技術
華為鴻蒙HarmonyOS系統明年登陸歐洲
近日,華為中東歐、北歐以及加拿大消費者業務總裁Derek Yu在羅馬尼亞交流時接受采訪,期間表示華為鴻蒙Harmony OS系統將在明年登陸歐洲市場。目前,鴻蒙Harmony OS系統的主戰場是中國市場,海外市場的大部分華為手機使用的依然是EMUI。華為早前公布的消息,目前已經有135款華為設備升級為鴻蒙Harmony OS正式版,有6款設備正在內測招募中,而已經升級的華為設備數量已經超過了1.5億。(快科技)
支付寶公布車輛違規自動識別專利
支付寶(杭州)信息技術有限公司近日公布「車輛交通違規自動識別方法、裝置及設備」專利,申請日期為2021年8月。摘要顯示,該專利利用車輛行車記錄儀記錄前方及兩側車輛行駛視頻,識別出違規片段後,自動向車輛對應的用戶終端發送提示信息,提醒用戶及時舉報。該專利可提升車輛違規舉報效率,進而提升駕駛員素質,確保車輛行駛安全。(界面新聞)
小米安全車輛識別專利獲授權,可降低兒童被拐概率
近日,北京小米移動軟體有限公司獲得「車輛識別方法、裝置、設備及存儲介質」專利授權。專利摘要顯示,該方法包括:判斷用戶乘坐的目標車輛信息是否為安全車輛;若判斷為非安全車輛,向預設的目標終端發送報警信息。本方案能夠及時向父母提醒兒童當前所處危險環境,需要採取安全措施,使父母能夠第一時間做出反應,提高營救概率,降低兒童被拐數量。(財經網)
網路獲AR背景音頻處理方法專利授權
12月7日,網路在線網路技術(北京)有限公司獲得了"AR背景音頻處理方法、裝置、AR設備和可讀存儲介質"專利授權。專利摘要顯示,本發明所述方法包括:獲取目標音頻特徵,進而獲取增強現實AR背景互動音頻,向AR用戶播放所述AR背景互動音頻。本發明不受限於場地,具有較高的靈活性,且AR背景互動音頻具有與周圍環境聲音相同的目標音頻特徵,使AR用戶視聽統一,提高了用戶的AR體驗。(財經網)
Stellantis集團開通無線充電測試公路
近日,世界第四大汽車集團Stellantis公司宣布將在義大利與合作夥伴一起建造一條無線感應式充電高速公路,這條長1.05公里的無線充電公路位於連接義大利米蘭和布雷西亞的A35高速公路旁,從外表看起來就像一條普通的高速公路,但它在柏油路面內裝有電線。車輛可以通過一個特殊的接收器收集這些電力。(界面新聞)
小米明年下半年量產新型電池,容量提升10%
12月10日下午,小米手機宣布新一代電池技術,首次實現動力電池級高硅補鋰技術應用於手機,負極硅含量提升3倍,結合全面升級的封裝技術,在同等體積下將電池容量提升10%。新型電池將於明年下半年量產,可能會在小米MIX 5、小米12至尊版或小米13上首發應用。(財聯社)
OPPO將推出首款自研晶元,或為6納米NPU,台積電代工
據媒體報道,OPPO 或將在下周公布其首款自研晶元,這款晶元的定位是獨立 NPU。據內部人士透露,這顆自研晶元是基於6nm先進製程EUV工藝製造,由台積電代工。晶元早在今年6月就完成流片,但一直沒有公布。(品玩)
優必選悟空機器人落地韓國,覆蓋首爾300家幼托中心
韓國首爾市政府宣布了科創教育試點項目,在當地幼托中心引進優必選智能教育機器人悟空,落實人工智慧幼兒教育。本次項目為期五個月,自今年8月開始,於12月結束,主要面向3-5歲兒童,共將覆蓋首爾市300家幼托中心。項目採用報名制,當地有使用意向的幼托中心通過線上報名即有機會免費獲得機器人為期一個月的使用權及操作使用指引。(芥末堆)
國行AppleWatch已支持心電圖檢測功能
蘋果12月8日面向開發者發布了iOS 15.2和iPadOS 15.2更新的RC候選預覽版本,另外蘋果還發布了watchOS 8.3 RC版更新。同時升級iPhone 和 Apple Watch軟體更新後,國行Apple Watch已可支持心電圖檢測功能。(品玩)
Facebook推出社交VR應用Horizon Worlds
Facebook周四推出名為Horizon Worlds的免費社交VR應用,面向美國、加拿大18歲及以上年齡的用戶開放,可通過佩戴Quest 2VR設備接入。在Horizon Worlds應用內,戴上頭盔的用戶可以與朋友或者陌生人會面、玩游戲,還可以創建屬於他們的世界。用戶以高度定製的化身出現,但化身沒有腿,用戶移動現實世界中的手指和手掌就可以在VR世界化為手勢,當用戶講話時,化身的嘴也會翕動。(新浪科技)
一周投融資
本周全球科技領域融資事件共107起,其中國內41起,國外66起。據睿獸分析不完全統計,本周國內科技領域融資金額總計超22億元人民幣,海外融資金額總計超59億美元。
以下為本周全球值得關注的融資信息:
XSKY星辰天合獲得4億元F輪融資
星辰天合(北京)數據科技有限公司(XSKY星辰天合)近日宣布完成4億元人民幣F輪融資。本輪融資由騰訊投資、源碼資本、雲暉資本參與。在繼今年9月宣布完成E輪股權融資之後,已實現2021年內累計融資超10億元人民幣。
自成立以來,星辰天合公司注重科技創新,致力於以中國技術力量影響開放平台生態系統,創建自主可控的底層設施,以主流的、先進的技術和產品為客戶創造價值,提供企業級分布式軟體定義存儲產品。攜手產業鏈上下游合作夥伴,構建完善的 SDS 生態系統,通過高度的產品化,解決用戶混合雲時代數據的管理、存放、 讀取、保護、流動等數據基礎設施的關鍵問題,幫助客戶實現數據中心架構革新。
長芯盛智連完成3億元B輪融資
長飛光纖光纜股份有限公司旗下的長芯盛智連(武漢)科技有限公司完成3億元B輪融資。本輪融資由雲鋒基金領投,美團龍珠、晨壹投資等知名基金跟投。2021年至今,長芯盛智連累計獲得近6億元融資,據悉,融資資金將主要投入元宇宙硬體平台、8K高清影音、下一代精準醫療等領域的有源光纜自主晶元研發、產線自動化等項目。
Nebula Brands獲得超5000萬美元B輪融資
Nebula Brands於近日宣布獲超5000萬美元B輪融資,本輪投資由L Catterton領投,老股東經緯創投、阿爾法公社加碼跟投。Nebula Brands聯合創始人王彥植介紹,本輪融資資金將主要用於持續收購亞馬遜平台上的中國品牌。Nebula Brands成立於2019年,致力於通過「資本收購+品牌運營」 模式,幫助更多中國消費者品牌在亞馬遜平台上獲得成長,打造品牌化。
模具工業互聯網平台模德寶獲得超2億元融資
模具工業互聯網平台模德寶12月7日宣布完成超2億元融資,由國內著名互聯網戰略投資人領投,產業方跟投,光源資本擔任獨家財務顧問。融資完成後,模德寶將進一步推進產品研發,拓展市場渠道。模德寶成立於2012年,是香港科技大學李澤湘教授創辦的松山湖國際機器人研究院(Xbot Park)孵化項目之一。聚焦模具及精密製造生態,通過全生命周期管理、生產協同和打造柔性製造智慧工廠,模德寶不僅幫助訂單驅動的中小模具企業提高其在價值鏈中的地位;還通過建立多地研發、協同共享的分布式製造,為工業用戶提供極具品質、成本和交付競爭力的模具產品及精密零部件。
望圓科技完成近2億元A輪融資
近日,天津望圓環保科技有限公司(簡稱:望圓科技)完成近2億元A輪融資,毅達資本和中信建投資本聯合領投。望圓科技成立於2005年,主要從事智能泳池機器人產品的研發、生產與銷售,是國內少數擁有地上泳池、地下泳池、私人及公共泳池全系列清潔機器人產品的高科技企業。公司產品廣泛出口至歐洲、北美及澳洲等發達國家和地區。
智臾科技獲1億元B輪融資
12月9日,智臾科技宣布完成1億元B輪融資。本輪融資由方廣資本領投,國泰財富基金與凱泰資本跟投,A輪投資機構朗瑪峰創投超額跟投,雲岫資本擔任獨家財務顧問。智臾科技成立於2016年,其產品為新一代資料庫DolphinDB,集高性能時序資料庫(time-series database)與全面的分析功能為一體,可用於海量結構化數據的存儲、查詢、分析、實時計算,實現PB級數據查詢毫秒級響應以及復雜分析任務秒級響應,助力企業實時商業決策。DolphinDB由智臾科技自主研發,擁有全部知識產權,不依賴任何第三方系統。DolphinDB的付費客戶遍及中國大陸及港台地區、歐洲、美國、澳大利亞等地,客戶領域包括金融、能源、智能製造、電信、化工、水務、營銷分析、智慧城市等。在國際權威的資料庫排行網站DB-Engines的排名中,DolphinDB位列國產時序資料庫第一名。
開發運營平台Cloudbees獲1.5億美元融資
開發運營平台Cloudbees在第六輪融資中募集1.5億美元,公司估值達到10億美元。CloudBees是一個基於開源軟體Jenkins的開發運營平台,同時它還會為Jenkins提供訓練和驗證服務,並推出可以提供託管服務的交付平台,為開發者提供各類雲介面、測試服務等。
Incode獲2.2億美元B輪融資
面向全球企業的下一代身份驗證和認證平台Incode今天宣布,公司已在B輪融資中籌集2.2億美元,從而使公司的估值達到12.5億美元,在距離A輪融資不到七個月的時間里一躍成為獨角獸企業。最新一輪投資由知名投資者General Atlantic和軟銀領投,頂級金融機構摩根大通、Capital One Ventures和Coinbase Ventures跟投。此外,參與這輪融資的還包括SVCI (Silicon Valley CISO Investments)和dLocal的創始人,SVCI由50多位科技領域知名首席信息安全官(CISO)組成,致力於匯集力量和資金以投資下一代網路安全創新。DN Capital、3L Capital、Framework Ventures、Dila Capital等現有投資人也已跟投。
Incode是一家企業身份驗證和認證平台,該公司為銀行,支付和零售行業提供安全的生物識別產品。其旗艦套件Incode Omni是端到端的全渠道身份平台,可跨多個渠道無縫訪問以吸引並吸引下一代消費者。在過去12個月內,Incode的營收增長了六倍。
④ 淺析 Haystack 圖片存儲系統
Facebook在2010年的時候發表過一篇在分布式存儲系統領域很有名的一篇文章《Finding a needle in Haystack》來描述他們的圖片存儲系統,Haystack 存儲了超過2600億張圖片,大約佔了20TB的數據,用戶每周都會上傳10億張圖片,高峰時期的並發量在100萬以上(這是2010年的數據,現在很有可能上了一個數量級)。
在這個數量級之下,需要考慮的問題不僅僅是高吞吐,低延時,保證數據的一致性,還要考慮如何能節省流量,容易擴展,容錯等等。下面我們就來看下Haystack是怎樣滿足這些分布式系統的要素的。
圖片存儲系統的最大特點是數據只寫一次,讀取頻繁,不會修改,很少刪除。Facebook 一開始的存儲系統是基於NFS的NAS(Network Attached Storage), 但這種基於 POSIX 的文件系統無法支撐如此大的負載。其中主要的問題在於在圖片定址的過程中會產生過多的磁碟操作。
我們知道從傳統文件系統裡面讀取一個文件需要至少三次磁碟操作,第一次從硬碟中讀取目錄的 metadata 到內存中,然後讀取inode到內存,最後才從磁碟中讀取文件內容。
再者這些metadata裡麵包含了大量比如許可權控制這些對於圖片存儲系統來說無用的信息,也浪費了大量的磁碟空間。當像圖片這樣的靜態資源服務出現瓶頸的時候,自然就會想到使用 CDN (Content Delivery Networks) 系統。在傳統的設計中,一個圖片的 HTTP 請求發送後, 如果 CDN 有這個資源的緩存,就會立馬返回,反之 ,CDN 會將根據請求的 URL 從存儲系統裡面讀取圖片,更新緩存,然後再返回。在這樣的設計中,CDN 確實可以很有效地處理熱點圖片的請求。
但像 Facebook 這樣的社交網路中,有大量的請求是針對那些非熱點或者老內容的,用戶在請求那些長尾 (long tail) 內容時將沒有優化。當然,有些同學會說,那我可以將所有的圖片都緩存到 CDN,那確實會解決這個問題,但將會極大地增加資源的開銷。
為了減少那些直接 hit 到存儲系統的請求的磁碟操作,他們想到在第一次讀取文件的時候把filename到 file handle 的映射緩存到內存,在下一次讀取文件的時候,會調用自定義的open_by_filehandle來減少磁碟操作,但這對於long tail的讀取問題依然存在,因為這些文件的映射關系沒有提前放在內存中。
於是,Facebook 決定從頭研發圖片存儲系統,從前面我們可以看出,Haystack 的核心任務就是在處理每一次的請求中盡可能地減少磁碟操作。我們先來描述下 Haystack 讀取和上傳圖片流程是怎樣的,然後再來看其中的細節是如何處理的。
當發起一次圖片讀取請求的時候會通過一個事先構建好的 URL
http://///這個 URL 實際上顯示出了訪問的順序,先從外部 CDN 讀取,如果沒有,訪問內部 Cache,如果還是沒有,就直接訪問 Store Machine.(URL最後一部分提供了圖片的唯一標識)
用戶上傳圖片的時候先會上傳到 web 伺服器, 然後伺服器從Directory中找到一個可寫的physical volume,最後伺服器會給這個圖片生成一個唯一ID, 然後寫入到這個logical volume 所對應的所有physical volume中。
上面的過程中出現了幾個陌生的名詞,別著急,我們一個個來看。我們先來介紹 Haystack 的三個主要組件:
Store,Directory,Cache.
Store 是核心組件,負責圖片的存儲。Store 的容量決定了這個存儲系統的容量,整個 Store 組件由很多個 store machine 組成,store machine 的容量又由一系列的 physical volume 決定。
例:要提供 10TB容量,我們可分攤到 100 個 physical volume,每個 physical volume 提供 100 GB 的容量。這時候有的同學會問,那麼數據冗餘是怎麼解決的呢?Haystack 借鑒了普通硬碟中的 logical volume 的概念,將不同機器上的多個 physical
volume 組成了一個虛擬的 logical volume。
當存儲一張圖片的時候,實際上是存儲到了 logical volume 對應的所有 physical volume中。它們之間的映射關系連同其它的metadata都存儲在 Directory組件中。每個physicalvolume 中都存儲了上百萬張圖片,可以把它想像成一個巨大的 append-only 文件,然後通過 offset 來訪問文件。
我們來詳細看下這個文件到底是如何存放的,如何來達到減少磁碟操作目的的。對於每個這樣超大的文件,都由一個 superblock 和一系列的 needles 組成,每個 needle 就是每張圖片的信息。看下下面這張圖,它的結構就一目瞭然了。
每個needle包含的細節信息有圖片ID,圖片大小,圖片數據等等,還會有數據校驗的屬性。每個 store machine 都有若干個physical volume大文件, 為了提高檢索needles 的速度,在內存里為每個physical volume都維護了一張圖片I 到needle之間的映射表。
當store machine接收到讀取請求時,首先從內存映射表中找到相應的metadata, 然後通過offset從硬碟中讀取到整個needle, 通過數據校驗後返回。如果接收到的是上傳請求,會把組織好的needle追加到所有對應的physical volume文件中,並且更新內存里的映射表。如果是刪除操作的話,我們注意到下圖中有個Flags標志位其實就是用來標記是否是刪除的狀態,這樣一來就很簡單,直接在這個位置標記好,系統會在後面執行compaction 操作回收這些空間。
講到這里,一個正常流程的存儲過程已經很清楚了。這時候我們就需要考慮分布式系統一個必不可少的特性:容錯性。當一個 store machine 宕機的時候,理論上我們可以讀取所有的 physical volume 來重新構建內存映射表,但這就需要從磁碟重新讀取 TB 級別的數據,顯然是非常耗時和不高效的。為了解決這個問題,每個 store machine 為每個 physical volume 都維護了一個索引文件。這個索引文件類似於游戲中的存檔點 (checkpoint),它的結構和 physical volume 文件類似,保存了查找每個 needle 所需的屬性。為了性能,索引文件是非同步更新的(寫的時候非同步更新,刪的時候壓根不會更新),這就會帶來一個問題:索引文件有可能不是最新的。之前我們提到過,physical volume 文件是一個 append-only 的文件,索引文件也是。所以我們只需要在重啟 store machine 的時候,從後向前掃描 physical volume 文件找到那幾個沒有被索引的文件,加到索引里去就行了。對於被刪除的文件,在真正讀取完整 needle 數據的時候,通過檢查刪除標志位來更新內存映射表。
我們之前提到可以使用 CDN 來緩解系統壓力,但它無法很好地解決非熱點圖片的問題,並且如果 CDN 節點出現故障的話,沒有 Cache 這一層會對底層的存儲系統 Store 產生巨大的壓力。Cache 組件主要緩存了最近上傳的圖片,它的概念很簡單,實際上是一個分布式 hash table,通過圖片的 ID 為 key 可以找到對應的數據。Cache 接收從 CDN 或者瀏覽器直接發來的 HTTP 請求,但只有在以下兩個條件都滿足的情況下才會緩存圖片:
1) 請求來自用戶瀏覽器而不是來自 CDN
2) 請求的 store machine 是可寫的
這聽上去有些費解,條件 1 的原因是如果一個請求在 CDN 緩存中 miss 其實也會在 Cache 中 miss (如果一張圖片成為熱門的話,那也能在 CDN 找到),條件 2 的原因則是避免讓可寫的 store machine 進行大量讀操作,因為圖片通常在剛剛上傳後會被大量讀取,文件系統通常在只讀或者只寫而不是既讀又寫的時候性能比較好。
如果沒有 Cache 的話,可寫的 store machine 將會同時處理寫操作以及大量的讀操作,會導致性能的急劇下降。
現在我們只剩下 Directory 組件沒有講了。除了之前我們提到的存儲了 physical volume 到 logical volume 的映射關系以及圖片 ID 到 logical physical 的映射關系,它還提供負載均衡服務以及為每個操作選擇具體的 volume (因為寫操作的對象是 logical volume,讀操作的對象是 physical volume), 它還決定了一個請求是被 CDN 處理還是被 Cache 處理。Directory 還可以標記邏輯卷的狀態,在運維需要或者空間滿了的時候可以標記為只讀狀態。當往 Store 加新機器的時候,這些機器就會標記成可寫的,只有可寫的機器才能接受圖片上傳請求。這里有一個細節需要注意,圖片 ID 到 logical physical 的映射表肯定無法存放在單機內存,文章中也沒有交代具體實現。我們猜想可以使用 MySQL 分片集群和加上 Memcached 集群來實現。總的來講,Directory 實際上根據 metadata,然後結合各種策略,實現了整個系統的調度器。
本文描述了 Haystack 圖片存儲系統的主要脈絡,當然還有許多細節沒有提到,比如整個系統的容錯機制,如何實現批量寫操作等等。經過這幾年的發展,我們相信 Haystack 肯定也進行了更多的優化,現在一些開源的分布式存儲系統也被應用到實際的生產系統中,比如淘寶的 TFS,MooseFS 等等。我們會在後續的文章中比較這些系統之間的異同,總結出解決其中典型問題的通用方法。
⑤ 每天有那麼多人在朋友圈發視頻和照片,騰訊的伺服器為什麼可以儲存那麼大的數據
騰訊微信用戶超過9億,每天產生的數據量都是數億tb,馬化騰在一次數博會上透露,騰訊保存著18年用戶的數據,數據量超過1000個pb。就在前不久騰訊公司宣布它的用戶已經突破九億人。用戶信息最久都已經保存了近二十年。為什麼不論用戶在何時何地打開軟體都可以找到自己上傳的信息,而且還能非常尋迅速的下載下來。這些功能都是如何實現的呢?
而且,分布式存儲也能起到很好的保密作用,除非經過用戶的請求允許,不然是很難拿到用戶的完整數據。因此完全可以。
⑥ 集中式存儲和分布式存儲有什麼區別
區別:
1、物理介質分布不同。
集中存儲:物理介質集中布放。
分布存儲:物理介質分布到不同的地理位置。
2、視頻流上傳不同:
集中存儲:視頻流上傳到中心。
分布存儲:視頻流就近上傳,對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。
3、對機房有要求不同:
集中存儲:對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。
分布存儲:對骨幹網帶寬沒有什麼要求,可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;。小容量設備分布部署,對機房環境要求低。
(6)天津圖片分布式存儲擴展閱讀:
集中存儲:
指建立一個龐大的資料庫,把各種信息存入其中,各種功能模塊圍繞信息庫的周圍並對信息庫進行錄入、修改、查詢、刪除等操作的組織方式。
分布式存儲系統:
是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。
分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
網路-集中存儲
網路-分布式存儲系統
⑦ 什麼是分布式存儲系統
分布式存儲系統,是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
(7)天津圖片分布式存儲擴展閱讀:
分布式存儲,集中管理,在這個方案中,共有三級:
1、上級監控中心:上級監控中心通常只有一個,主要由數字矩陣、認證伺服器和VSTARClerk軟體等。
2、本地監控中心:本地監控中心可以有多個,可依據地理位置設置,或者依據行政隸屬關系設立,主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成;音視頻的數據均主要保存在本地監控中心,這就是分布式存儲的概念。
3、監控前端:主要由攝像頭、網路視頻伺服器組成,其中VE4000系列的網路視頻伺服器可以帶硬碟,該硬碟主要是用於網路不暢時,暫時對音視頻數據進行保存,或者需要在前端保存一些重要數據的情況。
⑧ 集中式存儲和分布式存儲的區別在哪裡如何選擇
如今全球數據存儲量呈現爆炸式增長,企業及互聯網數據以每年50%的速率在增長,據Gartner預測,到2020年,全球數據量將達到35ZB,等於80億塊4TB硬碟。數據結構變化給存儲系統帶來新的挑戰。非結構化數據在存儲系統中所佔據比例已接近80%。
互聯網的發展使得數據創造的主體由企業逐漸轉向個人用戶,而個人所產生的絕大部分數據均為圖片、文檔、視頻等非結構化數據;企業辦公流程更多通過網路實現,表單、票據等都實現了以非結構化為主的數字化存檔;同時,基於資料庫應用的結構化數據仍然在企業中占據重要地位,存儲大量的核心信息。
數據業務的急劇增加,傳統單一的SAN存儲或NAS存儲方式已經不適應業務發展需要。SAN存儲:成本高,不適合PB級大規模存儲系統。數據共享性不好,無法支持多用戶文件共享。NAS存儲:共享網路帶寬,並發性能差。隨系統擴展,性能會進一步下降。因此,集中式存儲再次活躍。
那麼集中式存儲和分布式存儲的有缺點分別有哪些呢?在面對二者時我們該如何選擇呢?下面我將為大家介紹和分析集中式存儲和分布式存儲的不同之處以及在應用中我們應做的選擇。
分布式和集中式存儲的選擇
集中存儲的優缺點是,物理介質集中布放;視頻流上傳到中心對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。
分布存儲,集中管理的優缺點是,物理介質分布到不同的地理位置;視頻流就近上傳,對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。
⑨ 分布式存儲極簡藝術Minio解析
MinIO 對象存儲系統是為海量數據存儲、人工智慧、大數據分析而設計,基於
Apache License v2.0 開源協議的對象存儲系統,它完全兼容 Amazon S3 介面,單個對象的最大可達 5TB,適合存儲海量圖片、視頻、日誌文件、備份數據和容器/虛擬機鏡像等。作為一個開源服務,MinIO 在設計上汲取了Glusterfs的相關經驗不教訓,系統復雜度上作了大量簡化,目前大小隻有40+M,部署只需要一個命令即可完成!另外,minio舍棄了傳統分布式存儲擴容所需要的遷移流程,採用聯盟模式添加集群的方式,極大簡化了擴容流程;除此之外,minio還具有糾刪編碼、比特位保護、單寫多讀(worm)、下面來依次簡要解析一下Mioio的特點及具體實現:
元數據和數據一起存放在磁碟上。元數據以明文形式存放在元數據文件里(xl.json)。假定對象名字為key_name, 它所在桶的名字是bucket_name, disk路徑就是/disk,那麼存儲路徑就是:/disk/bucket_name/key_name,windows下C盤存放桶名為test,對象名為minio.exe示例如圖:
其中part.1是實際存儲數據(單機模式為原生數據,分布式為糾刪碼分塊),xl.json是如下所示的json字元串:
在同一集群內,MinIO 自己會自勱生成若干糾刪組,用於分布存放桶數據。一個糾刪組中的一定數量的磁碟發生的故障(故障磁碟的數量小於等於校驗盤的數量),通過糾刪碼校驗演算法可以恢復出正確的數據。MinIO 集成了 Reed-Solomon 糾刪碼庫,MinIO 存儲對象數據時,首先把它分成若乾等長的片段(對於大對象,默認按 5MB 切片),然後每一個片段會糾刪演算法分成若干分片,包括數據分片不校驗分片,每個分片放置在一個糾刪組的某個節點上。對象的每一個數據分片、校驗分片都被「防比特位衰減」演算法所保護。
MinIO 會根據對象名(類似於文件系統的全路徑名),使用 crc32 哈希演算法計算出一個整數。然後使用這個整數除以糾刪組的個數,得到一個余數。這個余數,可以作為糾刪組的序號,這樣就確定了這個對象所在的糾刪組。MinIO 採用 CRC32 哈希演算法,不 glusterfs 的Davies Meyer哈希演算法(性能、沖突概率不md4, md5相近)不一樣的是,CRC32演算法的哈希值分布較不均勻,但運算速度極快,高出 md4 數倍。相對於容量均衡,MinIO 更看重數據的寫入速度。
糾刪組如何配置?
官方文檔說明如下:
也就是說糾刪組的總大小隻能從這7中情況中根據你提供的盤的個數(或者說路徑個數)來自動選取最大值的,我們 不能靈活地配置m+k糾刪存儲格式。但這樣說又不是很准確 ,因為雖然不能配置任意的m+k,但是在系統已經選取好擦除編碼集的的個數後(也就是m+k),可以使用storage class存儲類來自定義m和k的數量,默認是1:1的。
存儲類:
MinIO支持配置兩種存儲類別,精簡冗餘類別和標准類別,默認是標准類別(1:1),可以在啟動MinIO伺服器之前使用設置的環境變數來定義這些類。使用環境變數定義每個存儲類別的數據和奇偶校驗磁碟後,您可以 在上傳對象時通過請求元數據欄位設置對象的存儲類別x-amz-storage-class 。然後,MinIO伺服器通過將對象保存在特定數量的數據和奇偶校驗磁碟中來兌現存儲類。具體配置和使用可以參考官方文檔 https://github.com/minio/minio/tree/master/docs/erasure/storage-class
傳統的擴展方式的劣勢
通過增加節點來擴展單集群,一般需要進行數據均衡,否則群集內各存儲節點會因負載不均而出現新的瓶頸。除了數據均衡操作的時機這個問題以外,在均衡過程中一般需要仍存儲使用率高的節點吐使用率低的節點遷移數據。當集群擴容後,大量已經寫入的文件落點會出現改變,文件需要遷移到真實的落點。當存儲系統容量比較大時,則會發生大量的文件/對象進行遷移,遷移過程可能由於佔用大量資源而導致上層應用性能下降。而且當文件/對象遷移過程中,機器故障可能會導致一些意想不到的情冴,尤其是有大量業務的時候。當然針對此類問題,Gluterfs之類的文件系統有一些比較復雜的處理辦法。
不支持擴展優勢
⑩ 什麼是分布式數據存儲
什麼是分布式存儲
這個詞彙是源於國外,簡稱是DSS,簡單來說,就是存儲設備分布在不同的地理位置,數據就近存儲,將數據分散在多個存儲節點上,各個節點通過網路相連,對這些節點的資源進行統一的管理,從而大大緩解帶寬壓力,同時也解決了傳統的本地文件系統在文件大小、文件數量等方面的限制。
為什麼分布式存儲這么重要
分布式存儲的誕生有著很強的優越性,主要體現在靈活性、速度、成本等方面。
靈活性方面:分布式存儲系統使用強大的標准伺服器(在CPU,RAM以及網路連接/介面中),它不再需要專門的盒子來處理存儲功能。而且允許標准伺服器運行存儲,這是一項重大突破,這意味著簡化IT堆棧並為數據中心創建單個構建塊。通過添加更多伺服器進行擴展,從而線性地增加容量和性能。
速度方面:如果你研究一個專門的存儲陣列,你會發現它本質上是一個伺服器,但是他只能用於存儲,為了擁有快速存儲系統,你要花費的成本非常高。即使在今天大多數系統中,當你為存儲系統進行擴展時,也不會提高整個系統的性能,因為所有流量都必須通過「頭節點」或主伺服器(充當管理節點)。但是在分布式存儲系統中,任何伺服器都有CPU,RAM,驅動器和網路介面,它們都表現為一個組。因此,每次添加伺服器時,都會增加總資源池,從而提高整個系統的速度。
成本方面:分布式存儲組織將最大限度地降低基礎設施成本高達90%!沒錯,是90%,因為驅動器和網路所花費的成本非常低,極大的提高了伺服器的使用效率,同時,數據中心所花費的電力、空調費、所佔空間等費用也減少了,管理起來更加方面,所需要的人也更少。這也是為什麼如今各大公司都在部署分布式存儲。