www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁 > 廠商動態(tài) > 亞馬遜云科技
[導(dǎo)讀]Amazon S3 Tables為分析工作負(fù)載提供了快達(dá)3倍的查詢性能,高達(dá)10倍的每秒事務(wù)處理量;Amazon S3 Metadata提供可查詢的對象元數(shù)據(jù),實(shí)現(xiàn)近乎實(shí)時的搜索、管理和增強(qiáng)數(shù)據(jù),加速數(shù)據(jù)發(fā)現(xiàn)。

北京——2024年12月17日 亞馬遜云科技在2024 re:Invent全球大會上,宣布推出Amazon Simple Storage Service(Amazon S3)新功能,使Amazon S3成為首個完全托管的支持Apache Iceberg云上對象存儲,進(jìn)一步提升了數(shù)據(jù)分析速度,并提供存儲和管理任何規(guī)模表格數(shù)據(jù)的極簡單方式。新功能還包括自動生成可查詢的元數(shù)據(jù),簡化數(shù)據(jù)發(fā)現(xiàn)與理解,助力客戶充分挖掘Amazon S3中的數(shù)據(jù)價值。

· Amazon S3 Tables是首個內(nèi)置Apache Iceberg表支持的云上對象存儲,推出了一種新型存儲桶,以Iceberg表的形式優(yōu)化存儲和表數(shù)據(jù)查詢,查詢速度最高可提升3倍,每秒事務(wù)處理量(TPS)可提高10倍,并自動化分析工作負(fù)載的表格維護(hù)。

· Amazon S3 Metadata通過自動捕獲可查詢的對象元數(shù)據(jù)以及使用對象標(biāo)簽的自定義元數(shù)據(jù),將其存儲于Amazon S3 Tables中來加速數(shù)據(jù)湖分析,可實(shí)現(xiàn)近乎實(shí)時的數(shù)據(jù)發(fā)現(xiàn)。

亞馬遜云科技存儲部門副總裁兼杰出工程師Andy Warfield表示:“Amazon S3作為領(lǐng)先的對象存儲,存儲了超過400萬億個對象,成為數(shù)百萬客戶的選擇。我們致力于不斷創(chuàng)新,以前所未有的規(guī)模消除處理數(shù)據(jù)的復(fù)雜性。隨著表格數(shù)據(jù)的快速增長,眾多客戶希望實(shí)現(xiàn)跨表查詢并提升查詢性能,更好地理解和組織大量數(shù)據(jù),以便輕松找到他們所需要的信息。Amazon S3 Tables和Amazon S3 Metadata消除了在對象上組織和操作表格及元數(shù)據(jù)存儲的復(fù)雜性,使客戶能夠?qū)W⒂跀?shù)據(jù)構(gòu)建?!?

Amazon S3 Tables和Amazon S3 Metadata現(xiàn)已與Apache Iceberg表兼容,客戶可以使用亞馬遜云科技分析服務(wù)以及開源工具,包括Amazon Athena、Amazon QuickSight和Apache Spark,輕松查詢他們的數(shù)據(jù)。

Amazon S3 Table:以簡便快捷的方式執(zhí)行Amazon S3中的Apache Iceberg表分析

如今,許多客戶都以表格數(shù)據(jù)來組織他們用于分析的數(shù)據(jù),這些數(shù)據(jù)通常存儲在Apache Parquet 中,這是一種針對數(shù)據(jù)查詢進(jìn)行優(yōu)化的文件格式。Parquet已成為Amazon S3中增速最快的數(shù)據(jù)類型之一。客戶越來越多地希望能夠查詢這些不斷增長的表格數(shù)據(jù)集,他們通常會使用開放表格式(open table formats,OTF),這是一種以表格存儲數(shù)據(jù)的開源標(biāo)準(zhǔn),有助于更有效地管理、更新和跟蹤大量數(shù)據(jù)的變化。Iceberg管理Parquet文件,已成為最流行的OTF。客戶使用Iceberg處理包含PB乃至EB級數(shù)據(jù)的數(shù)十億文件。但隨著客戶規(guī)模的擴(kuò)大,客戶管理Iceberg極具挑戰(zhàn),往往需要專業(yè)的團(tuán)隊(duì)來構(gòu)建和維護(hù)系統(tǒng),進(jìn)行表維護(hù)、數(shù)據(jù)壓縮以及管理訪問控制。這些外部系統(tǒng)不僅成本高昂和復(fù)雜,同時還需要專業(yè)的團(tuán)隊(duì)來維護(hù),占用了企業(yè)諸多寶貴資源。

Amazon S3 Tables專為管理數(shù)據(jù)湖中的Apache Iceberg表構(gòu)建。Amazon S3 Tables專門針對分析工作負(fù)載進(jìn)行優(yōu)化,與通用Amazon S3存儲桶相比,提供了高達(dá)3倍的查詢性能和10倍的每秒事務(wù)處理量(TPS)。Amazon S3 Tables能夠自動管理表維護(hù)任務(wù),包括為更好的查詢性能而進(jìn)行的壓縮,以及快照管理,隨著客戶數(shù)據(jù)湖的不斷擴(kuò)展和演進(jìn),實(shí)現(xiàn)對查詢性能和存儲成本進(jìn)行的持續(xù)優(yōu)化。客戶僅需創(chuàng)建一個表存儲桶,即可使用S3 Tables優(yōu)化存儲和查詢完全托管的Iceberg表中的數(shù)據(jù)。借助Amazon S3 Tables,客戶可受益于Iceberg的諸多功能,如行級事務(wù)處理、通過時間旅行功能查詢快照以及模式演進(jìn)等。此外,Amazon S3 Tables還提供了表級訪問控制,讓客戶精準(zhǔn)能夠定義數(shù)據(jù)訪問權(quán)限。

Genesys是全球領(lǐng)先的AI驅(qū)動體驗(yàn)編排服務(wù)商,正計劃使用Amazon S3構(gòu)建數(shù)據(jù)湖。借助Amazon S3 Tables對托管Iceberg的支持,Genesys希望為其多元化的數(shù)據(jù)分析需求構(gòu)建一個材料化視圖層。Amazon S3 Tables內(nèi)置對Iceberg表的支持將極大簡化復(fù)雜的數(shù)據(jù)工作流程,通過自動執(zhí)行關(guān)鍵維護(hù)任務(wù),如表壓縮、快照管理以及未引用文件的清理等。Genesys期待能從兼容Iceberg的分析工具中獲得性能提升和廣泛支持,這些工具可直接從Amazon S3中讀寫Iceberg表。Amazon S3 Tables將成為Genesys未來數(shù)據(jù)戰(zhàn)略的基石,幫助Genesys提供更快、更靈活、更可靠的數(shù)據(jù)洞察,以支持其AI驅(qū)動的客戶和員工體驗(yàn)解決方案。

Amazon S3元數(shù)據(jù):更輕松、快捷地探索和理解Amazon S3中的數(shù)據(jù)

隨著越來越多的客戶將Amazon S3作為其中央數(shù)據(jù)存儲庫,數(shù)據(jù)量與數(shù)據(jù)種類呈指數(shù)級增長。元數(shù)據(jù)作為理解和組織海量數(shù)據(jù)的一種方式變得越來越重要,以便客戶能夠找到他們所需的確切對象。為有效應(yīng)對這一挑戰(zhàn),許多客戶不得不構(gòu)建并維護(hù)復(fù)雜的元數(shù)據(jù)獲取與存儲系統(tǒng),來深化他們對數(shù)據(jù)的認(rèn)知。但這些元數(shù)據(jù)系統(tǒng)不但成本高昂、耗時,而且資源密集,通常需要數(shù)據(jù)工程師在元數(shù)據(jù)流經(jīng)處理管道時,手動跟蹤和更新元數(shù)據(jù);同時,還要求數(shù)據(jù)分析師手動遍歷海量的對象存儲,以找到用于分析和AI/ML數(shù)據(jù)處理工作流所需的特定數(shù)據(jù)。

Amazon S3 Metadata能夠近乎實(shí)時地自動生成可查詢的對象元數(shù)據(jù),從而加速數(shù)據(jù)發(fā)現(xiàn)并提升數(shù)據(jù)理解能力,幫助客戶消除構(gòu)建和維護(hù)復(fù)雜元數(shù)據(jù)系統(tǒng)的負(fù)擔(dān)。借助Amazon S3 Metadata,客戶可以查詢、發(fā)現(xiàn)并使用數(shù)據(jù),以支持業(yè)務(wù)分析、實(shí)時推理應(yīng)用等。Amazon S3 Metadata能夠自動生成對象元數(shù)據(jù),包括系統(tǒng)定義的詳情,如對象的大小和來源,并可通過新的Amazon S3 Tables進(jìn)行查詢。隨著對象的增加或刪除,Amazon S3 Metadata會實(shí)時更新 Amazon S3 Tables中的對象元數(shù)據(jù),確保客戶獲得最新的數(shù)據(jù)視圖??蛻暨€可以使用對象標(biāo)簽添加自定義元數(shù)據(jù),為對象注釋特定的業(yè)務(wù)信息,如產(chǎn)品SKU、交易ID、內(nèi)容評級或客戶詳細(xì)信息??蛻暨€可以通過簡單的SQL查詢輕松檢索元數(shù)據(jù),快速查找和準(zhǔn)備數(shù)據(jù),以支持業(yè)務(wù)分析、實(shí)時推理應(yīng)用、基礎(chǔ)模型微調(diào)、檢索增強(qiáng)生成(RAG)、數(shù)據(jù)倉庫與分析工作流集成,以及執(zhí)行有針對性的存儲優(yōu)化任務(wù)等。

各種規(guī)模的企業(yè)都將受益于Amazon S3 Metadata的數(shù)據(jù)發(fā)現(xiàn)和理解。領(lǐng)先的生物技術(shù)公司羅氏(Roche),計劃借助Amazon S3 Metadata加速其未來生成式AI計劃。隨著羅氏對先進(jìn)大型語言模型(LLM)應(yīng)用的開發(fā),如復(fù)雜的內(nèi)部聊天機(jī)器人,羅氏預(yù)計其用于檢索增強(qiáng)生成(RAG)的非結(jié)構(gòu)化數(shù)據(jù)量將面臨成倍增長。Amazon S3 Metadata將簡化可擴(kuò)展元數(shù)據(jù)系統(tǒng)的構(gòu)建,自動為新數(shù)據(jù)的攝入生成并更新元數(shù)據(jù)。Roche期望通過定制的Lambda函數(shù)提取復(fù)雜的、特定于業(yè)務(wù)的元數(shù)據(jù),并將其與Amazon S3 Metadata無縫集成到綜合Amazon Glue目錄中。這將讓企業(yè)更有效率,并快速識別可為前沿AI應(yīng)用提供支持的相關(guān)數(shù)據(jù)集,讓羅氏聚焦于個性化醫(yī)療領(lǐng)域的突破性創(chuàng)新。

Cambridge Mobile Telematics (CMT)是全球最大的遠(yuǎn)程信息處理服務(wù)提供商。該公司從設(shè)備收集傳感器數(shù)據(jù),并使用上下文數(shù)據(jù)對其進(jìn)行增強(qiáng),從而創(chuàng)建車輛與駕駛員行為統(tǒng)一的視圖,供汽車保險公司、汽車制造商、商業(yè)移動公司以及公共部門用于支持風(fēng)險評估、安全、理賠和駕駛員改進(jìn)計劃。CMT存儲并分析來自全球數(shù)百萬物聯(lián)網(wǎng)設(shè)備的多PB級數(shù)據(jù)。隨著公司規(guī)模的擴(kuò)大,為提出新見解和開發(fā)新模型而定位特定數(shù)據(jù)變得越來越有挑戰(zhàn)性。借助 Amazon S3 Metadata(包括系統(tǒng)元數(shù)據(jù)和自定義元數(shù)據(jù)),CMT能夠查詢PB級元數(shù)據(jù),使查找相關(guān)數(shù)據(jù)變得簡單且經(jīng)濟(jì)高效。

Amazon S3 Tables現(xiàn)已正式可用,Amazon S3 Metadata現(xiàn)推出預(yù)覽版。Amazon S3 Tables與Amazon Glue Data Catalog集成現(xiàn)已預(yù)覽可用,客戶可使用亞馬遜云科技的分析服務(wù)(如 Amazon Athena、Amazon Redshift、Amazon EMR 和 Amazon QuickSight)對包括Amazon S3 Metadata Tables在內(nèi)的數(shù)據(jù)進(jìn)行查詢和可視化操作。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉