400-050-2580

捷报手机足球比分直播:藍燈數據:用 Pivotal Gemfire 內存數據網格實現四大應用場景!

2017-12-22

007球探网足球比分 www.622319.live 面對企業的數字化變革,消費者與企業正無時無刻不在“聯網”狀態。企業的“秒殺”、“閃購”場景已非常普遍化,很多企業已經達到了每秒10萬,甚至百萬級的瞬時訪問量。面對這樣訪問量需求,藍燈數據帶來“Pivotal GemFire”:一個能實現處理龐大數據流,擁有持續不斷可用性和一致性的解決方案。


方案的關鍵之處是:在不同數據管理系統和位置下都可以靈活擴展。

 

本文將探討如何利用內存數據網格改變客戶體驗、決策能力和盈虧的各種方式。具體來說,我們會通過四個應用場景來了解一些企業客戶在不影響速度和數據的安全性的情況下是如何使GemFire支持高性能的實時應用程序的。




應用場景一:交易處理



超高的數據管理性能


網購、設備互聯、證券交易,這些類型的交易處理應用程序要求超高的數據管理性能。隨著越來越多的企業著手進行數字化轉型,這些類型的應用程序數量只增不減,在這種情況下,高度支持數據一致性的內存數據網格是必須的。


處理超大量并發交易業務


Pivotal GemFire可以處理超大量的并發交易業務,涉及兆兆字節的運行數據,為客戶提供更快,更可靠的交易體驗。


可擴展性更強


與傳統的關系數據庫管理系統相比較,Pivotal GemFire的可擴展性更強,能夠隨著需求的不斷提高進行相應的擴展。

 

無論您是第一位用戶還是第十萬位用戶,系統都會在瞬間處理好您的交易請求。這種高速、安全的能力對于擁有在線購物,支付處理,以及金融交易業務的企業來說尤為重要。

 

每一秒等待時間都意味著交易數量的降低,從而導致企業收入的降低,GemFire利用閃電般的速度和靈活的可擴展性,為用戶提供快速交易,從而可以提高客戶保留率和參與性。


12306官網案例




12306.cn無疑是全球最繁忙的網站,每到特殊節日,這個世界上規模最大的實時交易系統都要面臨巨大考驗。2012年初的春運高峰期間,每天有2000萬人訪問該網站,日點擊量最高達到14億,大量同時涌入的網絡訪問造成12306幾近癱瘓。在2015年春運高峰日,12306的PV值是297億,流量較平時增加1000倍。

12306作為一個面向公眾的系統,互聯網售票系統具備所有大型互聯網系統的特性:“高并發”, “高流量”。尤其是在我國的各個節假日,系統的訪問量激增,導致整個系統后臺壓力過大,響應緩慢。


  傳統關系型數據庫所面臨的挑戰


有網友調侃說,12306其實也是一個電商平臺,而且是全球最復雜、規模最大的電商平臺。但實際上,12306背后所隱藏的業務邏輯非常復雜,遠遠超過普通的電商平臺。事實上如果將每張可出售的火車票當成一件商品來看,每張票的銷售都會關聯到整條路線每個站點可銷售的余票量,有些站點的余票量會產生變化,有些站點則不會。從另外一個角度來看,當銷售一張票,改簽,或退票時,整條路線甚至每個站點的余票量都需要重新計算,也就是說每個站點的余票庫存是個“動態變化庫存”的概念。

 

站點與站點之間的余票庫存有巨大的關聯性,此“動態庫存”概念的業務邏輯是12306與電商網站最大的差異。

 

12306的設計重點不但要具有大型電商網站所具備的特性外 (即提供快速響應時間,高可用性(容災和備份)和系統的擴展性),還需要有強大的CPU計算資源來支撐。

 

鑒于12306沒有圖片、視頻等影響帶寬的內容,主要矛盾是數據庫的高并發量,采用內存數據庫是正確的解決思路。GemFire正是一個基于內存的分布式數據庫,并且擁有大量的成功案例,非常適合來解決12306的問題。我們能看到,這兩年關于12306官網火車余票量不準確的抱怨確實減少了。


  12306成長歷程


12306網站3年時間訪問量從10億PV暴漲到100億PV,售票量從100萬增加到500萬,出票處理能力200張/秒增加到1000張/秒。

 

GemFire本身就是基于內存的技術架構,對于并發訪問有天然的IO優勢。同時GemFire是一個分布式數據庫,可以將數據訪問的請求分散到集群中,有效降低單個服務器的負荷。動態的分布式架構,可以在運行時增加服務節點,從而獲得更高的并發性能。

 

高流量方面,主要涉及低延遲的余票查詢。GemFire支持類Map-Reduce并行處理,能夠按車次將余票、共用定義等數據拆分成多個獨立的計算單元,對余票查詢中最耗時的共用定義部分做預先處理,生成查詢緩存。當余票數據發生變化時,系統會動態更新查詢緩存。有了預處理及數據同步過程維護的動態查詢緩存,單次查詢可以控制在10ms-300ms之間, 同時10分鐘的固有延遲也不存在了。

 

12306從2012年3月開始改造,在只采用10幾臺X86服務器實現了以前數十臺小型機的余票計算和查詢能力,單次查詢的最長時間從之前的15秒左右下降到0.2秒以下,縮短了75倍以上。2012年春運的極端高流量并發情況下,支持每秒上萬次的并發查詢,高峰期間達到2.6萬QPS吞吐量,整個系統效率顯著提高。

 

訂單查詢系統改造,在改造之前的系統運行模式下,每秒只能支持300-400個QPS的吞吐量,高流量的并發查詢只能通過分庫來實現。改造之后,可以實現高達上萬個QPS的吞吐量,而且查詢速度可以保障在20毫秒左右。新的技術架構可以按需彈性動態擴展,并發量增加時,還可以通過動態增加X86服務器來應對,保持毫秒級的響應時間。

 

在以往的春運期間,12306售票系統部署GemFire集群在2個數據中心,提供服務。在2015年春運購票高峰之前,考慮到超大并發會造成網絡流量大以及阻塞的問題,項目組特別在阿里云建立一個數據中心,由阿里云提供“虛擬機”的租賃服務,將基于GemFire實現余票查詢功能的系統以及Web服務部署在這些虛擬機上,以分流“余票查詢”請求,解決因為高峰期超高并發造成的網絡阻塞問題,以進一步提高服務品質。2015年春運購票高峰期的12306高效平穩運行,也驗證了混合架構的可行性。





應用場景二:事件通知和處理


把握熱數據機遇


在諸如信用卡詐騙、風險計算、車輛跟蹤這些情景中,數據就像說書人,講述了現場實時發生的各種事件。

 

隨著互聯網成為各行各業強有力的數據源,把握熱數據機遇變得尤為重要。然而,傳統的數據管理系統無法快速處理大數據,從而無法及時將重要事件傳達給客戶端應用程序,傳統的系統也無法結合歷史和實時數據進行實時分析和預測。


快速處理實時和歷史數據集


如果我們結合內存數據網格與大規模并行處理數據存儲,就可以像Pivotal Greenplum或者開源Greenplum Database一樣快速地處理實時和歷史數據集,讓熱數據分析成為可能。銀行、能源,以及電信等行業的領導者無疑會對GemFire出色的事件通知和處理能力喜聞樂見。


強大的內存數據網格


GemFire強大的內存數據網格可以管理高達兆兆字節的內存輸入數據,并在服務器內部數據發生變化時,跨越多個集群,將通知推送至應用程序客戶端。這種快速,持續的查詢能力使得系統能夠快速,輕松地訪問大量輸入數據,并采取行動。


通用電器案例


工業巨頭通用電器公司就采用了GemFire的內存事件處理和通知功能來對其燃氣輪機產品進行跟蹤。

 

通用電器公司的遠程水力和電力監控與診斷中心現在能夠處理和存儲渦輪機上高速的時間序列傳感器的大型數據流(每秒超過10萬個,內存10兆兆字節)。

 

GemFire的連續查詢功能允許通用電器公司通過各種傳感器數據密切留意渦輪故障信號。此外,通用電器公司已實施快速合并分析實時和歷史數據,來預測渦輪維護需求,防止設備故障。利用事件處理和分析功能,結合實時和歷史數據,通用電器公司開始采用精簡的方式進行監測和維護其艦隊,而采用原有的系統來分析這些是不可能的。


應用場景三:分布式緩存

啟動應用時加載時間過長


仍在等待該產品搜索頁面加載?每秒!生命!都是!寶貴的!

 

如果在啟動應用時加載時間過長肯定會叫人心情煩躁,而大多數客戶在等待頁面加載的時候耐心都極為有限。


快速調用經常訪問的數據


GemFire的內存數據網格可以作為現有應用程序的緩存層使用,這樣,應用程序就可以快速調用經常訪問的數據,不會在訪問磁盤數據時發生卡頓。而更重要的是, GemFire能夠在服務器?;約骯閿蟯牧憂肭笫苯謝賾?,這使得應用程序持續可用從而降低延遲。


支持復雜的緩存解決方案


不論是網絡會話緩存還是主機卸載,GemFire都支持復雜的緩存解決方案。

 

某國家級商業服務提供商正在使用GemFire的內存緩存功能,用于那些需要快速和頻繁訪問大量數據子集的應用程序。


內存本地緩存解決方案


人力資源和財務人員使用這些應用程序來搜索和篩選員工信息,他們需要快速、可靠地訪問各種數據子集,如員工住址或薪酬等級。使用搜索表格從數據庫中查詢這些信息是一個緩慢而繁瑣的過程。

 

為了滿足高容量、低延遲的數據調用需求,我們在應用程序中直接創建了一個先進的本地緩存解決方案,并且可以通過GemFire來不斷更新。這個內存本地緩存系統的功能類似于單頁面Web應用程序,讓用戶可以在幾分之一秒的時間內搜索和篩選大量的數據,帶來流暢而高效的用戶體驗。

 

經常有些糟心事兒:

 

比如說在等待頁面加載時發現你鍵入到表格中的信息丟失了,更嚴重的例子也比比皆是;

 

比如某大型保險公司因為原有的系統無法保存填寫中的表格,使得客戶流失率持續上升;

 

GemFire完美地解決了這個問題,讓該公司在三個數據中心可以實時緩存客戶信息。如今,他們的客戶可以隨時返回到申請表而沒有任何的數據丟失,極大地提高了保險在線提交申請的數量。



應用場景四:計算/數據網絡


在內存中處理大數據流


蒙特卡羅模擬、組合預測、價格和性能指標的比較……金融服務行業是GemFire網格大數據的成長沃土。使用傳統的數據庫存儲體系意味著處理和分析財務數據需要在各個獨立的系統之間來回大量移動數據,許多金融服務公司的陳舊系統很難跟上客戶數據不斷增加的步伐。GemFire可以在內存中處理非常大的數據流,無需將數據傳輸到一個單獨的分析系統中去,允許快速地存取數據和充分地分析數據。


即時迅速的大規模分析能力


某大型金融服務公司采用GemFire在單一平臺上快速處理兆兆字節級的內存數據,該公司的客戶能夠快速查看強制組合指標中的不同數據源。

 

以價格數據和性能指標為例,傳統的數據庫架構需要額外步驟來處理這些指標,花費時間太長。而GemFire的內存數據網格不必在各個單獨數據庫之間移動數據即可進行復雜計算和分析,這為基金經理、投資者和其他的平臺用戶提供了即時迅速的大規模分析能力。





相關閱讀

400-050-2580 取消 呼叫
{ganrao} 佳永配资正规不 南国七星彩票特区论坛 山东十一选五出什么号 双色球下载安装2015 辽宁体彩11选五玩法技巧 体彩排列三开奖结果中一个好 十一选五复式投注表 北京赛车北京赛车直播 广西十一选五任五奖金 疯狂飞艇走势 股票配资平台查询网 重庆幸运农场十分钟开奖 股票配资平台选哪个怎么样 江西快三最新版本下载 时时彩平台送 p62开奖结果双今天