云計(jì)算技術(shù)在高速公路上的應(yīng)用實(shí)踐
2018-12-05 來(lái)源:中華網(wǎng)
第一部分 初識(shí)云計(jì)算 、遷移上云
1.1初識(shí)云計(jì)算、遷移上云
2012年,當(dāng)我們使用遠(yuǎn)程桌面客戶端登錄云端主機(jī)的那一刻開始,新IT基礎(chǔ)設(shè)施時(shí)代來(lái)了,基于傳統(tǒng)硬件模式的各業(yè)務(wù)系統(tǒng)架構(gòu)將會(huì)發(fā)生巨變。
我們?cè)谠贫舜罱ê弥鳈C(jī)、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)等環(huán)境后,聯(lián)系了網(wǎng)站、投資、人力資源、財(cái)務(wù)管理等系統(tǒng)的軟件廠商進(jìn)行系統(tǒng)遷移,按照從小到大、從易到難的順序,將這些系統(tǒng)陸續(xù)遷移到了云端,并于2015年2月全部遷移完成。集團(tuán)總部將原用于支撐這些系統(tǒng)的主機(jī)、存儲(chǔ)、防火墻、防毒墻、路由器、交換機(jī)等設(shè)備斷電、下架并同時(shí)拆除了網(wǎng)絡(luò)專線。
1.2新的動(dòng)力
2015年1月,國(guó)務(wù)院發(fā)布《國(guó)務(wù)院關(guān)于促進(jìn)云計(jì)算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見》, 云計(jì)算成為“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃的新基礎(chǔ)設(shè)施。
2015年7月4日,國(guó)務(wù)院印發(fā)《關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)﹢”行動(dòng)的指導(dǎo)意見》,《意見》指出,加快互聯(lián)網(wǎng)與交通運(yùn)輸領(lǐng)域的深度融合,通過基礎(chǔ)設(shè)施、運(yùn)輸工具、運(yùn)行信息等互聯(lián)網(wǎng)化,推進(jìn)基于互聯(lián)網(wǎng)平臺(tái)的便捷化交通運(yùn)輸服務(wù)發(fā)展。
2016年11月世界互聯(lián)網(wǎng)大會(huì),中國(guó)交通運(yùn)輸部發(fā)出以整合資源、開放共享為重點(diǎn),以泛在互聯(lián)、全面感知、便捷交互為目標(biāo),推動(dòng)“互聯(lián)網(wǎng)+”與交通運(yùn)輸融合發(fā)展的倡議。
2017年9月14日交通運(yùn)輸部辦公廳印發(fā)《智慧交通讓出行更便捷行動(dòng)方案(2017—2020年)》的通知,在不斷完善智慧出行發(fā)展環(huán)境的要求中提出,“深化出行公共信息資源開放示范。推動(dòng)相關(guān)政府部門、事業(yè)單位加快交通出行公共信息資源開放,充分利用以綜合交通出行大數(shù)據(jù)開放云平臺(tái)為代表的各類數(shù)據(jù)開放平臺(tái),支撐各類出行信息服務(wù)產(chǎn)品的研發(fā)推廣。鼓勵(lì)各類主體利用開放信息資源開展出行服務(wù)創(chuàng)新。”
2017年12月26日,在交通運(yùn)輸部召開的全國(guó)交通運(yùn)輸工作會(huì)議中,在實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略,加快推進(jìn)行業(yè)轉(zhuǎn)型升級(jí)的要求中提出“要充分利用互聯(lián)網(wǎng)廣泛覆蓋、高效連接等特性,解決傳統(tǒng)產(chǎn)業(yè)中存在的信息不對(duì)稱、中間環(huán)節(jié)多等問題,以旅客便捷出行、貨物高效運(yùn)輸為導(dǎo)向,全面推進(jìn)“互聯(lián)網(wǎng)+交通運(yùn)輸”行動(dòng)”,“要堅(jiān)持以信息化驅(qū)動(dòng)交通運(yùn)輸現(xiàn)代化,推動(dòng)云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)、移動(dòng)智能終端等技術(shù)在交通運(yùn)輸領(lǐng)域的深度應(yīng)用,推動(dòng)交通運(yùn)輸傳統(tǒng)產(chǎn)業(yè)向自動(dòng)化、智能化轉(zhuǎn)變。”
國(guó)家這一系列政策與倡議出臺(tái),更加堅(jiān)定了我們選擇云計(jì)算平臺(tái)作為新的基礎(chǔ)設(shè)施來(lái)支撐“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃的信心與依據(jù),使我們有了新的強(qiáng)大動(dòng)力。
第二部分 全面使用云計(jì)算
2.1云計(jì)算 基礎(chǔ)服務(wù)的應(yīng)用
(1)按需 付費(fèi),秒級(jí)計(jì)費(fèi)
在2013年的時(shí)候,很多國(guó)內(nèi)云計(jì)算服務(wù)提供商宣稱自己的云平臺(tái)費(fèi)用最低,我們?cè)谥鹨辉囉煤蟀l(fā)現(xiàn),各類資源最少的付費(fèi)周期是一個(gè)月,也就是說(shuō)其實(shí)是包月或包年價(jià)格最低,也就是無(wú)論你用不用這些計(jì)算資源,都得先支付至少一個(gè)月的費(fèi)用,這與云計(jì)算服務(wù)按需付費(fèi)的特點(diǎn)是不匹配的。
那么如何才是真正的按需付費(fèi)呢?那就是按秒來(lái)計(jì)費(fèi)。例如,我們?cè)谠贫私⒘艘慌_(tái)主機(jī)進(jìn)行相關(guān)測(cè)試,在使用了59分59秒后刪除,那么在云端應(yīng)該只收取59分59秒費(fèi)用。在云端購(gòu)買的這些主機(jī)、路由器等資源和物理設(shè)備不同,若不再使用直接刪除就行,而物理設(shè)備買回來(lái)就成了固定資產(chǎn)。所以只有做到了云平臺(tái)上所有服務(wù)都按照秒級(jí)計(jì)費(fèi)的要求,才能實(shí)現(xiàn)真正的按需付費(fèi),這才是真正的費(fèi)用最低。
我們按照按需付費(fèi),秒級(jí)計(jì)費(fèi)的要求,經(jīng)過認(rèn)真比較與全面親自的測(cè)試,我們最終選擇了一家于2013年上線,在當(dāng)時(shí)國(guó)內(nèi)第一家也是唯一的一家,從對(duì)外提供云計(jì)算服務(wù)開始,云端所有資源都按照秒級(jí)計(jì)費(fèi)的青云QingCloud云計(jì)算服務(wù),正式開始了我們集團(tuán)的云計(jì)算之旅。
?。?) 定時(shí)器與自動(dòng) 彈性伸縮
① 定時(shí)器的應(yīng)用場(chǎng)景
帶寬自動(dòng)調(diào)整:已經(jīng)遷移上云的財(cái)務(wù)管理系統(tǒng)帶寬是根據(jù)用戶日常作息時(shí)間自動(dòng)動(dòng)態(tài)變化的:7:00-19:00為20M帶寬,19:00-0:00為10M帶寬,0:00-7:00為5M帶寬,每天自動(dòng)循環(huán),計(jì)費(fèi)也隨之調(diào)整。
資源自動(dòng)備份:我們?cè)谠贫瞬渴鸬闹鳈C(jī)、硬盤、數(shù)據(jù)庫(kù)等含有數(shù)據(jù)的資源,在每天凌晨3點(diǎn)自動(dòng)進(jìn)行包含操作系統(tǒng)的鏡像級(jí)備份,并且可以設(shè)定備份鏈的天數(shù),可以從任何一個(gè)備份鏈條上,迅速還原到某天的狀態(tài)。
自動(dòng)開關(guān)機(jī):因與AI業(yè)務(wù)相關(guān)的測(cè)試需要使用到GPU主機(jī),但這種類型的主機(jī)租用費(fèi)較高,我們把它設(shè)定為每天在工作時(shí)間自動(dòng)開機(jī),非工作時(shí)間自動(dòng)關(guān)機(jī)以節(jié)約費(fèi)用。
?、?nbsp;自動(dòng)彈性伸縮
自動(dòng)擴(kuò)充存儲(chǔ)空間:我們使用的開源數(shù)據(jù)庫(kù)可以根據(jù)實(shí)際資源使用情況,來(lái)自動(dòng)進(jìn)行數(shù)據(jù)庫(kù)存儲(chǔ)空間的擴(kuò)容。例如:存儲(chǔ)空間使用到達(dá)80%后,自動(dòng)擴(kuò)充100G的空間,計(jì)費(fèi)也隨之調(diào)整。
自動(dòng)擴(kuò)充負(fù)載均衡器后端主機(jī)的數(shù)量:我們的協(xié)同指揮調(diào)度云平臺(tái)如果出現(xiàn)高并發(fā)的訪問,在達(dá)到我們預(yù)設(shè)的閾值后,就會(huì)自動(dòng)增加后端計(jì)算資源來(lái)應(yīng)對(duì)。例如:負(fù)載均衡器后端主機(jī)的CPU負(fù)載只要到達(dá)80%,負(fù)載均衡器就會(huì)自動(dòng)克隆出一臺(tái)主機(jī)來(lái)應(yīng)對(duì)高并發(fā)訪問,等到訪問量減少到預(yù)設(shè)的閾值,這臺(tái)克隆出來(lái)的主機(jī)又會(huì)自動(dòng)被刪除,計(jì)費(fèi)也隨之調(diào)整。
自動(dòng)伸縮網(wǎng)絡(luò)帶寬:再拿我們的財(cái)務(wù)管理系統(tǒng)舉例,在定時(shí)器已經(jīng)在使用的情況下,如果在某個(gè)時(shí)間段內(nèi)突然出現(xiàn)了大量用戶訪問,而這個(gè)時(shí)間段內(nèi)的帶寬又不夠,那么根據(jù)預(yù)設(shè)的帶寬調(diào)整閾值自動(dòng)增加或減少帶寬,計(jì)費(fèi)也隨之調(diào)整。
?。? ) 多副本熱備、熱遷移與備份
沒有永遠(yuǎn)不損壞的硬件,云計(jì)算平臺(tái)使用的硬件也一樣。我們?cè)谠贫速?gòu)買的任何服務(wù),在后臺(tái)都自動(dòng)存在同樣運(yùn)行著的至少兩個(gè)熱備副本隨時(shí)待命,這些副本運(yùn)行在與正本不同的服務(wù)器上,只要正在運(yùn)行正本的主機(jī)的CPU、內(nèi)存等出現(xiàn)硬件故障,副本會(huì)在幾十秒之內(nèi)進(jìn)行熱遷移以接管服務(wù),保證業(yè)務(wù)系統(tǒng)的不間斷運(yùn)行。由于云計(jì)算平臺(tái)底層的存儲(chǔ)做了多重RAID保護(hù),所以當(dāng)云平臺(tái)的硬盤出現(xiàn)損壞時(shí),用戶是無(wú)任何感知的,所以在云端是無(wú)需擔(dān)心數(shù)據(jù)丟失問題。
而資源備份與多副本熱備是兩個(gè)不同的概念,備份是用來(lái)解決應(yīng)用系統(tǒng)出現(xiàn)數(shù)據(jù)誤寫入、數(shù)據(jù)被篡改等問題后,進(jìn)行回滾操作以恢復(fù)某時(shí)某天數(shù)據(jù)的。云端提供的備份回滾功能也相當(dāng)?shù)目?,通常在幾十秒?nèi)回滾完成。
(4)主、子賬號(hào)管理體系與計(jì)費(fèi)方式
我們集團(tuán)總部與所屬單位采用的是1個(gè)主賬號(hào)+多個(gè)子賬號(hào)的云端賬號(hào)管理模式,實(shí)現(xiàn)了以下功能:
1、由主賬號(hào)統(tǒng)一管理全集團(tuán)的云端賬號(hào)權(quán)限,包括開通、刪除、云端IP地址規(guī)劃等操作。各所屬單位的業(yè)務(wù)系統(tǒng)均部署在各自的子賬號(hào)里。
2、子賬號(hào)可以共享主賬號(hào)的余額或者獨(dú)立計(jì)費(fèi)。
3、主賬號(hào)可以監(jiān)管子賬號(hào)內(nèi)的資源使用情況,以預(yù)防子賬號(hào)資源使用不足或分配不合理等問題。
使用云端主、子賬號(hào)的管理模式,我們集團(tuán)實(shí)現(xiàn)了原先在物理機(jī)房環(huán)境下無(wú)法實(shí)現(xiàn)的管理模式與成效,足不出戶就可以管理各子賬號(hào)的資源或幫助子賬號(hào)解決技術(shù)上的問題。
(5)全面使用各種類型的免費(fèi)隧道服務(wù)
青云的隧道功能齊全,有IPsec(含主模式與野蠻模式)、GRE,有了這些隧道,就可以實(shí)現(xiàn)主子賬號(hào)之間、各子賬號(hào)間數(shù)據(jù)的安全互通與共享,這種模式為全集團(tuán)的大數(shù)據(jù)集中分析奠定了最重要的網(wǎng)絡(luò)基礎(chǔ);同時(shí)也可以實(shí)現(xiàn)本地與云端的安全互聯(lián),實(shí)現(xiàn)各類數(shù)據(jù)在云端快速交互與匯聚。目前多數(shù)云平臺(tái)的隧道功能有的按照數(shù)量計(jì)費(fèi)、有的按照流量計(jì)費(fèi)、有的按照時(shí)間計(jì)費(fèi)、還有的限制隧道的數(shù)量。而青云的隧道不但功能齊全,不限數(shù)量、不限種類、而且還免費(fèi),為我們安全、快速組網(wǎng)節(jié)約下了大量的費(fèi)用。
(6)SD-WAN的使用
我們?cè)谑褂盟淼拦δ艿耐瑫r(shí),發(fā)現(xiàn)當(dāng)本地需要接入云端(隧道方式)的路由器越來(lái)越多,在網(wǎng)絡(luò)管理上的壓力越來(lái)越大。這時(shí)SD-WAN橫空出世,只要本地CPE終端設(shè)備通上電且能夠訪問云端SD-WAN控制臺(tái),CPE終端里的配置就會(huì)由云端控制臺(tái)自動(dòng)下發(fā),本地就會(huì)自動(dòng)建立隧道直達(dá)云端VPC;SD-WAN同時(shí)也解決了單個(gè)VPC不能支持過多隧道的性能瓶頸問題,而且還能與普通模式的隧道共用一個(gè)VPC。
另外,SD-WAN網(wǎng)絡(luò)除了支持本地CPE多WAN口(電信、聯(lián)通、移動(dòng)的寬帶以及4G網(wǎng)絡(luò)同時(shí)接入)自動(dòng)切換功能之外,還能在本地到達(dá)云端的互聯(lián)網(wǎng)鏈路上,支持多POP點(diǎn)的備份,以保證本地到達(dá)云端隧道的連通性。后續(xù)我們還需在此基礎(chǔ)上研究擴(kuò)展更先進(jìn)的路由功能以匹配更高效、復(fù)雜的應(yīng)用場(chǎng)景。
在這個(gè)強(qiáng)調(diào)自主可控的時(shí)代,我們也提出除了SD-WAN廠家自身要做到自主可控之外,用戶也需自主可控,我們需要能自助完成從CPE終端到云端VPC的整個(gè)配置過程,這就需要SD-WAN廠家向用戶也同樣開放原先只有廠家自己才能看到或做到的內(nèi)部網(wǎng)絡(luò)參數(shù)與配置過程。
( 7 )去IOE
去I(傳統(tǒng)物理服務(wù)器)在上云的同時(shí)就已經(jīng)實(shí)現(xiàn)了從購(gòu)買硬件向購(gòu)買服務(wù)的轉(zhuǎn)變,而且云平臺(tái)自身使用的是超融合設(shè)備,而非傳統(tǒng)物理服務(wù)器。
去O(商業(yè)數(shù)據(jù)庫(kù)),我們從以下幾點(diǎn)來(lái)說(shuō)明:
1、 隨著我們各個(gè)系統(tǒng)用戶數(shù)量與需求的快速增長(zhǎng),支持商業(yè)數(shù)據(jù)庫(kù)的硬件配置需求越來(lái)越高,而商業(yè)數(shù)據(jù)庫(kù)是依據(jù)硬件的配置來(lái)收取授權(quán)費(fèi)用的,硬件配置越高,授權(quán)費(fèi)用就越高,最后高到用戶無(wú)法承受。
2、 運(yùn)維費(fèi)用昂貴,如果遇到應(yīng)用軟件商解決不了的商業(yè)數(shù)據(jù)庫(kù)問題,還必須請(qǐng)商業(yè)數(shù)據(jù)庫(kù)原廠工程師到達(dá)現(xiàn)場(chǎng)處理。
3、 目前我們收費(fèi)系統(tǒng)的數(shù)據(jù)庫(kù)還是商業(yè)數(shù)據(jù)庫(kù),建立之初的用途只需滿足收費(fèi)相關(guān)的業(yè)務(wù)就行。如今ETC不停車收費(fèi)、高速公路客服系統(tǒng)、收費(fèi)稽查業(yè)務(wù)、綠色優(yōu)惠車系統(tǒng)等,這些需要頻繁讀寫數(shù)據(jù)庫(kù)的業(yè)務(wù)系統(tǒng)陸續(xù)上線,同時(shí)各級(jí)審計(jì)部門、行業(yè)管理部門等機(jī)構(gòu)也有大量讀收費(fèi)數(shù)據(jù)庫(kù)的需求。商業(yè)數(shù)據(jù)庫(kù)在這么大的壓力下,我們?yōu)榱吮WC業(yè)務(wù)系統(tǒng)的正常運(yùn)行,就得圍繞著這個(gè)商業(yè)數(shù)據(jù)庫(kù)不停的想辦法,只有通過購(gòu)買各種原廠或第三方的數(shù)據(jù)集群、同步、備份等軟件來(lái)維持,而往往這些軟件的價(jià)格反而要超過商業(yè)數(shù)據(jù)庫(kù)本身的授權(quán)費(fèi),并且這些軟件本身還在繼續(xù)消耗數(shù)據(jù)庫(kù)的讀寫資源。
而開源數(shù)據(jù)庫(kù)具有以下等先天的功能與優(yōu)勢(shì):
1、完全免費(fèi)
2、多主多從節(jié)點(diǎn),用主節(jié)點(diǎn)寫,用從節(jié)點(diǎn)來(lái)讀,主從節(jié)點(diǎn)之間數(shù)據(jù)強(qiáng)一致性同步。
3、無(wú)限水平擴(kuò)展功能,包含計(jì)算節(jié)點(diǎn)數(shù)、存儲(chǔ)空間。
4、多重實(shí)時(shí)副本保障數(shù)據(jù)存儲(chǔ)介質(zhì)安全,確保數(shù)據(jù)不會(huì)丟失
5、自動(dòng)實(shí)現(xiàn)數(shù)據(jù)庫(kù)水平分表
目前很多軟件開發(fā)商在開發(fā)應(yīng)用軟件時(shí),還是會(huì)推薦使用商業(yè)數(shù)據(jù)庫(kù),我們進(jìn)行了原因分析:一是商業(yè)數(shù)據(jù)庫(kù)價(jià)格貴,但畢竟用的人多,熟練操作的人也多,遇到解決不了的問題可以請(qǐng)?jiān)瓘S工程師來(lái)。二是很多應(yīng)用軟件廠商一直以來(lái)都是使用的商業(yè)數(shù)據(jù)庫(kù),只要更換數(shù)據(jù)庫(kù),那么軟件廠商的軟件就要做較大改動(dòng)。三是因?yàn)殚_源數(shù)據(jù)庫(kù)雖然是免費(fèi)的,但沒有原廠上門的技術(shù)支持,應(yīng)用軟件廠商在使用中若自己不能及時(shí)解決問題會(huì)造成損失。
云計(jì)算服務(wù)也正是為了解決以上這些問題而來(lái),在云平臺(tái)上,開源數(shù)據(jù)庫(kù)成了標(biāo)準(zhǔn)的PaaS服務(wù),關(guān)系型與非關(guān)系型等各種類、各品牌的數(shù)據(jù)庫(kù)用于進(jìn)行事務(wù)處理與數(shù)據(jù)分析。開源數(shù)據(jù)庫(kù)本身是免費(fèi)的,應(yīng)用軟件廠商也無(wú)需去搭建與維護(hù)開源數(shù)據(jù)庫(kù),直接使用就行。
去E(傳統(tǒng)物理存儲(chǔ)設(shè)備)上云后,我們現(xiàn)在使用的部分存儲(chǔ)已經(jīng)從傳統(tǒng)的塊存儲(chǔ)(磁盤陣列、硬盤)、文件存儲(chǔ)(FTP、NFS)遷移到了既讀寫快、能共享、又按需付費(fèi)的對(duì)象存儲(chǔ)上。
( 8 )微服務(wù)化、容器化、容器編排
我們學(xué)習(xí)采用互聯(lián)網(wǎng)行業(yè)的特點(diǎn),迭代發(fā)布應(yīng)用軟件,追求創(chuàng)新,快速響應(yīng)用戶的變化、關(guān)注用戶的行為,倡導(dǎo)以用戶為中心的產(chǎn)品設(shè)計(jì),也正是這些特點(diǎn),我們使用了敏捷開發(fā)模式。使用敏捷開發(fā)模式就要進(jìn)行微服務(wù)化,要進(jìn)行微服務(wù)化,底層就要進(jìn)行容器化,進(jìn)行容器化后,就要有容器編排服務(wù)來(lái)管理這些容器。
我們目前新建的,以及綜合管理系統(tǒng)、協(xié)同指揮調(diào)度云平臺(tái)等系統(tǒng),已經(jīng)使用了微服務(wù)架構(gòu)新建或者正在改造成微服務(wù)架構(gòu)。我們?cè)谠破脚_(tái)上從Kubernetes到Docker或再往上的每一層都做好了服務(wù)準(zhǔn)備,同時(shí)也讓軟件開發(fā)商全力專注于應(yīng)用軟件的開發(fā)。
2.2大型應(yīng)用
基于云計(jì)算技術(shù)的協(xié)同指揮調(diào)度云平臺(tái)
我們于2017年3月開始新建基于公共云服務(wù)的、全省統(tǒng)一的協(xié)同指揮調(diào)度云平臺(tái),并于2017年12月正式開始使用。我們從開始建設(shè)到全省統(tǒng)一使用只用了9個(gè)月的重要原因之一就是使用了云計(jì)算服務(wù)作為基礎(chǔ)設(shè)施,我們節(jié)省下建設(shè)整個(gè)數(shù)據(jù)中心(硬件部分)所需的時(shí)間,同時(shí)所需各類功能模塊全部采取調(diào)用云端服務(wù)的方式進(jìn)行,接下來(lái)我們就這個(gè)平臺(tái)的部分關(guān)鍵技術(shù)進(jìn)行分享。
支撐協(xié)同指揮調(diào)度云平臺(tái)的基礎(chǔ)數(shù)據(jù)有三大項(xiàng),分別為全省高速公路各路段的沿線實(shí)時(shí)監(jiān)控視頻,各級(jí)指揮調(diào)度中心日常處理事故、救援等公務(wù)的電話錄音,全省高速公路所有的情報(bào)板發(fā)布系統(tǒng),這三大項(xiàng)的數(shù)據(jù)我們要求與協(xié)同指揮調(diào)度云平臺(tái)對(duì)接,接受協(xié)同指揮調(diào)度云平臺(tái)的管控,整個(gè)平臺(tái)建設(shè)完成后平臺(tái)就可以調(diào)看與管控全省高速公路的這些視頻、語(yǔ)音與情報(bào)板了。
接下來(lái),將圍繞這三類基礎(chǔ)數(shù)據(jù)如何上云來(lái)描述。
1、 視頻上云:部署在青云云端的協(xié)同指揮調(diào)度云平臺(tái)需要管控各路段中心的視頻推流主機(jī)向視頻直播平臺(tái)(含推流、拉流、鑒權(quán)、CDN等功能)推流。使用視頻直播平臺(tái)是因?yàn)橐紤]到高速公路內(nèi)部管理與社會(huì)公眾的超高并發(fā)觀看的需求。這部分工作的關(guān)鍵技術(shù)在于,云平臺(tái)給高速公路各路段中心的視頻推流主機(jī)下發(fā)的推流地址,以及播放、停止等指令,因各類安全問題不可通過互聯(lián)網(wǎng)端口傳輸,這里就需要用到云端隧道技術(shù)來(lái)實(shí)現(xiàn),這樣既有了云平臺(tái)的彈性伸縮、按需付費(fèi)的特點(diǎn),又具有了使用云服務(wù)的安全性。
各路段的視頻推流主機(jī)接到傳輸指令后需要向視頻直播平臺(tái)進(jìn)行視頻推流,這里需要用到直播平臺(tái)的視頻推流鑒權(quán)功能,以防止非法的視頻推流。同時(shí),用戶在調(diào)用直播視頻流的時(shí)候也需要進(jìn)行防盜鏈的鑒權(quán)。
2、語(yǔ)音上云:各級(jí)指揮調(diào)度中心的電話錄音需要傳輸至部署在青云云端的對(duì)象存儲(chǔ)里保存,供隨時(shí)調(diào)用,這里的傳輸也是通過云端隧道進(jìn)行的。
3、 情報(bào)板上云:我們的協(xié)同指揮調(diào)度云平臺(tái)可實(shí)現(xiàn)全省高速公路所有情報(bào)板在云端的統(tǒng)一發(fā)布,因情報(bào)板發(fā)布的安全性要求非常的高,所以云端發(fā)布指令與情報(bào)板狀態(tài)的反饋除了必須通過云端隧道傳輸外,我們還使用了青云的WAF安全保護(hù)功能,啟用了發(fā)布主機(jī)IP地址白名單審核機(jī)制,確保情報(bào)板發(fā)布安全。
協(xié)同指揮調(diào)度云平臺(tái)還為了滿足多用戶的高并發(fā)訪問、用戶行為分析、快速檢索、系統(tǒng)日志收集、子系統(tǒng)間消息訂閱、網(wǎng)絡(luò)流量分析等需求,除了用到青云負(fù)載均衡器的SDN透明代理等功能、Elasticsearch全文搜索引擎、ZooKeeper、Kafka、網(wǎng)絡(luò)流量鏡像等功能外,同時(shí)調(diào)用了同樣部署在云端的高德地圖LBS、容聯(lián)云通訊的點(diǎn)對(duì)點(diǎn)視頻、IM通訊與短信發(fā)送、彩云天氣的天氣定位、百度AI開放平臺(tái)的語(yǔ)音合成等服務(wù)。
為保護(hù)用戶隱私、節(jié)約用戶手機(jī)流量,經(jīng)過使用海康威視、大華股份等專業(yè)的視頻解決方案提供商為匹配我們需求而專門研發(fā)的推流主機(jī),進(jìn)行視頻轉(zhuǎn)碼與降碼處理并推向云端的視頻直播平臺(tái)后,我們也將協(xié)同指揮調(diào)度云平臺(tái)中的功能組件之一,全省高速公路沿線的實(shí)時(shí)監(jiān)控視頻向社會(huì)公眾開放,目前最高同時(shí)在線查看監(jiān)控視頻的用戶數(shù)已達(dá)到21萬(wàn)人左右,單日最高視頻點(diǎn)擊量為2300萬(wàn)次?,F(xiàn)在每個(gè)人都可以拿起手機(jī)、打開微信搜索并關(guān)注“江蘇高速”微信公眾號(hào)就可以使用了。
除了協(xié)同指揮調(diào)度云平臺(tái),我們各類微信企業(yè)號(hào)、公眾號(hào)、社會(huì)公眾服務(wù)的APP、在線學(xué)習(xí)、安全生產(chǎn)管理等系統(tǒng)均使用了云端相關(guān)的服務(wù)或建立在了云端。
第三部分 理解云計(jì)算
自從云計(jì)算技術(shù)落地,開始大規(guī)模對(duì)社會(huì)提供云計(jì)算服務(wù)以后,運(yùn)維硬件基礎(chǔ)設(shè)施已經(jīng)不再是我們必須做的事情了,因?yàn)槲覀円氖怯?jì)算能力而不是計(jì)算機(jī)、要的是服務(wù)能力而不是服務(wù)器。我們節(jié)約下了大量的硬件運(yùn)維時(shí)間,去經(jīng)營(yíng)管理我們的主營(yíng)業(yè)務(wù),例如高速公路經(jīng)營(yíng)管理、社會(huì)公眾服務(wù)。
我們集團(tuán)從使用云計(jì)算服務(wù)以來(lái),已經(jīng)不再自建機(jī)房與采購(gòu)非必須的服務(wù)器等硬件設(shè)備,我們從云得到了這么多傳統(tǒng)物理機(jī)房無(wú)法實(shí)現(xiàn)的先進(jìn)功能,但總體IT基礎(chǔ)設(shè)施運(yùn)維費(fèi)用卻下降了70%。目前我們集團(tuán)在云端的各類業(yè)務(wù)系統(tǒng)有100多個(gè),主機(jī)與容器數(shù)量(含PaaS服務(wù)組件)約為500臺(tái)、防火墻、路由器、交換機(jī)等網(wǎng)絡(luò)設(shè)備的數(shù)量約為800臺(tái),各種類型的云端隧道約1000條,各種類型的安全規(guī)則約10000條,隨著我們業(yè)務(wù)的不斷發(fā)展,這些數(shù)量還在快速增加中,而這么多數(shù)量的基礎(chǔ)設(shè)施及規(guī)則配置,我們集團(tuán)總部只有1名員工在兼職管理,電腦不在身邊時(shí)甚至可用手機(jī)APP直接管理。
云計(jì)算的本質(zhì)就是互聯(lián)網(wǎng)應(yīng)用,而真正的云計(jì)算是必須擁有:按需購(gòu)買,秒級(jí)計(jì)費(fèi)、定時(shí)器與彈性伸縮、資源協(xié)作與編排、軟件定義網(wǎng)絡(luò)、開源分布式數(shù)據(jù)庫(kù)與大數(shù)據(jù)平臺(tái)等各類有彈性的PaaS服務(wù)。如果沒有這些云計(jì)算的特征標(biāo)簽與功能,那就不是真正的云計(jì)算,那還是傳統(tǒng)機(jī)房或者是加了點(diǎn)技術(shù)的傳統(tǒng)機(jī)房升級(jí)版。
接下來(lái)我們說(shuō)一說(shuō)云安全,自從國(guó)家2016年11月7日頒布了《網(wǎng)絡(luò)安全法》。在當(dāng)今數(shù)字時(shí)代, 企業(yè)運(yùn)營(yíng)與網(wǎng)絡(luò)密不可分,《網(wǎng)絡(luò)安全法》的實(shí)施必將對(duì)企業(yè)的業(yè)務(wù)經(jīng)營(yíng)與合規(guī)工作產(chǎn)生重大影響?!毒W(wǎng)絡(luò)安全法》的出臺(tái)更加明確了在整個(gè)信息化建設(shè)中,各相關(guān)方的責(zé)任,更能監(jiān)督各方認(rèn)真做好各自的安全防護(hù)工作,加快國(guó)家整個(gè)信息化建設(shè)的進(jìn)程。
云安全可分為以下幾個(gè)層面:需求安全、高可靠、組織安全、宿主機(jī)安全、防病毒、賬號(hào)管理安全、合規(guī)、高可用、保密、虛擬機(jī)安全、應(yīng)用架構(gòu)安全、網(wǎng)絡(luò)安全、容器安全、大數(shù)據(jù)安全等方面。很多關(guān)心我們網(wǎng)絡(luò)安全的同事、專家們?cè)谝陨细鱾€(gè)層面都給我們提出了很多的建議與改進(jìn)方法。
我們非常重視信息化安全,并在上述的各個(gè)層面都認(rèn)真做了相對(duì)應(yīng)的安全管理規(guī)則與措施。我們將云應(yīng)用方面分為三個(gè)層面,一是基礎(chǔ)設(shè)施,二是應(yīng)用程序,三是網(wǎng)絡(luò)連接,其中基礎(chǔ)設(shè)施安全由云計(jì)算公司負(fù)責(zé),應(yīng)用程序安全由各個(gè)功能軟件開發(fā)商負(fù)責(zé),而在網(wǎng)絡(luò)連接安全方面,因?yàn)殡S著信息化建設(shè)進(jìn)程的加快,各類用戶需求的不斷增加與提高,同時(shí)云端的各個(gè)業(yè)務(wù)系統(tǒng)的功能、種類、數(shù)量越來(lái)越多,各系統(tǒng)之間的關(guān)聯(lián)性、網(wǎng)絡(luò)連接的復(fù)雜性、數(shù)據(jù)交換的頻率與所需帶寬也都越來(lái)越高,所以無(wú)論對(duì)信息化建設(shè)全局的了解與掌握方面、還是從各業(yè)務(wù)系統(tǒng)之間的各類資源的互通性上來(lái)看,這部分是由我們自己來(lái)管理。
現(xiàn)在有的云計(jì)算公司宣稱自己是一個(gè)中立的云,提出“不碰用戶應(yīng)用、不碰用戶數(shù)據(jù)”等說(shuō)法,這其實(shí)是云計(jì)算公司本就應(yīng)該堅(jiān)守的基本規(guī)矩,這是云計(jì)算行業(yè)自律的問題,同時(shí)我們也應(yīng)該相信國(guó)家層面不斷加強(qiáng)的云計(jì)算行業(yè)的監(jiān)管力度,我們無(wú)需將精力分散到云計(jì)算公司之間為相互競(jìng)爭(zhēng)而不斷推出新的廣告詞之中,而是應(yīng)將重點(diǎn)放在我們的業(yè)務(wù)應(yīng)用上。
目前市場(chǎng)上眾多的云計(jì)算公司為用戶提供的IaaS層服務(wù)并不完全是自主可控技術(shù),有的云是用一個(gè)現(xiàn)成的、受某個(gè)基金會(huì)管理的開源技術(shù)架構(gòu),再經(jīng)過加工改造提供給用戶使用;在PaaS層的很多服務(wù)也不是原生、原廠的組件,而也是經(jīng)過云計(jì)算公司自己加工改造后,做到比原生服務(wù)更好用的情況下,提供給用戶使用。
近期“中興芯片事件”使大家印象深刻,從中我們也可以明確的看出云計(jì)算廠商在IaaS層完全擁有自主知識(shí)產(chǎn)權(quán)的重要性。IaaS層是云計(jì)算平臺(tái)的地基,如果一個(gè)云計(jì)算公司所使用的IaaS層架構(gòu)都不是完全自己開發(fā)的,沒有擁有完全的自主知識(shí)產(chǎn)權(quán),那又怎么能保證云計(jì)算用戶的安全使用呢?又如何能迅速的滿足用戶的各類需求與建議呢?
同時(shí),在PaaS層,有些服務(wù)都是經(jīng)過云計(jì)算公司自己加工而非原生的,雖然這些服務(wù)的功能、性能較多較好,但有很多對(duì)技術(shù)標(biāo)準(zhǔn)化、可轉(zhuǎn)移性、非依賴性等有嚴(yán)格要求的用戶,例如:交通、金融、物流、零售用戶,這類用戶怎么能完全放心去用這些非原生服務(wù)呢?
另外,我們?cè)谶M(jìn)行云平臺(tái)技術(shù)參數(shù)比較的時(shí)候還發(fā)現(xiàn)以下明顯的區(qū)別:
1、一個(gè)功能齊全、靈活的云平臺(tái),公共云與專有云的架構(gòu)須是同一套底層架構(gòu),兩者的所有資源鏡像與備份要能通用。另外,還需要看云平臺(tái)的虛擬化效率與資源使用率,舉個(gè)例子來(lái)說(shuō),到達(dá)同樣的功能和應(yīng)用效果,有的專有云平臺(tái)需要同樣配置的20臺(tái)左右服務(wù)器硬件,而有的云平臺(tái)只需要10臺(tái)左右服務(wù)器硬件。
2、 有些單位需建立自己的專有云,有的云平臺(tái)可以硬件利舊,使用現(xiàn)有各品牌與型號(hào)的服務(wù)器與網(wǎng)絡(luò)等設(shè)備,而有的云平臺(tái)則需要重新購(gòu)買指定型號(hào)的服務(wù)器與網(wǎng)絡(luò)等設(shè)備。
面對(duì)市面上那么多云計(jì)算公司,我們除了看廣告、看品牌、更要看內(nèi)在,所以以上這些才是作為云計(jì)算的用戶真正應(yīng)該關(guān)心的,也是用戶選擇提供云計(jì)算服務(wù)商的重要因素。
在我們與青云合作的5年多的時(shí)間里,我們總共提出了700多條各種類型的工單,其中200多條為需求建議類工單,絕大部分青云都幫我們實(shí)現(xiàn)了,還有些復(fù)雜的技術(shù)需求我們一直在保持溝通,共同努力解決;我們也與青云達(dá)成了共識(shí),將把雙方共同實(shí)現(xiàn)的技術(shù)與功能開放給所有的青云用戶。同時(shí),我們?cè)谶@段時(shí)間里,也向其他知名的云計(jì)算公司合計(jì)提出了近200條的各類問題與建議,也就是說(shuō),我們不是單方面去使用云服務(wù),而是我們和云計(jì)算公司形成了互動(dòng)與合作關(guān)系,雙方經(jīng)常進(jìn)行技術(shù)交流,我們互相幫助共同進(jìn)步。我們也會(huì)將6年來(lái)使用云計(jì)算的經(jīng)驗(yàn)與云計(jì)算用戶分享,共同加快國(guó)家經(jīng)濟(jì)發(fā)展。
術(shù)業(yè)有專攻,只用一個(gè)云平臺(tái)的服務(wù)肯定無(wú)法全部滿足我們不斷提出的新業(yè)務(wù)需求,同時(shí)各個(gè)云平臺(tái)提供的各類云服務(wù)的技術(shù)水平、服務(wù)方式、著重點(diǎn)等也不盡相同,所以我們選擇了多個(gè)云平臺(tái)中不同種類的云服務(wù),結(jié)合高速公路經(jīng)營(yíng)管理與社會(huì)公眾服務(wù)的各類應(yīng)用場(chǎng)景,取各個(gè)云之所長(zhǎng),來(lái)支撐我們的高速公路的信息化建設(shè)。
第四部分 總結(jié)與展望
我們?cè)谏疃仁褂迷朴?jì)算服務(wù)的同時(shí),也聆聽了很多云計(jì)算公司的演講與介紹,很多公司提出要攜手各類云服務(wù)伙伴共同打造智慧交通生態(tài),可以看出以云計(jì)算為首的新興技術(shù)推動(dòng)TO B時(shí)代已經(jīng)來(lái)臨。
同時(shí)技術(shù)層面可以說(shuō)只是智慧交通生態(tài)的一個(gè)方面,要達(dá)到真正的智慧交通則必須匹配相應(yīng)的應(yīng)用場(chǎng)景,除技術(shù)以外還需要行業(yè)投資、管理、運(yùn)營(yíng)、運(yùn)維等一系列的因素相互配合;所以我們將會(huì)與高速公路上各類硬件終端設(shè)備廠商、各類軟件服務(wù)商共同打造“互聯(lián)網(wǎng)+”交通的云生態(tài),共同進(jìn)行與高速公路相關(guān)的技術(shù)創(chuàng)新,并迅速轉(zhuǎn)化為應(yīng)用成果。
近年來(lái),我們也看到很多關(guān)于高速公路大數(shù)據(jù)應(yīng)用與研究的文章,但我們事實(shí)上還處于數(shù)據(jù)快速匯聚與收集階段,為了盡快的實(shí)現(xiàn)大數(shù)據(jù)的應(yīng)用,我們會(huì)加快將現(xiàn)有的離線、半離線與脫機(jī)業(yè)務(wù)逐步轉(zhuǎn)變成在線業(yè)務(wù),因?yàn)橹挥袠I(yè)務(wù)在線才能快速、實(shí)時(shí)匯聚高質(zhì)量的數(shù)據(jù),才能真正的去建設(shè)全維度的高速公路大數(shù)據(jù)平臺(tái)。
只有擁有了基于在線數(shù)據(jù)的全維度高速公路大數(shù)據(jù)平臺(tái),才能結(jié)合當(dāng)今最先進(jìn)的人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈等技術(shù),進(jìn)行與高速公路相關(guān)業(yè)務(wù)的大膽想象與嘗試,向社會(huì)呈現(xiàn)一個(gè)充滿創(chuàng)新活力的高速公路,才能為國(guó)家交通事業(yè)的發(fā)展作出更大的貢獻(xiàn)。
本次我們分享的是云計(jì)算技術(shù)的應(yīng)用實(shí)踐,有機(jī)會(huì)我們也愿意與大家分享用于支撐這些應(yīng)用的底層關(guān)鍵技術(shù)、實(shí)施經(jīng)驗(yàn)、云安全解決方案等內(nèi)容,謝謝!
參考文獻(xiàn)
[1]王堅(jiān).在線.[M].中信出版社,2016.