Refinitiv 如何構(gòu)建“單一視圖”的 BA/BI 平臺(tái)

技術(shù)繼續(xù)改變業(yè)務(wù)。 Refinitiv 一直在尋求利用技術(shù)使我們?cè)跇I(yè)務(wù)過(guò)程中收集的信息更具相關(guān)性和個(gè)性化，并更快地將其交付給我們的客戶和員工。 通過(guò)使用共享平臺(tái)并跨業(yè)務(wù)部門工作，我們希望讓我們的員工更容易訪問(wèn)和洞察我們的數(shù)據(jù)，無(wú)論他們?nèi)绾卧L問(wèn)數(shù)據(jù)。

為了促進(jìn)這種方法，我們希望創(chuàng)建一個(gè)復(fù)雜的業(yè)務(wù)分析和智能 (BA/BI) 平臺(tái)，為所有 Refinitiv 員工提供所有內(nèi)容的單一視圖。 這是一個(gè)相當(dāng)大的挑戰(zhàn)，因?yàn)槲覀儽仨氄显S多包含不同結(jié)構(gòu)的半相關(guān)數(shù)據(jù)的不同數(shù)據(jù)源，以滿足多個(gè)部門和角色的各種需求和要求。

選擇正確的數(shù)據(jù)存儲(chǔ)

對(duì)于數(shù)據(jù)訪問(wèn)和管理，很明顯我們需要一個(gè)快速、無(wú)模式的數(shù)據(jù)存儲(chǔ)來(lái)處理我們的 BA/BI 應(yīng)用程序中越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)。 我們的應(yīng)用程序使用了二十多個(gè)數(shù)據(jù)源，提供了各種信息。 這需要一種強(qiáng)大的查詢語(yǔ)言，能夠表達(dá)我們的員工希望快速回答的廣泛?jiǎn)栴}。

一個(gè)關(guān)鍵要求是支持臨時(shí)連接和圖遍歷，以便為應(yīng)用程序的不同部分使用正確的數(shù)據(jù)訪問(wèn)策略，并能夠提出更多問(wèn)題。 我們的首選將是具有活躍且響應(yīng)迅速的社區(qū)的開源解決方案。

為什么我們選擇 ArangoDB

首先，ArangoDB 是一個(gè)真正的開源項(xiàng)目，擁有對(duì)開發(fā)人員友好的 Apache 2 許可證。此外，我們認(rèn)為其背后的團(tuán)隊(duì)很有幫助且透明。經(jīng)過(guò)相當(dāng)短的調(diào)整階段后，我們對(duì) ArangoDB 查詢語(yǔ)言 (AQL) 上癮了。對(duì)我們來(lái)說(shuō)，編寫查詢非常直觀，我們可以利用各種功能和數(shù)據(jù)訪問(wèn)模式。 AQL 的驚人之處在于它使用嵌套的 FOR 循環(huán)來(lái)組合查詢。因此，使用 AQL 編寫代碼和編寫查詢之間的過(guò)渡更加順暢。他們的多模型方法以及在 AQL 中本地進(jìn)行連接和圖遍歷的可能性非常好。有時(shí)在同一個(gè)查詢中結(jié)合連接和遍歷是很方便的。

ArangoDB 的另一個(gè)顯著優(yōu)勢(shì)是微服務(wù)框架 Foxx。我們相當(dāng)密集地使用它；我們?yōu)槲覀兊膽?yīng)用程序創(chuàng)建了二十多個(gè) Foxx 服務(wù)。坦率地說(shuō)，F(xiàn)oxx 的入門有點(diǎn)粗糙：文檔可以改進(jìn)，更多示例或最佳實(shí)踐會(huì)有所幫助。不過(guò)，目前，ArangoDB 團(tuán)隊(duì)和出色的社區(qū)支持將這種困難降到了最低。他們非常敏感和專業(yè)。這是我們決定使用數(shù)據(jù)庫(kù)系統(tǒng)的原因之一。

目前，我們?cè)?ArangoDB 中存儲(chǔ)了超過(guò) 270GB 的數(shù)據(jù)（轉(zhuǎn)儲(chǔ)到磁盤 408GB）。隨著數(shù)據(jù)量穩(wěn)步增長(zhǎng)，我們將很快轉(zhuǎn)向三節(jié)點(diǎn)集群，主要是出于高可用性的原因（見(jiàn)下圖）。 

 

我們當(dāng)前單節(jié)點(diǎn)設(shè)置的設(shè)置是 24 個(gè) vCPU 和 512GB 的 RAM。 對(duì)于集群設(shè)置，我們計(jì)劃為 master 使用相同的機(jī)器。

我們的應(yīng)用程序本身是讀/寫密集型的，在高峰時(shí)段每秒至少有 3 次寫入和 2 萬(wàn)次更新。 我們架構(gòu)中的隊(duì)列有助于影子寫入甚至在 ArangoDB 上加載。 讀取通常是穩(wěn)定的； 我們預(yù)計(jì)不會(huì)出現(xiàn)大規(guī)模峰值。

我們從 ArangoDB 中獲得了什么

首先，我們了解到在查詢中組合不同的數(shù)據(jù)模型實(shí)際上是可能的，有時(shí)非常有幫助。查詢運(yùn)行速度非常快，而且 AQL 學(xué)習(xí)起來(lái)非常直觀，甚至我們的產(chǎn)品負(fù)責(zé)人和業(yè)務(wù)分析師現(xiàn)在也在相對(duì)輕松地編寫大量查詢，有些超過(guò)兩百行。有時(shí)他們不得不詢問(wèn)應(yīng)該使用哪個(gè)索引，但大多數(shù)查詢都以可接受的性能運(yùn)行，無(wú)需太多額外工作。

Foxx 框架幫助我們大大縮短了開發(fā)時(shí)間。由于我們將與許多 REST 服務(wù)集成，因此我們過(guò)去常常編寫大量模擬器用于集成測(cè)試?，F(xiàn)在模擬的 REST 服務(wù)可以立即使用 Foxx 進(jìn)行旋轉(zhuǎn)。我們可以定義自己的路由，這樣就不必將實(shí)際數(shù)據(jù)發(fā)送到客戶端。相反，它可以在數(shù)據(jù)庫(kù)本身內(nèi)進(jìn)行處理，并且只將結(jié)果發(fā)送到客戶端。通過(guò)這種方法，我們可以減少很多麻煩，并在需要時(shí)提高我們的安全性。對(duì)我們來(lái)說(shuō)，F(xiàn)oxx with ArangoDB 是一個(gè)很大的幫助，而且非常好用。

總的來(lái)說(shuō)，我們現(xiàn)在可以將我們需要的所有數(shù)據(jù)——保證、報(bào)告、移動(dòng)、API 門戶——集中在一個(gè)地方，提供快速和安全的訪問(wèn)。 AQL 的靈活性以及不同數(shù)據(jù)模型的組合，使得運(yùn)行和優(yōu)化所需查詢變得容易。由于 Foxx 和 AQL，擴(kuò)展我們的應(yīng)用程序的功能現(xiàn)在非常順利。因此，我們可以將更多的時(shí)間花在實(shí)際的應(yīng)用程序開發(fā)上，并更快地得到我們需要的答案。畢竟，我們被稱為 The Answer Company。

關(guān)鍵特征的重要性

 

非常感謝 Tanvir 抽出時(shí)間與社區(qū)分享他的經(jīng)驗(yàn)！