使用 Falra Distributed Framework,Cameo為客戶建置每日超過10TB吞吐量的物聯網數據中心,並將其提供給各界,包括環境工程分析人員和民眾,以幫助台灣追蹤空氣品質,作為改善行動方案的基礎。
Cameo 的 CTO Bowen Chiu 是一位擁有20年大數據工程經驗的資深工程師。他解釋說:“我們的客戶擁有台灣最大量的物聯網環境資料,包括歷史與即時串流,這些寶貴的資料是臺灣長期收集的空氣品質數據。我們幫助客戶解決巨量即時資料的儲存、下載及應用的難題,幫助他們找到空氣污染的洞見,並採取政策行動。”
“我們處理台灣環保署物聯網六年的IoT歷史csv資料累積下來超過10TB。用常見的Python切割資料方式,需要100天才能切割完畢。但是,運用Falra Distubited Framework技術只需1天就能完成。這樣,我們就能節省時間幫助客戶分析真正重要的數據資訊,創造價值,而不是一直處理資料本身。” Chiu補充道。
“過去用了Hbase, Redis等資料庫組合還有Elasticsearch來提供物聯網巨量資料給第三方平台介接應用,但都沒有Cameo導入的巨量資料服務(Falra Distubited Framework)來得快速又穩定” — 臺灣環保署物聯網資料中心
用空間換取時間 / 如果有多台機器運算又不貴,誰想只用一台?
Cameo 使用的產品:Falra Distubited Framework,是一個使程式設計開發工程師能夠輕鬆運用多台主機資源、快速運算巨量數據的工具。
Cameo 使用 Falra Distributed Framework 來提供服務。其中包括透過超大量儲存空間,讓運算過程毋須擔心空間不足導致運算中斷;單一機器運算時間最長可達一天,再大的資料量也能算得完;透過任務切割及 http post 呼叫,讓 Falra Distributed Framework 自行進行分散式分派處理,節省大量的運算時間及開發成本。
“Falra Distrubted Framwork 可以有效地加速我們的產品推出和解決業務問題”,Chiu 說。“過去運用的套裝服務往往需要收取資料儲存、讀取次數、傳輸頻寬等費用,但現在讀取次數與傳輸頻寬完全不受限,而且可以依照組織的需要彈性取用運算資源,在進行雛形或驗證概念時,可以減少主機的租賃費用,也能降低主機閒置所造成的資源浪費。”
這個工具也實現了客戶對彈性、穩定性與擴展性的期待。“對於每次運算要一個一個將程式部署到多台機器,現在只需要一鍵,就能輕鬆地運用多台機器的資源,實在是太棒了!”,Chiu 說。“借助 Falra Distributed Framwork 工具,我們可以把原先1台機器處理的清洗、轉換任務自動分給700台機器完成運算,時間從120小時減少到只有1小時,真的幫助我們節省許多時間”。
“我們還可以透過資料分階段、持續接關處理功能,讓運算無縫接續上次進度,即使中間意外中斷也不用擔心要重來。”,Chiu 補充說。“沒有想過一套服務能夠解決所有我們幫客戶管理巨量物聯網數據的痛苦,包含自動部署分散機器他都有,而且成本還降低了,再也不用日夜盯著資料流怕他斷線。”
此外,Falra Distributed Framework 也支援多種程式語言,如:Julia、Python、java script 等,讓 Cameo 能夠高度擴展業務,運用相同邏輯與架構服務使用不同語言的用戶。“有了Falra Distributed Framwork ,服務新客戶可以更簡單。”,Chiu 說
Cameo 希望透過Falra Distributed Fraework的輔助,將 Cameo 在大數據領域的專業知識與技術能力,為客戶和民眾帶來更大的效益與影響力。“讓大數據不再是專家專利,而是人人都能運用的智慧及力量!”,Chiu 說