BI商業智能與大(dà)數據應用(yòng)的(de)區(qū)别；
BI（Business Intelligence），即商務智能，它是一套完整的(de)解決方案，用(yòng)來(lái)将企業中現有的(de)數據進行有效的(de)整合，快(kuài)速準确的(de)提供報表并提出決策依據，幫助企業做(zuò)出明(míng)智的(de)業務經營決策。
伴随著(zhe)BI的(de)發展，ETL，數據集成平台等概念相繼提出。ETL（Extraction Transformation Loading），即數據提取、轉換和(hé)加載，數據集成平台主要功能對(duì)各種業務數據進行抽取和(hé)相關轉化(huà)，以此來(lái)滿足BI、數據倉庫對(duì)數據格式和(hé)内容挖掘的(de)要求。

1     數據集成平台
數據集成平台的(de)基礎工作與ETL有很大(dà)的(de)相似性，其主要功能是實現不同系統不同格式數據地抽取，并且按照(zhào)目标需求轉化(huà)成爲相應的(de)格式。數據集成開始是點對(duì)點的(de)，慢(màn)慢(màn)地發現這(zhè)種模式對(duì)于系統之間，不同所有權的(de)企業數據流向以及數據标準控制很難，爲此，誕生了(le)對(duì)統一企業數據平台的(de)需求，來(lái)實現企業級之間的(de)數據交互。
數據集成平台就像網絡中的(de)Hub，可(kě)以連接所有應用(yòng)系統，實現系統之間數據的(de)互通(tōng)有無。數據集成平台以BI、數據倉庫需求而産生，現在已經跨越了(le)最初的(de)需求，上升到了(le)一個(gè)更高(gāo)的(de)階段。

2.     大(dà)數據

如今大(dà)數據應用(yòng)更多(duō)關注非結構化(huà)數據，更多(duō)談論互聯網，Twitter、Facebook、博客等非結構化(huà)數據，如此理(lǐ)解大(dà)數據應用(yòng)，顯然就有些走偏了(le)。結構化(huà)數據也(yě)屬于大(dà)數據，且呈現出相同的(de)特點和(hé)特征，如數據量大(dà)，增長(cháng)越來(lái)越快(kuài)，對(duì)數據處理(lǐ)要求高(gāo)等。結構化(huà)數據是廣義大(dà)
數據中含金量或者價值密度最高(gāo)的(de)一部分(fēn)數據，與之相比，非結構化(huà)數據含金量高(gāo)但價值密度低。在Hadoop平台出現之前，沒有人(rén)談論大(dà)數據。數據應用(yòng)主要是結構化(huà)數據，多(duō)采用(yòng)IBM、HP等老牌廠商的(de)小型機或服務器設備。
采用(yòng)傳統方法處理(lǐ)這(zhè)些價值密度低的(de)非結構化(huà)數據，被認爲是不值得(de)的(de)，因爲其産出實在是有限。Hadoop平台出現之後，提供了(le)一種開放的(de)、廉價的(de)、基于普通(tōng)商業硬件的(de)平台，其核心是分(fēn)布式大(dà)規模并行處理(lǐ)，從而爲非結構化(huà)數據處理(lǐ)創造條件。
大(dà)數據應用(yòng)的(de)數據來(lái)源應該包括結構化(huà)數據，如各種數據庫、各種結構化(huà)文件、消息隊列和(hé)應用(yòng)系統數據等，其次才是非結構化(huà)數據，又可(kě)以進一步細分(fēn)爲兩部分(fēn)，一是社交媒體，如Twitter、Facebook、博客等産生的(de)數據，包括用(yòng)戶點擊的(de)習(xí)慣/
特點，發表的(de)評論，評論的(de)特點，網民之間的(de)關系等，這(zhè)些都構成了(le)大(dà)數據來(lái)源。另外一部分(fēn)數據，也(yě)是數據量比較大(dà)的(de)數據，就是機器設備以及傳感器所産生的(de)數據。以電信行業爲例，CDR、呼叫記錄，這(zhè)些數據都屬于原始傳感器數據，主要來(lái)自路由器或者基站。此外，手機的(de)置傳感器，各種手持設備、門禁系統，攝像頭、ATM機等，其數據量也(yě)非常巨大(dà)。

3.     大(dà)數據分(fēn)析工具
對(duì)于分(fēn)析大(dà)數據的(de)工具，目前所有的(de)分(fēn)析工具都側重于結構化(huà)分(fēn)析，例如針對(duì)社交媒體評論方向的(de)分(fēn)析，根據特定的(de)詞頻(pín)或者語義，通(tōng)過統計正面/負面評論的(de)比例，來(lái)确定評論性質。如果有一個(gè)應用(yòng)系統是接收結構化(huà)數據的(de)，例如一個(gè)分(fēn)析系統，接收這(zhè)些語義就可(kě)以便于分(fēn)析。

4.     大(dà)數據應用(yòng)實例
讓大(dà)數據應用(yòng)落地，其中的(de)關鍵在于與行業應用(yòng)的(de)深度融合。
1)      公安行業
公安行業的(de)視頻(pín)影(yǐng)像處理(lǐ)是一個(gè)特定應用(yòng)領域，傳統BI、ETL工具拿這(zhè)些數據沒有辦法，采用(yòng)分(fēn)布式Hadoop進行處理(lǐ)能夠帶來(lái)很
好的(de)效益，因爲Hadoop可(kě)以處理(lǐ)數據量足夠大(dà)。公安行業實際上已采集了(le)大(dà)量視頻(pín)影(yǐng)像數據，利用(yòng)這(zhè)些數據，可(kě)以追蹤一個(gè)嫌疑犯的(de)行蹤，什(shén)麽時(shí)間在全國哪些地區(qū)出現過。這(zhè)些應用(yòng)不可(kě)能單純依靠人(rén)的(de)力量，需要借助人(rén)臉識别、圖像識别技術、模式處理(lǐ)，數據壓縮等技術，需要海量處理(lǐ)軟件，抓出相關特征，幫助公安人(rén)員(yuán)提高(gāo)工作效率。

2)      電信行業
在電信行業，計費系統實際上是對(duì)各種數據進行整合後的(de)結果，是一個(gè)縮小的(de)數據。借助大(dà)數據應用(yòng)，運營商可(kě)以原始大(dà)數據進行
分(fēn)析，例如分(fēn)析傳感器數據是否有異常，從而判斷設備異常等，這(zhè)些都是一些用(yòng)傳統BI工具無法實現的(de)分(fēn)析，其結果往往會出乎意料，幫助運營商提高(gāo)服務水(shuǐ)平以及用(yòng)戶的(de)滿意度。

3)      互聯網行業
在互聯網行業，通(tōng)過分(fēn)析手機上網軌迹，可(kě)以分(fēn)析了(le)解客戶群，了(le)解用(yòng)戶的(de)偏好，此外，獲取地理(lǐ)位置的(de)信息，也(yě)具有特定價值。
從這(zhè)些行業大(dà)數據應用(yòng)分(fēn)析來(lái)看，一個(gè)是視頻(pín)影(yǐng)像處理(lǐ)，一個(gè)是日志分(fēn)析，另外一個(gè)是處理(lǐ)特定文件格式的(de)分(fēn)析處理(lǐ)，彼此之間顯然沒有任何通(tōng)
用(yòng)性的(de)特點，其共同點就是利用(yòng)了(le)廉價的(de)大(dà)數據處理(lǐ)平台。

大(dà)數據處理(lǐ)的(de)十大(dà)工具；
大(dà)數據的(de)日益增長(cháng),給企業管理(lǐ)大(dà)量的(de)數據帶來(lái)了(le)挑戰的(de)同時(shí)也(yě)帶來(lái)了(le)一些機遇。下(xià)面是用(yòng)于信息化(huà)管理(lǐ)的(de)大(dà)數據工具列表：

1.ApacheHive

Hive是一個(gè)建立在hadoop上的(de)開源數據倉庫基礎設施，通(tōng)過Hive可(kě)以很容易的(de)進行數據的(de)ETL,對(duì)數據進行結構化(huà)處理(lǐ),并對(duì)Hadoop上大(dà)數據文件
進行查詢和(hé)處理(lǐ)等。Hive提供了(le)一種簡單的(de)類似SQL的(de)查詢語言—HiveQL,這(zhè)爲熟悉SQL語言的(de)用(yòng)戶查詢數據提供了(le)方便。
2JaspersoftBI套件
Jaspersoft包是一個(gè)通(tōng)過數據庫列生成報表的(de)開源軟件。行業領導者發現Jaspersoft軟件是一流的(de),許多(duō)企業已經使用(yòng)它來(lái)将SQL表轉化(huà)爲pdf,，這(zhè)
使每個(gè)人(rén)都可(kě)以在會議(yì)上對(duì)其進行審議(yì)。另外，JasperReports提供了(le)一個(gè)連接配置單元來(lái)替代HBase。

3.1010data

1010data創立于2000年，是一個(gè)總部設在紐約的(de)分(fēn)析型雲服務，旨在爲華爾街(jiē)的(de)客戶提供服務，甚至包括NYSEEuronext、遊戲和(hé)電信的(de)客戶。
它在設計上支持可(kě)伸縮性的(de)大(dà)規模并行處理(lǐ)。它也(yě)有它自己的(de)查詢語言,支持SQL函數和(hé)廣泛的(de)查詢類型，包括圖和(hé)時(shí)間序列分(fēn)析。這(zhè)個(gè)私有雲的(de)方法減少了(le)客戶在基礎設施管理(lǐ)和(hé)擴展方面的(de)壓力。

4.Actian
Actian之前的(de)名字叫做(zuò)IngresCorp，它擁有超過一萬客戶而且正在擴增。它通(tōng)過Vectorwise以及對(duì)ParAccel實現了(le)擴展。這(zhè)些發展分(fēn)别導緻了(le)
ActianVector和(hé)ActianMatrix的(de)創建。它有Apache，Cloudera，Hortonworks以及其他(tā)發行版本可(kě)供選擇。

5.PentahoBusinessAnalytics

從某種意義上說,Pentaho與Jaspersoft相比起來(lái),盡管Pentaho開始于報告生成引擎，但它目前通(tōng)過簡化(huà)新來(lái)源中獲取信息的(de)過程來(lái)支持大(dà)數據處
理(lǐ)。Pentaho的(de)工具可(kě)以連接到NoSQL數據庫，例如MongoDB和(hé)Cassandra。PeterWayner指出,PentahoData(一個(gè)更有趣的(de)圖形編程界面工具)有很多(duō)内置模塊，你可(kě)以把它們拖放到一個(gè)圖片上,然後将它們連接起來(lái)。

6.KarmasphereStudioandAnalyst
KarsmasphereStudio是一組構建在Eclipse上的(de)插件,它是一個(gè)更易于創建和(hé)運行Hadoop任務的(de)專用(yòng)IDE。在配置一個(gè)Hadoop工作時(shí)，
Karmasphere工具将引導您完成每個(gè)步驟并顯示部分(fēn)結果。當出現所有數據處于同一個(gè)Hadoop集群的(de)情況時(shí)，KarmaspehereAnalyst旨在簡化(huà)
篩選的(de)過程,。

7.Cloudera

Cloudera正在努力爲開源Hadoop,提供支持，同時(shí)将數據處理(lǐ)框架延伸到一個(gè)全面的(de)“企業數據中心”範疇,這(zhè)個(gè)數據中心可(kě)以作爲首選目标和(hé)管
理(lǐ)企業所有數據的(de)中心點。Hadoop可(kě)以作爲目标數據倉庫，高(gāo)效的(de)數據平台，或現有數據倉庫的(de)ETL來(lái)源。企業規模可(kě)以用(yòng)作集成Hadoop與傳
統數據倉庫的(de)基礎。Cloudera緻力于成爲數據管理(lǐ)的(de)“重心”。

8.HPVerticaAnalyticsPlatformVersion7
HP提供了(le)用(yòng)于加載Hadoop軟件發行版所需的(de)參考硬件配置,因爲它本身并沒有自己的(de)Hadoop版本。計算(suàn)機行業領袖将其大(dà)數據平台架構命名爲
HAVEn(意爲Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增加了(le)一個(gè)“FlexZone”，允許用(yòng)
戶在定義數據庫方案以及相關分(fēn)析、報告之前探索大(dà)型數據集中的(de)數據。這(zhè)個(gè)版本通(tōng)過使用(yòng)HCatalog作爲元數據存儲，與Hadoop集成後爲用(yòng)戶
提供了(le)一種探索HDFS數據表格視圖的(de)方法。

9.TalendOpenStudio
Talend’s工具用(yòng)于協助進行數據質量、數據集成和(hé)數據管理(lǐ)等方面工作。Talend是一個(gè)統一的(de)平台，它通(tōng)過提供一個(gè)統一的(de)，跨企業邊界生命周
期管理(lǐ)的(de)環境，使數據管理(lǐ)和(hé)應用(yòng)更簡單便捷。這(zhè)種設計可(kě)以幫助企業構建靈活、高(gāo)性能的(de)企業架構,在次架構下(xià)，集成并啓用(yòng)百分(fēn)之百開源服務的(de)分(fēn)布式應用(yòng)程序變爲可(kě)能。

10.ApacheSpark
ApacheSpark是Hadoop開源生态系統的(de)新成員(yuán)。它提供了(le)一個(gè)比Hive更快(kuài)的(de)查詢引擎，因爲它依賴于自己的(de)數據處理(lǐ)框架而不是依靠Hadoop的(de)
HDFS服務。同時(shí)，它還(hái)用(yòng)于事件流處理(lǐ)、實時(shí)查詢和(hé)機器學習(xí)等方面。

責任編輯：中山網站建設
 【網訊網絡】國家高(gāo)新技術企業》十年專注軟件開發，網站建設，網頁設計，APP開發，小程序，微信公衆号開發，定制各類企業管理(lǐ)軟件（OA、CRM、ERP、訂單管理(lǐ)系統、進銷存管理(lǐ)軟件等)！服務熱(rè)線：0760-88610046、13924923903，http://www.wansion.net