作者:譯幫翻譯 日期:2019-06-10
一、大數(shù)據(jù)
英文:big data,mega data
大數(shù)據(jù),或稱巨量資料,指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
二、大數(shù)據(jù)的4V:
Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)
三、當(dāng)前用于分析大數(shù)據(jù)的工具主要有開源與商用兩個(gè)生態(tài)圈
開源大數(shù)據(jù)生態(tài)圈:
1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生,早期Hadoop生態(tài)圈逐步形成。
2、. Hypertable是另類。它存在于Hadoop生態(tài)圈之外,但也曾經(jīng)有一些用戶。
3、NoSQL,membase、MongoDb
商用大數(shù)據(jù)生態(tài)圈:
1、一體機(jī)數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù):IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、數(shù)據(jù)倉(cāng)庫(kù):TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、數(shù)據(jù)集市:QlikView、 Tableau 、 以及國(guó)內(nèi)的Yonghong Data Mart 。
四、Hadoop
Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。
用戶可以在不了解分布式底層細(xì)節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。
Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System),簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn),并且設(shè)計(jì)用來(lái)部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(wèn)(streaming access)文件系統(tǒng)中的數(shù)據(jù)。
Hadoop的框架最核心的設(shè)計(jì)就是:HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ),則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。
五、Apache基金會(huì)
Apache軟件基金會(huì)(也就是Apache Software Foundation,簡(jiǎn)稱為ASF),是專門為支持開源軟件項(xiàng)目而辦的一個(gè)非盈利性組織。在它所支持的Apache項(xiàng)目與子項(xiàng)目中,所發(fā)行的軟件產(chǎn)品都遵循Apache許可證(Apache License)。
六、MapReduce
MapReduce是一種編程模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。概念”Map(映射)”和”Reduce(歸約)”,和它們的主要思想,都是從函數(shù)式編程語(yǔ)言里借來(lái)的,還有從矢量編程語(yǔ)言里借來(lái)的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下,將自己的程序運(yùn)行在分布式系統(tǒng)上。 當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map(映射)函數(shù),用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì),指定并發(fā)的Reduce(歸約)函數(shù),用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。
七、BI
商業(yè)智能(BI,Business Intelligence)。
BI(Business Intelligence)即商務(wù)智能,它是一套完整的解決方案,用來(lái)將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合,快速準(zhǔn)確的提供報(bào)表并提出決策依據(jù),幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策。
八、CRM
CRM即客戶關(guān)系管理,是指企業(yè)用CRM技術(shù)來(lái)管理與客戶之間的關(guān)系。在不同場(chǎng)合下,CRM可能是一個(gè)管理學(xué)術(shù)語(yǔ),可能是一個(gè)軟件系統(tǒng)。通常所指的CRM,指用計(jì)算機(jī)自動(dòng)化分析銷售、市場(chǎng)營(yíng)銷、客戶服務(wù)以及應(yīng)用等流程的軟件系統(tǒng)。它的目標(biāo)是通過(guò)提高客戶的價(jià)值、滿意度、贏利性和忠實(shí)度來(lái)縮減銷售周期和銷售成本、增加收入、尋找擴(kuò)展業(yè)務(wù)所需的新的市場(chǎng)和渠道。CRM是選擇和管理有價(jià)值客戶及其關(guān)系的一種商業(yè)策略,CRM要求以客戶為中心的企業(yè)文化來(lái)支持有效的市場(chǎng)營(yíng)銷、銷售與服務(wù)流程。
九、云計(jì)算
云計(jì)算(cloud computing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式,通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說(shuō)法。過(guò)去在圖中往往用云來(lái)表示電信網(wǎng),后來(lái)也用來(lái)表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。因此,云計(jì)算甚至可以讓你體驗(yàn)每秒10萬(wàn)億次的運(yùn)算能力,擁有這么強(qiáng)大的計(jì)算能力可以模擬核爆炸、預(yù)測(cè)氣候變化和市場(chǎng)發(fā)展趨勢(shì)。用戶通過(guò)電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心,按自己的需求進(jìn)行運(yùn)算。
十、云計(jì)算相關(guān)
分布式計(jì)算(Distributed Computing)
并行計(jì)算(Parallel Computing)
效用計(jì)算(Utility Computing)
網(wǎng)絡(luò)存儲(chǔ)(Network Storage Technologies)
虛擬化(Virtualization)
負(fù)載均衡(Load Balance)
熱備份冗余(High Available)
十一:數(shù)據(jù)倉(cāng)庫(kù)
數(shù)據(jù)倉(cāng)庫(kù),英文名稱為Data Warehouse,可簡(jiǎn)寫為DW或DWH。數(shù)據(jù)倉(cāng)庫(kù)是為企業(yè)所有級(jí)別的決策制定過(guò)程提供支持的所有類型數(shù)據(jù)的戰(zhàn)略集合。它是單個(gè)數(shù)據(jù)存儲(chǔ),出于分析性報(bào)告和決策支持的目的而創(chuàng)建。 為企業(yè)提供需要業(yè)務(wù)智能來(lái)指導(dǎo)業(yè)務(wù)流程改進(jìn)和監(jiān)視時(shí)間、成本、質(zhì)量和控制。
十二:非關(guān)系型數(shù)據(jù)庫(kù)
NoSQL,泛指非關(guān)系型的數(shù)據(jù)庫(kù)。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)付web2.0網(wǎng)站,特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心,暴露了很多難以克服的問(wèn)題,而非關(guān)系型的數(shù)據(jù)庫(kù)則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫(kù)的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類帶來(lái)的挑戰(zhàn),尤其是大數(shù)據(jù)應(yīng)用難題。
十三:結(jié)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化數(shù)據(jù)(即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫(kù)里,可以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù))而言,不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片、標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言下的子集XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等等。
十四:結(jié)構(gòu)化分析方法
結(jié)構(gòu)化分析方法(Structured Method,結(jié)構(gòu)化方法)是強(qiáng)調(diào)開發(fā)方法的結(jié)構(gòu)合理性以及所開發(fā)軟件的結(jié)構(gòu)合理性的軟件開發(fā)方法。結(jié)構(gòu)是指系統(tǒng)內(nèi)各個(gè)組成要素之間的相互聯(lián)系、相互作用的框架。結(jié)構(gòu)化開發(fā)方法提出了一組提高軟件結(jié)構(gòu)合理性的準(zhǔn)則,如分解與抽象、模塊獨(dú)立性、信息隱蔽等。針對(duì)軟件生存周期各個(gè)不同的階段,它有結(jié)構(gòu)化分析(SA)和結(jié)構(gòu)化程序設(shè)計(jì)(SP)等方法。
十五:半結(jié)構(gòu)化數(shù)據(jù)
和普通純文本相比,半結(jié)構(gòu)化數(shù)據(jù)具有一定的結(jié)構(gòu)性,但和具有嚴(yán)格理論模型的關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)相比。OEM(Object exchange Model)是一種典型的半結(jié)構(gòu)化數(shù)據(jù)模型。
半結(jié)構(gòu)化數(shù)據(jù)(semi-structured data)
在做一個(gè)信息系統(tǒng)設(shè)計(jì)時(shí)肯定會(huì)涉及到數(shù)據(jù)的存儲(chǔ),一般我們都會(huì)將系統(tǒng)信息保存在某個(gè)指定的關(guān)系數(shù)據(jù)庫(kù)中。我們會(huì)將數(shù)據(jù)按業(yè)務(wù)分類,并設(shè)計(jì)相應(yīng)的表,然后將對(duì)應(yīng)的信息保存到相應(yīng)的表中。比如我們做一個(gè)業(yè)務(wù)系統(tǒng),要保存員工基本信息:工號(hào)、姓名、性別、出生日期等等;我們就會(huì)建立一個(gè)對(duì)應(yīng)的staff表。
但不是系統(tǒng)中所有信息都可以這樣簡(jiǎn)單的用一個(gè)表中的字段就能對(duì)應(yīng)的。
十六:非結(jié)構(gòu)化數(shù)據(jù)
非結(jié)構(gòu)化數(shù)據(jù)庫(kù)是指其字段長(zhǎng)度可變,并且每個(gè)字段的記錄又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成的數(shù)據(jù)庫(kù),用它不僅可以處理結(jié)構(gòu)化數(shù)據(jù)(如數(shù)字、符號(hào)等信息)而且更適合處理非結(jié)構(gòu)化數(shù)據(jù)(全文文本、圖象、聲音、影視、超媒體等信息)。
十七:數(shù)據(jù)庫(kù)(Database)
數(shù)據(jù)庫(kù)是按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù),它產(chǎn)生于距今六十多年前,隨著信息技術(shù)和市場(chǎng)的發(fā)展,特別是二十世紀(jì)九十年代以后,數(shù)據(jù)管理不再僅僅是存儲(chǔ)和管理數(shù)據(jù),而轉(zhuǎn)變成用戶所需要的各種數(shù)據(jù)管理的方式。數(shù)據(jù)庫(kù)有很多種類型,從最簡(jiǎn)單的存儲(chǔ)有各種數(shù)據(jù)的表格到能夠進(jìn)行海量數(shù)據(jù)存儲(chǔ)的大型數(shù)據(jù)庫(kù)系統(tǒng)都在各個(gè)方面得到了廣泛的應(yīng)用。
十八:數(shù)據(jù)分析
英文名:Data Analysis
數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析,提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。這一過(guò)程也是質(zhì)量管理體系的支持過(guò)程。在實(shí)用中,數(shù)據(jù)分析可幫助人們作出判斷,以便采取適當(dāng)行動(dòng)。
Excel作為常用的分析工具,可以實(shí)現(xiàn)基本的分析工作,在商業(yè)智能領(lǐng)域Cognos、Style Intelligence、Microstrategy、Brio、BO和Oracle以及國(guó)內(nèi)產(chǎn)品如Yonghong Z-Suite BI套件等。
十九:數(shù)據(jù)挖掘
數(shù)據(jù)挖掘(英語(yǔ):Data mining),又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)(英語(yǔ):Knowledge-Discovery in Databases,簡(jiǎn)稱:KDD)中的一個(gè)步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān),并通過(guò)統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)(依靠過(guò)去的經(jīng)驗(yàn)法則)和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。
二十:數(shù)據(jù)清洗
數(shù)據(jù)清洗從名字上也看的出就是把“臟”的“洗掉”,指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤的最后一道程序,包括檢查數(shù)據(jù)一致性,處理無(wú)效值和缺失值等。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是面向某一主題的數(shù)據(jù)的集合,這些數(shù)據(jù)從多個(gè)業(yè)務(wù)系統(tǒng)中抽取而來(lái)而且包含歷史數(shù)據(jù),這樣就避免不了有的數(shù)據(jù)是錯(cuò)誤數(shù)據(jù)、有的數(shù)據(jù)相互之間有沖突,這些錯(cuò)誤的或有沖突的數(shù)據(jù)顯然是我們不想要的,稱為“臟數(shù)據(jù)”。我們要按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”,這就是數(shù)據(jù)清洗。而數(shù)據(jù)清洗的任務(wù)是過(guò)濾那些不符合要求的數(shù)據(jù),將過(guò)濾的結(jié)果交給業(yè)務(wù)主管部門,確認(rèn)是否過(guò)濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。數(shù)據(jù)清洗是與問(wèn)卷審核不同,錄入后的數(shù)據(jù)清理一般是由計(jì)算機(jī)而不是人工完成。
二十一:可視化
可視化(Visualization)是利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù),將數(shù)據(jù)轉(zhuǎn)換成圖形或圖像在屏幕上顯示出來(lái),并進(jìn)行交互處理的理論、方法和技術(shù)。它涉及到計(jì)算機(jī)圖形學(xué)、圖像處理、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)輔助設(shè)計(jì)等多個(gè)領(lǐng)域,成為研究數(shù)據(jù)表示、數(shù)據(jù)處理、決策分析等一系列問(wèn)題的綜合技術(shù)。目前正在飛速發(fā)展的虛擬現(xiàn)實(shí)技術(shù)也是以圖形圖像的可視化技術(shù)為依托的。
二十二:數(shù)據(jù)可視化
英文名:Data visualization
數(shù)據(jù)可視化技術(shù)的基本思想是將數(shù)據(jù)庫(kù)中每一個(gè)數(shù)據(jù)項(xiàng)作為單個(gè)圖元元素表示,大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像,同時(shí)將數(shù)據(jù)的各個(gè)屬性值以多維數(shù)據(jù)的形式表示,可以從不同的維度觀察數(shù)據(jù),從而對(duì)數(shù)據(jù)進(jìn)行更深入的觀察和分析。
數(shù)據(jù)可視化主要旨在借助于圖形化手段,清晰有效地傳達(dá)與溝通信息。但是,這并不就意味著,數(shù)據(jù)可視化就一定因?yàn)橐獙?shí)現(xiàn)其功能用途而令人感到枯燥乏味,或者是為了看上去絢麗多彩而顯得極端復(fù)雜。為了有效地傳達(dá)思想概念,美學(xué)形式與功能需要齊頭并進(jìn),通過(guò)直觀地傳達(dá)關(guān)鍵的方面與特征,從而實(shí)現(xiàn)對(duì)于相當(dāng)稀疏而又復(fù)雜的數(shù)據(jù)集的深入洞察。然而,設(shè)計(jì)人員往往并不能很好地把握設(shè)計(jì)與功能之間的平衡,從而創(chuàng)造出華而不實(shí)的數(shù)據(jù)可視化形式,無(wú)法達(dá)到其主要目的,也就是傳達(dá)與溝通信息。
二十三:產(chǎn)品數(shù)據(jù)管理
產(chǎn)品數(shù)據(jù)管理(Product Data Management)是基于分布式網(wǎng)絡(luò)、主從結(jié)構(gòu)、圖形化用戶接口和數(shù)據(jù)庫(kù)件管理技術(shù)發(fā)展起來(lái)的一種軟件框架(或數(shù)據(jù)平臺(tái)),PDM對(duì)并行工程中的人員工具、設(shè)備資源、產(chǎn)品數(shù)據(jù)以及數(shù)據(jù)生成過(guò)程進(jìn)行全面管理。
二十四:DSP(需求方平臺(tái))
DSP(Demand-Side Platform),就是需求方平臺(tái)。這一概念起源于網(wǎng)絡(luò)廣告發(fā)達(dá)的歐美,是伴隨著互聯(lián)網(wǎng)和廣告業(yè)的飛速發(fā)展新興起的網(wǎng)絡(luò)廣告領(lǐng)域。它與Ad Exchange和RTB一起迅速崛起于美國(guó),已在全球快速發(fā)展,2011年已經(jīng)覆蓋到了歐美、亞太以及澳洲。在世界網(wǎng)絡(luò)展示廣告領(lǐng)域,DSP方興未艾。DSP傳入中國(guó),迅速成為熱潮,成為推動(dòng)中國(guó)網(wǎng)絡(luò)展示廣告RTB市場(chǎng)快速發(fā)展的動(dòng)力之一。
二十五:DMP(數(shù)據(jù)管理平臺(tái))
DMP(Data-Management Platform)數(shù)據(jù)管理平臺(tái),是把分散的第一、第三方數(shù)據(jù)進(jìn)行整合納入統(tǒng)一的技術(shù)平臺(tái),并對(duì)這些數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和細(xì)分,讓用戶可以把這些細(xì)分結(jié)果推向現(xiàn)有的互動(dòng)營(yíng)銷環(huán)境里。
DMP的核心元素包括:
·數(shù)據(jù)整合及標(biāo)準(zhǔn)化能力:采用統(tǒng)一化的方式,將各方數(shù)據(jù)吸納整合。
·數(shù)據(jù)細(xì)分管理能力:創(chuàng)建出獨(dú)一無(wú)二、有意義的客戶細(xì)分,進(jìn)行有效營(yíng)銷活動(dòng)。
·功能健全的數(shù)據(jù)標(biāo)簽:提供數(shù)據(jù)標(biāo)簽靈活性,便于營(yíng)銷活動(dòng)的使用。
·自助式的用戶界面:基于網(wǎng)頁(yè)web界面或其他集成方案直接獲取數(shù)據(jù)工具,功能和幾種形式報(bào)表和分析。
·相關(guān)渠道環(huán)境的連接:跟相關(guān)渠道的集成,包含網(wǎng)站端、展示廣告、電子郵件以及搜索和視頻,讓營(yíng)銷者能找到、定位和提供細(xì)分群體相關(guān)高度的營(yíng)銷信息。
二十六:CPA(廣告術(shù)語(yǔ))
CPA(Cost Per Action)是一種廣告計(jì)費(fèi)模式,顧名思義按照行為(Action)作為指標(biāo)來(lái)計(jì)費(fèi),這個(gè)行為可以是注冊(cè)、咨詢、放入購(gòu)物車等等。廣告公司和媒體公司常用CPA、CPC(Cost Per Click)、CPM(Cost Per Mille,或者Cost Per Thousand;Cost Per Impressions)一起來(lái)衡量廣告價(jià)格。
CPA(每次行動(dòng)成本,Cost Per Action)計(jì)價(jià)方式是指按廣告投放實(shí)際效果,即按回應(yīng)的有效問(wèn)卷或定單來(lái)計(jì)費(fèi),而不限廣告投放量。CPA廣告是網(wǎng)絡(luò)中最常見的一種廣告形式,當(dāng)用戶點(diǎn)擊某個(gè)網(wǎng)站上的cpc廣告后,這個(gè)站的站長(zhǎng)就會(huì)獲得相應(yīng)的收入。
二十七:CPT(廣告術(shù)語(yǔ))
按時(shí)長(zhǎng)計(jì)費(fèi)是包時(shí)段投放廣告的一種形式,廣告主選擇廣告位和投放時(shí)間,費(fèi)用與廣告點(diǎn)擊量無(wú)關(guān)。采用這種方式出售廣告,網(wǎng)站主決定每一個(gè)廣告位的價(jià)格,廣告主自行選擇購(gòu)買時(shí)間段,目前可按周或按天購(gòu)買,成交價(jià)就是網(wǎng)站主標(biāo)定的價(jià)格。
二十八:CTR(廣告點(diǎn)擊率)
CTR(Click-Through-Rate)互聯(lián)網(wǎng)廣告常用的術(shù)語(yǔ),指網(wǎng)絡(luò)廣告(圖片廣告/文字廣告/關(guān)鍵詞廣告/排名廣告/視頻廣告等)的點(diǎn)擊到達(dá)率,即該廣告的點(diǎn)擊量(嚴(yán)格的來(lái)說(shuō),可以是到達(dá)目標(biāo)頁(yè)面的數(shù)量)除以廣告的瀏覽量(PV- Page View)。
CTR是衡量互聯(lián)網(wǎng)廣告效果的一項(xiàng)重要指標(biāo)。
二十九:算法
算法(Algorithm)是指解題方案的準(zhǔn)確而完整的描述,是一系列解決問(wèn)題的清晰指令,算法代表著用系統(tǒng)的方法描述解決問(wèn)題的策略機(jī)制。也就是說(shuō),能夠?qū)σ欢ㄒ?guī)范的輸入,在有限時(shí)間內(nèi)獲得所要求的輸出。如果一個(gè)算法有缺陷,或不適合于某個(gè)問(wèn)題,執(zhí)行這個(gè)算法將不會(huì)解決這個(gè)問(wèn)題。不同的算法可能用不同的時(shí)間、空間或效率來(lái)完成同樣的任務(wù)。一個(gè)算法的優(yōu)劣可以用空間復(fù)雜度與時(shí)間復(fù)雜度來(lái)衡量。
三十:機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科,涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,以獲取新的知識(shí)或技能,重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。
它是人工智能的核心,是使計(jì)算機(jī)具有智能的根本途徑,其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域,它主要使用歸納、綜合而不是演繹。
三十一:人工智能
人工智能(Artificial Intelligence) ,英文縮寫為AI。它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。 人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支,它企圖了解智能的實(shí)質(zhì),并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器,該領(lǐng)域的研究包括機(jī)器人、語(yǔ)言識(shí)別、圖像識(shí)別、自然語(yǔ)言處理和專家系統(tǒng)等。人工智能從誕生以來(lái),理論和技術(shù)日益成熟,應(yīng)用領(lǐng)域也不斷擴(kuò)大,可以設(shè)想,未來(lái)人工智能帶來(lái)的科技產(chǎn)品,將會(huì)是人類智慧的“容器”。
三十二:深度學(xué)習(xí)
英文名:Deep Learning
深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。
深度學(xué)習(xí)的概念由Hinton等人于2006年提出?;谏钚哦染W(wǎng)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法,為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望,隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法,它利用空間相對(duì)關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域,其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù),例如圖像,聲音和文本。
三十四:神經(jīng)網(wǎng)絡(luò)
人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks,簡(jiǎn)寫為ANNs)也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)(NNs)或稱作連接模型(Connection Model),它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征,進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度,通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系,從而達(dá)到處理信息的目的。
三十五:OpenStack
OpenStack是一個(gè)由NASA(美國(guó)國(guó)家航空航天局)和Rackspace合作研發(fā)并發(fā)起的,以Apache許可證授權(quán)的自由軟件和開放源代碼項(xiàng)目。
OpenStack是一個(gè)開源的云計(jì)算管理平臺(tái)項(xiàng)目,由幾個(gè)主要的組件組合起來(lái)完成具體工作。OpenStack支持幾乎所有類型的云環(huán)境,項(xiàng)目目標(biāo)是提供實(shí)施簡(jiǎn)單、可大規(guī)模擴(kuò)展、豐富、標(biāo)準(zhǔn)統(tǒng)一的云計(jì)算管理平臺(tái)。OpenStack通過(guò)各種互補(bǔ)的服務(wù)提供了基礎(chǔ)設(shè)施即服務(wù)(IaaS)的解決方案,每個(gè)服務(wù)提供API以進(jìn)行集成。
三十六:SaaS
SaaS是Software-as-a-Service(軟件即服務(wù))的簡(jiǎn)稱,隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用軟件的成熟, 在21世紀(jì)開始興起的一種完全創(chuàng)新的軟件應(yīng)用模式。它與“on-demand software”(按需軟件),the application service provider(ASP,應(yīng)用服務(wù)提供商),hosted software(托管軟件)所具有相似的含義。它是一種通過(guò)Internet提供軟件的模式,廠商將應(yīng)用軟件統(tǒng)一部署在自己的服務(wù)器上,客戶可以根據(jù)自己實(shí)際需求,通過(guò)互聯(lián)網(wǎng)向廠商定購(gòu)所需的應(yīng)用軟件服務(wù),按定購(gòu)的服務(wù)多少和時(shí)間長(zhǎng)短向廠商支付費(fèi)用,并通過(guò)互聯(lián)網(wǎng)獲得廠商提供的服務(wù)。
三十七:Paas
PaaS是Platform-as-a-Service的縮寫,意思是平臺(tái)即服務(wù)。 把服務(wù)器平臺(tái)作為一種服務(wù)提供的商業(yè)模式。通過(guò)網(wǎng)絡(luò)進(jìn)行程序提供的服務(wù)稱之為SaaS(Software as a Service),而云計(jì)算時(shí)代相應(yīng)的服務(wù)器平臺(tái)或者開發(fā)環(huán)境作為服務(wù)進(jìn)行提供就成為了PaaS(Platform as a Service)。
所謂PaaS實(shí)際上是指將軟件研發(fā)的平臺(tái)(計(jì)世資訊定義為業(yè)務(wù)基礎(chǔ)平臺(tái))作為一種服務(wù),以SaaS的模式提交給用戶。因此,PaaS也是SaaS模式的一種應(yīng)用。但是,PaaS的出現(xiàn)可以加快SaaS的發(fā)展,尤其是加快SaaS應(yīng)用的開發(fā)速度。在2007年國(guó)內(nèi)外SaaS廠商先后推出自己的PAAS平臺(tái)。
三十八:IaaS
IaaS(Infrastructure as a Service),即基礎(chǔ)設(shè)施即服務(wù)。
消費(fèi)者通過(guò)Internet 可以從完善的計(jì)算機(jī)基礎(chǔ)設(shè)施獲得服務(wù)。這類服務(wù)稱為基礎(chǔ)設(shè)施即服務(wù)?;?Internet 的服務(wù)(如存儲(chǔ)和數(shù)據(jù)庫(kù))是 IaaS的一部分。Internet上其他類型的服務(wù)包括平臺(tái)即服務(wù)(Platform as a Service,PaaS)和軟件即服務(wù)(Software as a Service,SaaS)。PaaS提供了用戶可以訪問(wèn)的完整或部分的應(yīng)用程序開發(fā),SaaS則提供了完整的可直接使用的應(yīng)用程序,比如通過(guò) Internet管理企業(yè)資源。
三十九:HaaS
以提供的Hadoop作為一種服務(wù)(HAAS)
HaaS(Hardware-as-a-service)的意思是硬件即服務(wù)。HaaS概念的出現(xiàn)源于云計(jì)算,現(xiàn)在被稱作基礎(chǔ)架構(gòu)即服務(wù)(IaaS)或基礎(chǔ)架構(gòu)云,使用IaaS,各企業(yè)可通過(guò)Web將更多的基礎(chǔ)架構(gòu)容量作為服務(wù)提供?!巴ㄟ^(guò)Web”分配更多的存儲(chǔ)或處理容量當(dāng)然要比供應(yīng)商在基礎(chǔ)環(huán)境中引入和安裝新硬件要快得多。HaaS還具有另外一層含義是針對(duì)嵌入式設(shè)備而言的,目的在于建立通過(guò)互聯(lián)網(wǎng)(Web)進(jìn)行嵌入式設(shè)備統(tǒng)一管理服務(wù)的模式。在這種情況下,HaaS類似于SaaS,對(duì)于嵌入式設(shè)備使用者來(lái)說(shuō),無(wú)需對(duì)所需嵌入式設(shè)備進(jìn)行一次性購(gòu)買,僅需按照設(shè)備使用量或其它標(biāo)準(zhǔn)支付設(shè)備的服務(wù)費(fèi)及維護(hù)費(fèi)即可。
四十:決策樹
決策樹(Decision Tree)是在已知各種情況發(fā)生概率的基礎(chǔ)上,通過(guò)構(gòu)成決策樹來(lái)求取凈現(xiàn)值的期望值大于等于零的概率,評(píng)價(jià)項(xiàng)目風(fēng)險(xiǎn),判斷其可行性的決策分析方法,是直觀運(yùn)用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干,故稱決策樹。在機(jī)器學(xué)習(xí)中,決策樹是一個(gè)預(yù)測(cè)模型,他代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。Entropy = 系統(tǒng)的凌亂程度,使用算法ID3, C4.5和C5.0生成樹算法使用熵。這一度量是基于信息學(xué)理論中熵的概念。
四十一:EM算法
最大期望算法(Expectation Maximization Algorithm,又譯期望最大化算法),是一種迭代算法,用于含有隱變量(hidden variable)的概率參數(shù)模型的最大似然估計(jì)或極大后驗(yàn)概率估計(jì)。
四十二:數(shù)據(jù)聚類
數(shù)據(jù)聚類 (英語(yǔ) : Cluster analysis) 是對(duì)于靜態(tài)數(shù)據(jù)分析的一門技術(shù),在許多領(lǐng)域受到廣泛應(yīng)用,包括機(jī)器學(xué)習(xí),數(shù)據(jù)挖掘,模式識(shí)別,圖像分析以及生物信息。聚類是把相似的對(duì)象通過(guò)靜態(tài)分類的方法分成不同的組別或者更多的子集(subset),這樣讓在同一個(gè)子集中的成員對(duì)象都有相似的一些屬性,常見的包括在坐標(biāo)系中更加短的空間距離等。
四十三:概率模型
給定一個(gè)用戶的查詢串,相對(duì)于該串存在一個(gè)包含所有相關(guān)文檔的集合。我們把這樣的集合看作是一個(gè)理想的結(jié)果文檔集,在給出理想結(jié)果集后,我們能很容易得到結(jié)果文檔。這樣我們可以把查詢處理看作是對(duì)理想結(jié)果文檔集屬性的處理。問(wèn)題是我們并不能確切地知道這些屬性,我們所知道的是存在索引術(shù)語(yǔ)來(lái)表示這些屬性。由于在查詢期間這些屬性都是不可見的,這就需要在初始階段來(lái)估計(jì)這些屬性。這種初始階段的估計(jì)允許我們對(duì)首次檢索的文檔集合返回理想的結(jié)果集,并產(chǎn)生一個(gè)初步的概率描述。
四十四:貝索斯定律
英文:Bezos’ Law
貝索斯定律是指在云的發(fā)展過(guò)程中,單位計(jì)算能力的價(jià)格大約每隔3年會(huì)降低50%。
四十五:回歸分析
回歸分析(regression analysis)是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法。運(yùn)用十分廣泛,回歸分析按照涉及的自變量的多少,可分為一元回歸分析和多元回歸分析;按照自變量和因變量之間的關(guān)系類型,可分為線性回歸分析和非線性回歸分析。如果在回歸分析中,只包括一個(gè)自變量和一個(gè)因變量,且二者的關(guān)系可用一條直線近似表示,這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量,且因變量和自變量之間是線性關(guān)系,則稱為多元線性回歸分析。
四十六:推薦算法
基于內(nèi)容的信息推薦方法的理論依據(jù)主要來(lái)自于信息檢索和信息過(guò)濾,所謂的基于內(nèi)容的推薦方法就是根據(jù)用戶過(guò)去的瀏覽記錄來(lái)向用戶推薦用戶沒(méi)有接觸過(guò)的推薦項(xiàng)。主要是從兩個(gè)方法來(lái)描述基于內(nèi)容的推薦方法:?jiǎn)l(fā)式的方法和基于模型的方法。啟發(fā)式的方法就是用戶憑借經(jīng)驗(yàn)來(lái)定義相關(guān)的計(jì)算公式,然后再根據(jù)公式的計(jì)算結(jié)果和實(shí)際的結(jié)果進(jìn)行驗(yàn)證,然后再不斷修改公式以達(dá)到最終目的。而對(duì)于模型的方法就是根據(jù)以往的數(shù)據(jù)作為數(shù)據(jù)集,然后根據(jù)這個(gè)數(shù)據(jù)集來(lái)學(xué)習(xí)出一個(gè)模型。
四十七:八叉樹
英文名:Octree
八叉樹是一種用于描述三維空間的樹狀數(shù)據(jù)結(jié)構(gòu)。八叉樹的每個(gè)節(jié)點(diǎn)表示一個(gè)正方體的體積元素,每個(gè)節(jié)點(diǎn)有八個(gè)子節(jié)點(diǎn),將八個(gè)子節(jié)點(diǎn)所表示的體積元素加在一起就等于父節(jié)點(diǎn)的體積。
四十八:紅黑樹
紅黑樹(Red Black Tree) 是一種自平衡二叉查找樹,是在計(jì)算機(jī)科學(xué)中用到的一種數(shù)據(jù)結(jié)構(gòu),典型的用途是實(shí)現(xiàn)關(guān)聯(lián)數(shù)組。
它是在1972年由Rudolf Bayer發(fā)明的,當(dāng)時(shí)被稱為平衡二叉B樹(symmetric binary B-trees)。后來(lái),在1978年被 Leo J. Guibas 和 Robert Sedgewick 修改為如今的“紅黑樹”。
紅黑樹和AVL樹類似,都是在進(jìn)行插入和刪除操作時(shí)通過(guò)特定操作保持二叉查找樹的平衡,從而獲得較高的查找性能。
它雖然是復(fù)雜的,但它的最壞情況運(yùn)行時(shí)間也是非常良好的,并且在實(shí)踐中是高效的: 它可以在O(log n)時(shí)間內(nèi)做查找,插入和刪除,這里的n 是樹中元素的數(shù)目。
四十九:哈希表
散列表(Hash table,也叫哈希表),是根據(jù)關(guān)鍵碼值(Key value)而直接進(jìn)行訪問(wèn)的數(shù)據(jù)結(jié)構(gòu)。也就是說(shuō),它通過(guò)把關(guān)鍵碼值映射到表中一個(gè)位置來(lái)訪問(wèn)記錄,以加快查找的速度。這個(gè)映射函數(shù)叫做散列函數(shù),存放記錄的數(shù)組叫做散列表。
給定表M,存在函數(shù)f(key),對(duì)任意給定的關(guān)鍵字值key,代入函數(shù)后若能得到包含該關(guān)鍵字的記錄在表中的地址,則稱表M為哈希(Hash)表,函數(shù)f(key)為哈希(Hash) 函數(shù)。
五十:隨機(jī)森林
英文名:Random forest
在機(jī)器學(xué)習(xí)中,隨機(jī)森林是一個(gè)包含多個(gè)決策樹的分類器, 并且其輸出的類別是由個(gè)別樹輸出的類別的眾數(shù)而定。 Leo Breiman和Adele Cutler發(fā)展出推論出隨機(jī)森林的算法。 而 “Random Forests” 是他們的商標(biāo)。 這個(gè)術(shù)語(yǔ)是1995年由貝爾實(shí)驗(yàn)室的Tin Kam Ho所提出的隨機(jī)決策森林(random decision forests)而來(lái)的。這個(gè)方法則是結(jié)合 Breimans 的 “Bootstrap aggregating” 想法和 Ho 的”random subspace method”” 以建造決策樹的集合。