Apache NiFi1.1.0 中文免費版

Apache NiFi是很多的編程的人員都是經(jīng)常的使用到的一款數(shù)據(jù)處理和分發(fā)系統(tǒng)，專業(yè)的處理大量的數(shù)據(jù)問題的，可以提供指示圖的數(shù)據(jù)路由、轉(zhuǎn)換和系統(tǒng)中介邏輯。

apache nifi使用教程

組件一般來說分為service 和processor  咱們先來說以下新建一個processor 

總的來說分兩步  1.組件功能開發(fā)，2組件聲明（向外暴露）

組件功能開發(fā)，在xxx--xxx-processors 新建工程類xxxx.Java

功能組件總的來說 也分為三個部分

a. 外界參數(shù)聲明   2，輸出關(guān)系聲明   3，數(shù)據(jù)流觸發(fā)操作

a.外界參數(shù)說明

如果我們的組件需要和外界做交互，需要外部傳入?yún)��?shù)那么就需要做參數(shù)聲明

通過這種方式聲明一個參數(shù)，nifi 自身提供了比較多的驗證器 可以對參數(shù)做約束驗證 大家自己看著玩

參數(shù)定義之后需要向外部暴露，需要重寫getSupportedPropertyDescriptors 方法

nifi 還支持動態(tài)增加屬性

Apache NiFi版本更新內(nèi)容

核心框架的改進

集群管理邏輯已經(jīng)穩(wěn)定和改進,以更好地支持zero-master集群。例如,恢復(fù)時間快現(xiàn)在我們不用總是等一些人工的時間長度是否將加入新的節(jié)點,因此我們應(yīng)該重新考慮流是金色的副本。

表達式語言能力現(xiàn)在支持小數(shù),base64和十六進制編碼值,和數(shù)學(xué)函數(shù)。

flowfile、起源和內(nèi)容存儲庫支持回滾已經(jīng)修改了。我們一直小心以確保升級將工作做好,現(xiàn)有流動狀態(tài)會尊敬但困難的是支持回滾狀態(tài)在哪里寫的能力通過一個新版本的NiFi但是用戶決定回滾到一個舊版本。這是現(xiàn)在支持。這個強大的功能也為未來的工作奠定了基礎(chǔ)使?jié)L動升級和自動回滾!

啟動時間的流動,有大量積壓應(yīng)該更快的交換文件已經(jīng)修改了提供完整總結(jié),避免需要掃描。

對于開發(fā)人員來說,他們現(xiàn)在可以說明他們的處理器應(yīng)該給孤立的類加載器實例。一些庫,比如Hadoop客戶機和腳本引擎作為一個例子,使用靜態(tài)變量上的處理器可以污染實例圖。該特性允許這種情況下很容易克服,使隔離每一個處理器的實例。這也使得它很容易讓用戶自定義類加載器擴展jar。

對于開發(fā)人員來說,現(xiàn)在的能力動態(tài)過程會話狀態(tài)遷移到另一個進程。這將產(chǎn)生更高的效率,使得更容易編程模型見MergeContent聚合類型模式,例如。

用戶體驗改進

我們現(xiàn)在提供的視覺指示隊列增長相對于背壓背壓時設(shè)置和參與。這將使交通堵塞和背壓的概念更直觀和坦率地說這只是有趣的看到在UI中�？纯催@個。

1.0.0版本后,社區(qū)的一些成員表示,他們有多愛新外觀和感覺,但希望我們保持一些顏色。更好、更直觀的色彩對比又回來了。

驗證組件現(xiàn)在有限的發(fā)生只有組件不計劃執(zhí)行。這將導(dǎo)致更快的用戶體驗行為盡可能多的操作可以通過UI和REST API將導(dǎo)致不必要的昂貴的驗證操作。

用戶現(xiàn)在可以出口的圖像來源圖表。

用戶現(xiàn)在可以使用cron調(diào)度組件甚至只在主節(jié)點上的任務(wù)。

更新版本的依賴關(guān)系

我們現(xiàn)在利用Azure事件中心0.9.0客戶端庫。

我們現(xiàn)在使用2.0.1庫與Apache火花。

我們現(xiàn)在與使用Apache Hadoop的HDFS 2.7.3庫。

新的或改進的處理器

新拿,把處理器與ElasticSearch 5.0和新的處理器對ElasticSearch執(zhí)行查詢和滾動操作。

新的處理器解析歐共體語言教學(xué)大綱的格式的日志

提取電子郵件現(xiàn)在處理器支持TNEF格式的附件。

新的處理器驗證CSV文件。

Apache Solr處理器已經(jīng)更新,以支持SSL和Kerberos。

新的處理器為尚作為客戶機和服務(wù)器。

新工具

在升級從0。x 1。x我們提供很多的簡易化和自動功能。然而,我們沒有考慮從動物園管理員的嵌入式使用遷移到一個外部實例。我們已經(jīng)提供了一個實用工具可以幫助您遷移NiFi從一個集群管理員到另一個狀態(tài)。

以前很難改變敏感屬性密鑰用于加密所有敏感屬性包含在一個實際的流配置。一個實用程序現(xiàn)在存在容易從舊鍵轉(zhuǎn)換為一個新的密鑰是一塊寶貴的一個總體安全的過程。

安全改進

NiFi現(xiàn)在支持限制組件的概念。這些處理器、控制器服務(wù)報告的任務(wù),允許授權(quán)用戶執(zhí)行unsanitized代碼或訪問和修改文件訪問NiFi NiFi用戶系統(tǒng)正在運行。因此,這些組件是由開發(fā)人員標(biāo)記為受限制,當(dāng)運行在安全模式下NiFi只有管理員必須給予每個用戶訪問策略允許訪問限制組件。

站點現(xiàn)在提高很有幫助,即使使用端口轉(zhuǎn)發(fā)。非常有用的情況下,管理員可能運行NiFi權(quán)限較低但希望外部交互使用眾所周知的特權(quán)端口。

策略管理的用戶體驗已經(jīng)改進,使之更直觀的在某些情況下發(fā)生了什么。

加密的配置功能現(xiàn)在已經(jīng)擴展到覆蓋登錄身份提供商的能力。這真的很有用,例如你可以只有LDAP密碼以加密形式存儲在登錄提供者配置文件。額外的工作計劃在這些加密的配置提供與硬件安全模塊交互。