可以高效簡潔自助處理數據的Smartbi

smartbi輕量級etl功能，它是可視化流程配置，簡單易用，業務人員都能參與。無需單獨部署，能夠與smartbi無縫連接，允許將數據準備的結果，以數據表方式直接提供給bi使用。它還采用分布式計算架構，單節點支持多線程，能夠處理海量數量，提高數據處理的性能。
這塊強大數據處理功能不僅支持異構數據，還內置排序、去重、映射、行列合并、行列轉換聚合、去空值等等數據預處理功能，滿足客戶日常數據處理的需要。下面我們就舉例介紹幾種數據預處理功能。
過濾和映射
過濾和映射是指根據用戶需求，通過寫sql語句(片段)的方式，對數據集中指定字段進行條件篩選過濾。
如下圖，原先示例數據源的輸出結果有150條數據，對其進行過濾與映射，設置過濾器的表達式：[species]='versicolor' ，即只輸出species為versicolor的數據。
我們通過可視化流程操作，拖拽過濾器映射對象，通過設置過濾器條件來實現
去除重復值
去除重復值是用于刪除數據集中的重復行（假如有兩行相同，保留其中一行）。也是數據處理中比較常見的要求。
如下示例，原先關系數據源的輸出結果有9條數據，對其進行去除重復值，在選擇列彈框中選擇所有的列。
我們通過可視化流程操作，拖拽去除重復值對象，對其參數進行選擇列設置來實現
空值處理
空值處理節點是將空值替換為均值、大頻數或者用戶自定義的值等，實現空值的填充或者過濾。空置處理的替換值包括大值、最小值、平均值、中位數、按空值百分比刪除列、出現頻率最多替換、指定值、過濾整行，用于滿足不同的用戶需求。
我們來看一個示例：我們將空值處理為該列出現頻率最多的值，例如number出現頻率最多的值為“4”，則空值經過處理后變成“4”；count出現頻率最多的值為“100”，則空值經過處理后變成“100”。
我們通過可視化操作拖拽空值處理對象對原先數據源進行空值處理，設置如下圖，存在空值，對其進行空值處理，選擇列：number、count ，空值處理為“出現頻率最多替換”。
行轉列/列轉行
行轉列是用于實現將數據結果的行轉換成列。列轉行是用于實現將數據結果的列轉換成行。
下面我們舉一個行轉列的例子。如下圖，原先數據集有4條數據，對其進行行轉列。
我們通過可視化操作拖拽行轉列對象對原先數據源進行空值處理，設置如下圖，設置選擇要透視的列為“科目”，請選擇值列為“分數”，聚合方式為“大值”。
除了以上功能，smartbi數據預處理功能還有采樣、拆分、join、排序、合并列/合并行、增加序號列、聚合、派生列等，有興趣的小伙伴可以到我們wiki上學習使用哦！
使用這些預處理功能處理完成的數據，我們就可以輸出到目標源中了。這樣不僅可以提高數據的質量，也能讓數據更好地進行數據分析和數據挖掘！