大資料處理流程包括哪些

大資料處理流程包括：資料採集、資料預處理、資料入庫、資料分析、資料展現。

1、資料採集概念：目前行業會有兩種解釋：一是資料從無到有的過程（web伺服器列印的日誌、自定義採集的日誌等）叫做資料採集；另一方面也有把通過使用Flume等工具把資料採集到指定位置的這個過程叫做資料採集。

2、資料預處理：通過mapreduce程式對採集到的原始日誌資料進行預處理，比如清洗，格式整理，濾除髒資料等，並且梳理成點選流模型資料。

3、資料入庫：將預處理之後的資料匯入到HIVE倉庫中相應的庫和表中。

4、資料分析：專案的核心內容，即根據需求開發ETL分析語句，得出各種統計結果。

5、資料展現：將分析所得資料進行資料視覺化，一般通過圖表進行展示。