阿里云國際站經銷商,主營阿里云,騰訊云,華為云,亞馬遜aws,谷歌云gcp,微軟云az,免費開戶,代充值優惠大,聯系客服飛機@jkkddd
通過DataWorks將Hadoop數據同步至Elasticsearch
操作流程準備工作
搭建Hadoop集群、創建DataWorks工作空間、創建與配置阿里云Elasticsearch實例。
步驟一:準備數據
在Hadoop集群中創建測試數據。
步驟二:購買并創建獨享資源組
購買并創建一個數據集成獨享資源組,并為該資源組綁定專有網絡和工作空間。獨享資源組可以保障數據快速、穩定地傳輸。
步驟三:添加數據源
將Elasticsearch和Hadoop的HDFS數據源接入DataWorks的數據集成服務中。
步驟四:配置并運行數據同步任務
通過向導模式配置數據同步任務,將數據集成系統同步成功的數據存儲到Elasticsearch中。將獨享資源組作為一個可以執行任務的資源,注冊到DataWorks的數據集成服務中。這個資源組將獲取數據源的數據,并執行將數據寫入Elasticsearch中的任務(該任務將由數據集成系統統一下發)。
步驟五:驗證數據同步結果
在Kibana控制臺中,查看同步成功的數據,并按條件查詢數據。
步驟一:準備數據
進入E-MapReduce控制臺。
在頂部菜單欄,選擇地域。
在上方菜單欄,單擊數據開發。
在數據開發頁面,新建一個數據開發項目,其中資源組選擇默認資源組。
具體操作,請參見項目管理。
在項目列表中,單擊目標項目右側操作列下的作業編輯,新建一個作業。
具體操作,請參見作業編輯。其中作業類型選擇Hive。
創建數據表并插入數據。
在代碼編輯區域中,輸入Hive建表語句,單擊運行。
本文檔使用的建表語句如下。
在運行作業對話框中配置運行參數,單擊確定。
資源組:選擇默認資源組。
執行集群:選擇您已創建的集群。
重新新建一個作業,輸入如下SQL語句,插入測試數據。
您可以選擇從OSS或其他數據源導入測試數據,也可以手動插入少量的測試數據。本文使用手動插入數據的方法,腳本如下。
查看數據是否插入成功。
新建一個臨時查詢作業。
具體操作,請參見臨時查詢。
輸入如下SQL語句,單擊運行
在頁面下方,單擊運行記錄,再單擊操作列下的詳情。
在運維中心,單擊作業運行結果。

標題:阿里云賬號24h自助充值,阿里云賬號免費注冊
地址:http://www.swled.com.cn/cjxw/58813.html