大數(shù)據(jù)開發(fā)工程師崗位的主要職責概述

時間：2022-09-21 08:18:14 崗位職責我要投稿

銷售經理崗位職責概述推薦度：
hr經理崗位的主要職責推薦度：
項目經理的崗位職責概述推薦度：
項目經理崗位主要職責推薦度：
崗位大練兵總結推薦度：
相關推薦

　　在充滿活力，日益開放的今天，越來越多地方需要用到崗位職責，崗位職責具有提高內部競爭活力，更好地發(fā)現(xiàn)和使用人才的作用。想必許多人都在為如何制定崗位職責而煩惱吧，以下是小編精心整理的大數(shù)據(jù)開發(fā)工程師崗位的主要職責概述，僅供參考，希望能夠幫助到大家。

大數(shù)據(jù)開發(fā)工程師崗位的主要職責概述

大數(shù)據(jù)開發(fā)工程師崗位的主要職責概述1

　　職責：

　　1、規(guī)劃及建設大數(shù)據(jù)平臺;

　　2、負責大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、挖掘算法等設計、研發(fā)以及維護、優(yōu)化工作;

　　3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;

　　4、參與項目的系統(tǒng)設計和核心代碼開發(fā)，指導和培訓其他工程師;

　　5、整理和提交技術文檔，負責核心功能模塊的代碼編寫和測試工作。

　　崗位要求：

　　1、計算機、統(tǒng)計學等相關專業(yè)本科及以上學歷，具有深厚的數(shù)學、統(tǒng)計學和計算機相關知識，精通數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的相關技術，3年以上大數(shù)據(jù)開發(fā)相關經驗;

　　2、具有非常扎實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;

　　3、算法基礎扎實，熟悉常見的數(shù)據(jù)結構，了解分布式算法和分布式系統(tǒng)的技術原理;

　　4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流云計算，大數(shù)據(jù)相關軟件有充分的了解，并且有實踐經驗，能解決應用中的復雜問題;

　　5、熟悉大數(shù)據(jù)處理相關技術，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

　　6、研讀過Hadoop、Hbase、Hive源代碼者，能夠在特定業(yè)務中進行定制改造者優(yōu)先;

　　7、具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關項目的工作經驗者優(yōu)先。

大數(shù)據(jù)開發(fā)工程師崗位的主要職責概述2

　　職責：

　　1、參與大數(shù)據(jù)架構的.規(guī)劃設計，參與業(yè)務建模及數(shù)據(jù)化運營平臺的搭建、運維，對業(yè)務流程與大數(shù)據(jù)的結合提出建議和解決方案;

　　2、完成基于大數(shù)據(jù)平臺的業(yè)務項目的開發(fā)、實施和維護工作;

　　3、負責解決大數(shù)據(jù)平臺建設過程中的技術難點和性能調優(yōu)工作;

　　4、參與數(shù)據(jù)倉庫設計，根據(jù)業(yè)務需求實現(xiàn)高效率高靈活性的查詢，數(shù)據(jù)分析，數(shù)據(jù)挖掘;

　　5、負責高吞吐高可用數(shù)據(jù)實時和離線采集，高并發(fā)的大數(shù)據(jù)業(yè)務架構設計

　　6、負責研發(fā)技術發(fā)展方向，新技術領域的探索，引入并驗證數(shù)據(jù)平臺領域新技術，提供系統(tǒng)效能

　　7、對大數(shù)據(jù)技術及開源框架充滿熱情，具有鉆研精神，能自我學習。

　　任職資格：

　　1、具有5年Java開發(fā)經驗，熟悉Spring生態(tài)，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數(shù)據(jù)庫。

　　2、具有2年以上的大數(shù)據(jù)開發(fā)經驗，熟悉大數(shù)據(jù)、數(shù)據(jù)倉庫，分布式架構技術理論，具有大數(shù)據(jù)整體系統(tǒng)架構設計和實戰(zhàn)經驗，熟悉CDH、HDP、TDH至少一款大數(shù)據(jù)產品，有從無到有建設大數(shù)據(jù)平臺經驗者優(yōu)先;

　　3、熟悉大數(shù)據(jù)組件的開發(fā)、搭建、維護以及性能優(yōu)化;

　　4、較強的開發(fā)能力，必須熟練使用相關開發(fā)語言(Java/Python/Scala/Shell等)，熟悉大數(shù)據(jù)生態(tài)、關系數(shù)據(jù)庫和NOSQL數(shù)據(jù)庫、Linux等相關知識，能夠獨立完成并指導初級開發(fā)人員完成大數(shù)據(jù)相關的技術實現(xiàn)和調優(yōu);

　　5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閱讀源碼跟蹤問題。

　　6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，并有實際項目開發(fā)經驗。

　　7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練應用開發(fā)，必須熟悉復雜數(shù)據(jù)查詢性能調優(yōu)，包括實時查詢和離線批處理查詢，服務器和生態(tài)組件的參數(shù)優(yōu)化。

　　8、精通高級算法并有與業(yè)務結合落地優(yōu)先;

　　9、扎實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協(xié)調能力和團隊合作精神;有很強的數(shù)據(jù)設計抽象能力，善于從復雜的數(shù)據(jù)問題中找到關鍵路徑，并且擅于跟業(yè)務團隊就業(yè)務問題進行良好的溝通，能推動業(yè)務的指標化、量化;

　　10、有較好的學習能力、團隊協(xié)作精神，認真細心，有強烈的責任心，愛崗敬業(yè)，有較高抗壓能力，有較好的工作穩(wěn)定性。