大數(shù)據(jù)架構工程師崗位職責（通用8篇）
大數(shù)據(jù)架構工程師崗位職責 篇1
職位描述：
1.負責大數(shù)據(jù)平臺的架構設計、環(huán)境和框架的搭建以及部分核心編碼工作；
2.參與業(yè)務需求調研，根據(jù)需求及行業(yè)特點設計大數(shù)據(jù)解決方案并跟進具體實施項目；
3.規(guī)劃公司級數(shù)據(jù)平臺，架構實時流與離線數(shù)據(jù)計算平臺；
4.對業(yè)務需求進行分析建模并持續(xù)進行優(yōu)化，包括但不限于推薦、排序、用戶畫像等。
任職要求：
1.本科及以上學歷，5年以上大數(shù)據(jù)開發(fā)經驗；
2.深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及應用；
3.深刻理解大數(shù)據(jù)處理實時流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲等相關技術和實現(xiàn)方法，有架構和設計實踐經驗；
4.精通scala/java語言的一種或多種；
5.有數(shù)據(jù)倉庫、大數(shù)據(jù)平臺及數(shù)據(jù)挖掘架構設計經驗
大數(shù)據(jù)架構工程師崗位職責 篇2
職位描述：
1、打造業(yè)界領先的存儲、計算、調度、監(jiān)控等基礎設施；
2、參與存儲、計算、devinfra、監(jiān)控當中的一個或多個方向。
任職要求：
1、掌握分布式系統(tǒng)原理，對存儲、計算、調度、監(jiān)控、消息隊列、集群管理中的一項或多項有深入的理解和認識；
2、樂于挑戰(zhàn)沒有明顯答案的問題，能快速理解業(yè)務場景，從具體問題中抽象出通用的解決方案；
3、存儲方向：對hdfs，rocksdb，ceph，hbase，kafka的一項或多項有經驗者優(yōu)先；
4、計算方向：對yarn，spark，flink，hive的一項或多項有經驗者優(yōu)先；
5、devinfra方向：對docker，mesos，kubernetes的一項或多項有經驗者優(yōu)先；
6、監(jiān)控方向：對opentsdb，influxdb，prometheus，falcon的一項或多項有經驗者優(yōu)先。
大數(shù)據(jù)架構工程師崗位職責 篇3
職位描述：
1、參與計算框架和服務的定制和改進，為公司批處理和流式計算能力提供支撐；
2、深入理解業(yè)務場景，解決性能瓶頸，實現(xiàn)業(yè)務目標；
3、計算、存儲和網絡方面基礎技術的探索和儲備。
任職要求：
1、精通各種性能分析和調試工具，高效進行分析；
2、熟練的c/c++/java開發(fā)能力，代碼質量高；
3、熟悉網絡、linux、hadoop等系統(tǒng)，能夠靈活解決新問題；
4、較好的團隊協(xié)作和溝通能力。
大數(shù)據(jù)架構工程師崗位職責 篇4
工作職責：
1、打造業(yè)界領先的存儲、計算等分布式系統(tǒng)；
2、為海量數(shù)據(jù)和大規(guī)模業(yè)務系統(tǒng)提供可靠的基礎設施。
任職要求：
1、掌握分布式系統(tǒng)原理，對存儲、計算、消息隊列、集群管理中的一項或多項有深入的理解和認識；
2、樂于挑戰(zhàn)沒有明顯答案的.問題，能快速理解業(yè)務場景，從具體問題中抽象出通用的解決方案；
3、存儲方向：對hdfs，rocksdb，leveldb，memcache，redis，mysql，hbase，kafka的一項或多項有經驗者優(yōu)先；
4、計算方向：對spark，mapreduce，storm，hive，presto，impala的一項或多項有經驗者優(yōu)先；
5、集群管理方向：對yarn，mesos的一項或多項有經驗者優(yōu)先；
6、向開源社區(qū)貢獻過patch者優(yōu)先，請在簡歷上說明。
大數(shù)據(jù)架構工程師崗位職責 篇5
崗位職責：
1、參與公司數(shù)據(jù)開發(fā)平臺、bi產品等大數(shù)據(jù)產品的設計和開發(fā)；
2、負責數(shù)據(jù)開發(fā)平臺、bi產品等大數(shù)據(jù)產品的部署和維護，保證其穩(wěn)定和可靠；
3、關注和參與大數(shù)據(jù)方向開源產品的技術動態(tài)與演進，推動產品與技術架構持續(xù)更新；
任職要求：
1、計算機相關專業(yè)，本科及以上學歷，5年以上軟件開發(fā)經驗，3年以上互聯(lián)網產品或分布式系統(tǒng)開發(fā)設計經驗；
2、精通java，python，scala等一種或幾種編程語言，并熟悉linux操作系統(tǒng)及bash shell編程；
3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用經驗，并熟悉上述常用的分布式系統(tǒng)架構設計和原理；
4、熟悉微服務框架及相關技術，如dubbo，springcloud等；
5、熟悉mysql、redis，并了解或接觸過其他數(shù)據(jù)庫如oracle，sqlserver，postgresql，mongodb等；
6、了解容器技術，如docker，kubernetes；
7、具有一定的軟件設計能力，熱愛大數(shù)據(jù)和技術，相信技術改變世界，學習能力強，認同數(shù)據(jù)價值，有面向業(yè)務的思維，較強的自主學習能力和英文技術文檔閱讀能力；
8、良好的溝通能力、團隊精神及服務意識，勇于接受挑戰(zhàn)，能承受較大的工作壓力；
9、有生產環(huán)境快速trouble—shooting的經驗和能力者優(yōu)先；
10、有olap，多維度數(shù)據(jù)分析經驗優(yōu)先，有對數(shù)據(jù)倉庫有較強的理論基礎和理解者優(yōu)先；
大數(shù)據(jù)架構工程師崗位職責 篇6
崗位職責：
1、基于公司大數(shù)據(jù)產品進行數(shù)據(jù)開發(fā)，包括數(shù)據(jù)的采集，清洗，預處理，存儲，建模，分析挖掘等
2、根據(jù)業(yè)務用戶需要分析數(shù)據(jù)，提供數(shù)據(jù)支持
3、參與公司大數(shù)據(jù)產品的運維和監(jiān)控，保障數(shù)據(jù)質量和服務穩(wěn)定性
任職要求：
1、具備本科以上學歷，計算機，軟件以及相關專業(yè)，5年以上大數(shù)據(jù)開發(fā)經驗
2、熟悉數(shù)據(jù)倉庫維度建模，并能根據(jù)客戶需求進行數(shù)據(jù)開發(fā)，向模型更新數(shù)據(jù)
3、使用過至少一種以上的etl工具
4、熟練掌握java，對hadoop相關的技術和組件（hdfs，mr，hbase，hive，spark，storm，kafka等）有全面深入了解
5、熟練掌握shell或者python中的一種
6、具備spark開發(fā)經驗者優(yōu)先
7、具備實時計算（kafka+storm/spark streaming）經驗者優(yōu)先
8、具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經驗者優(yōu)先
大數(shù)據(jù)架構工程師崗位職責 篇7
崗位職責：
1、負責全公司的數(shù)據(jù)平臺數(shù)據(jù)可視化研發(fā)工作
2、獨立完成數(shù)據(jù)可視化研發(fā)工作
任職要求：
1、計算機、電子通信、數(shù)學、統(tǒng)計或者相關專業(yè)本科及以上學歷
2、熟練掌握java/python中的一種語言
3、熟悉數(shù)據(jù)可視化開發(fā)，熟悉echarts應用開發(fā)的優(yōu)先
4、熟悉web開發(fā)，熟悉html，js，css
5、熟悉quick bi的優(yōu)先
6、具備良好的團隊合作精神，工作有激情
7、對數(shù)據(jù)敏感，有產品思維的優(yōu)先
大數(shù)據(jù)架構工程師崗位職責 篇8
崗位職責：
1、參與大數(shù)據(jù)開放平臺基礎能力建設，承擔系統(tǒng)架構、組件開發(fā)、方案驗證等工作；
2、參與構建大數(shù)據(jù)系列產品，包括但不限于用戶畫像、用戶增長與用戶經營、數(shù)據(jù)分析挖掘、實時計算、數(shù)據(jù)分發(fā)、機器學習平臺、風控反欺詐等產品線；
任職要求：
1、統(tǒng)招本科或以上學歷，5年以上大數(shù)據(jù)開發(fā)工作經驗；
2、扎實的java基礎，能熟練使用java進行軟件功能開發(fā)；
3、熟練掌握基于hadoop生態(tài)的大數(shù)據(jù)開發(fā)工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有實時系統(tǒng)開發(fā)經驗優(yōu)先；
4、熟悉常用的數(shù)據(jù)挖掘算法，例如聚類、回歸、決策樹等，有過nlp項目經驗優(yōu)先；
5、有過互聯(lián)網公司數(shù)據(jù)倉庫、分析系統(tǒng)、用戶畫像、廣告平臺等產品開發(fā)經驗者優(yōu)先；
6、工作積極主動，善于合作，敏而好學；