崗位要求:
1、理解數(shù)據(jù)的產(chǎn)品應(yīng)用場(chǎng)景邏輯,通過(guò)統(tǒng)計(jì)方法和通用分布式框架工具語(yǔ)言如hadoop,不斷加強(qiáng)數(shù)據(jù)服務(wù)質(zhì)量;
2、負(fù)責(zé)數(shù)據(jù)清洗、轉(zhuǎn)換、建模等工作,對(duì)海量用戶行為數(shù)據(jù)通過(guò)hadoop/spark等進(jìn)行離線和實(shí)時(shí)處理;
3、參與數(shù)據(jù)、工具平臺(tái)相關(guān)的功能接口、數(shù)據(jù)接口開(kāi)發(fā),完成業(yè)務(wù)功能;
任職要求:
1、精通java或scala語(yǔ)言,具有面向?qū)ο缶幊趟枷耄瑢?duì)底層實(shí)現(xiàn)有一定研究;
2、精通spark sql、spark streaming等編程,具有實(shí)際大型分布式集群項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn);
3、熟悉Linux操作系統(tǒng),熟悉Linux shell編程;
4、熟悉mysql,redis等常用數(shù)據(jù)庫(kù),jetty等中間件;
5、熟悉分布式存儲(chǔ)或NoSQL數(shù)據(jù)庫(kù)技術(shù),如hbase等;
6、熟悉Hadoop生態(tài)環(huán)境,精通以下一種或多種大數(shù)據(jù)技術(shù),如flume、Kafka、Hdfs、MR、elastic search;
7、熟悉常用的數(shù)據(jù)挖掘算法優(yōu)先。
職位類別:
機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工程師
舉報(bào)