工作职责
1、负责数据仓库和大数据处理模块的架构设计和开发；
2、负责基于Spark技术的海量数据的处理、分析、统计、挖掘工作；
3、基于Spark框架的数据仓库的设计，开发，维护；
4、根据需求使用SparkStreaming和Spark SQL进行数据处理、查询、统计等工作。
6、根据需求分析模型使用SparkMllib进行数据分析等工作。
任职资格
1、学历要求：博士研究生及以上学历。
2、熟悉Spark相关技术；
3、熟悉Scala语言，对Scala原理、底层技术有深入研究者优先；
4、熟悉SparkStreaming和Spark SQL、Spark Mllib
5、有优良的TroubleShooting能力；
6、在开源社群活跃并有积极贡献者优先。
