岗位职责：

1.负责大数据平台的搭建开发维护，以及分布式系统性能优化，保障数据平台服务的稳定性和可用性；

2.负责数据采集平台的搭建开发维护，通过对数据的抓取、解析、调度、存储等模块的拆分与优化，构建、完善和维护统一的抓取服务平台；

3.结合对数据的理解和业务需求，对数据进行整理、分析和挖掘。

岗位要求：

1、本科以上学历，5年开发经验，3年或以上Python爬虫和数据分析相关开发经验；

2、精通Django、Flask等web开发框架；

3、熟练使用Oracle 、 MS SQL 、Mysql、pgsql 数据库；

4、熟练使用Linux，Docker、git、k8等；

5、有Hadoop、Hbase、Spark项目经验者;

6、好的编程习惯，结构清晰、命名规范、代码冗余率低，可维护性高；

7、有热情，酷爱技术，良好的团队合作精神。