泉州市 经验:不限 学历:大专
职位描述： 1、负责公司的爬虫核心技术研究以及爬虫策略优化； 2、根据业务需求，实现大规模文本、图片、视频数据抓取、清洗、存储等工作； 3、对数据质量负责，提供数据分析报告，优化数据应用架构，支持产品研发。 4、负责制定相关的反爬虫安全策略。 岗位要求： 1、计算机、数学或统计等相关专业大专及以上学历，2年以上数据相关工作经 验； 2、熟悉基于正则表达式、CSS、http协议、ml等的网页信息抽取技术； 3、熟练掌握java或python编程语言，熟悉多线程编程，熟悉scrapy、pyspider、 webmagic、nutch等其中一个或多个爬虫框架以及原理； 4、熟悉多线程编程、分布式计算，有分布式系统使用经验。 5、具备良好的编程习惯和算法基础，具有钻研精神； 6、对数据驱动业务有深入理解，对数据与业务方面有足够的敏感性，独立思考 能力和逻辑分析能力强。