网络爬虫研发工程师工作职责
岗位职责:
1.负责移动客户端数据采集、识别与正确解析。
2.负责移动端爬虫架构设计(包括基础资源,如移动设备群集技术、代理池技术、反反爬技术、移动设备群控技术等等)与核心技术研发。
3.负责移动端数据的特征挖掘,主要对移动设备数据请求协议、移动端交互数据、资源变化趋势等进行数据抓取、分析和特征建模。
4.设计策略和算法,提升数据抓取的效率和质量,进一步解决系统的网页排重、垃圾控制、资源划分等问题。
5.分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。
任职要求:
1.精通Java/C++/Python语言编程,熟悉linux平台开发与部署。
2.熟悉HTTP、XML、JSON、SOAP、tcp/ip、网络代理等网络协议。
3.熟悉APK反编译、IDA、AndroidStudio等常用客户端逆向分析工具,熟悉客户端动态调试技术。
4.熟悉常见的移动端反爬机制及对应的应对措施,如ua、cookie识别。
5.精通队列通信、分布式、多线程开发技术。
6.有较强的数据分析与建模能力。
7.有开源网页爬虫开发经验者优先。
招聘网络爬虫研发工程师的工资一般是多少
广州化妆品研发助理 ¥4880元
南昌研发助理 ¥5140元
研发 ¥10950元
徐州制剂研发 ¥8330元
电子技术研发工程师 ¥9000元
厦门研发实验员 ¥6300元
爬虫工程师 ¥15590元
泉州研发管培生 ¥6690元
厦门研发管培生 ¥5800元
北京研发设计高级经理 ¥25000元