职位：爬虫工程师-百度

【岗位职责】
1）负责公司数据源抓取需求，满足公司对多源数据采集要求； 2）负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量（如调权调度、质量判断、封禁与反封禁研究等）；； 3）规划和建设网络信息抓取平台，确定技术框架和执行方案； 4）参与底层大数据有关的平台、工具建设。

【岗位要求】
1）本科及以上学历，计算机专业优先，爬虫经验2年以上； 2）3年以上java或python开发经验，精通java或python编程语言，熟练掌握数据库技术以及NoSQL存储技术； 3）有大型分布式抓取系统的开发、架构经验的优先； 4）熟悉linux开发环境； 5）对前端css、js有深入了解，掌握js逆向； 6）有扎实的数据结构和算法功底； 7）深刻理解scrapy等抓取框架的机制和实现，了解常见的爬取、反爬手段和解决策略； 8）有端上抓取经验优先，熟悉app破壳、反编译尤佳。

【社招待遇和要求】
工作城市：上海 | 职位类别：研发
薪酬：20K-30K  |  学历要求：本科及以上  |  工作年限：2-5年

投递地址：https://www.nowcoder.com/job/50648?jobIds=47987
我发布的其他职位，点击查看