1、负责各大视频网站的数据抓取；
2、负责搭建分布式爬虫系统，持续优化；
3、负责对数据进行清洗、过滤、规则引擎。

1、3年以上开发经验；
2、熟悉python 开发语言；
3、熟悉node.js、coffee开发语言优先；
4、熟悉mysql、redis数据库；
5、熟悉rabbitMQ等消息服务优先。