分布式爬虫系统开发

tm176***

任务编号：5966239 悬赏任务21000元悬赏任务 : 按雇主需求进行任务后提交稿件，被采纳后即获得佣金。

分布式爬虫系统开发

距截止： 00天00时00分00秒雇主已托管赏金：21000 元

雇主发布需求 雇主托管佣金 服务商投稿 雇主开始选稿 任务完成

任务大厅共需1个合格投稿 | 每稿将获得21000 元 | 每人交稿次数不限可多次任务

投诉举报联系Ta 我来承接已有1 个投稿 | 已采纳0 稿 | 拒绝0 稿 | 目前中标名额已满

任务需求:

分布式爬虫系统开发，针对数万网址（新闻、论坛、微博、信某等）进行文章、评论内容爬取，并解析标题、内容、时间等字段，能够支持日采集百万数据量入库（不需要开发数据展示界面）。提供采集相关的管理配置界面，交付源码和文档，要求开发过类似项目经验的团队或个人。
建议java或python开发，采用webmagic、Scrapy成熟爬虫框架，个人编写的私有爬虫不考虑，没有大型爬虫项目经验的请勿投标，能够提供演示系统的尤佳。
环境搭建、规则维护、数据维护由我们负责。

didi***

未采纳

[系统开发] 分布式爬虫系统开发

分布式爬虫系统开发

全部参与1

普通会员

今日悬赏

最新商品

一机一码加密视频教程课件提取开发转换还原解码工具教程软件

软件开发工具程序定制协议分析算法代码提取协议工具开发

新手帮助

平台规则

关于天盟

一键快捷导航

微信公众号

手机客户端

[系统开发] 分布式爬虫系统开发

分布式爬虫系统开发

全部参与1

普通会员

今日悬赏

最新商品

一机一码加密视频教程课件提取开发转换还原解码工具教程软件

软件开发工具程序定制协议分析算法代码提取 协议工具开发

新手帮助

平台规则

关于天盟

一键快捷导航

微信公众号

手机客户端

软件开发工具程序定制协议分析算法代码提取协议工具开发