开启辅助访问
  • 手机版

    扫码体验手机版

  • 微信公众号

    扫码关注公众号

积分商城免费兑好礼！
搜索
国内首家协议开发

软芯音视解码保护平台

发布需求

在线
客服

发布
需求

在线
聊天

天盟
APP

天盟APP下载

关注
微信

微信扫一扫访问
顶部
返回列表 发新帖

[系统开发] 分布式爬虫系统开发

tm176***发布 | 已通过手机认证
任务编号：596623 悬赏任务21000元 悬赏任务 : 按雇主需求进行任务后提交稿件，被采纳后即获得佣金。

分布式爬虫系统开发

距截止： 任务已圆满完成 雇主已托管赏金：21000 元
雇主发布需求 雇主托管佣金 服务商投稿 雇主开始选稿 任务完成

任务大厅共需1个合格投稿 | 每稿将获得21000 元 | 每人交稿次数不限 可多次任务

投诉举报 联系Ta 我来承接 已有1 个投稿 | 已采纳1 稿 | 拒绝0 稿 | 目前中标名额已满

任务需求:
分布式爬虫系统开发，针对数万网址（新闻、论坛、微博、信某等）进行文章、评论内容爬取，并解析标题、内容、时间等字段，能够支持日采集百万数据量入库（不需要开发数据展示界面）。提供采集相关的管理配置界面，交付源码和文档，要求开发过类似项目经验的团队或个人。
建议java或python开发，采用webmagic、Scrapy成熟爬虫框架，个人编写的私有爬虫不考虑，没有大型爬虫项目经验的请勿投标，能够提供演示系统的尤佳。
环境搭建、规则维护、数据维护由我们负责。

使用道具 举报

全部参与1

didi***
已采纳

使用道具 举报

发新帖
tm176***

普通会员

今日需求悬赏
热门服务商品
热门服务商家

发布任务需求已有1031289位用户正在使用天盟网服务

发布分类： *
任务预算： *
元
需求内容： *
手机号码： *
任务商家报价为元
  • 预算价 :元
  • 成交价 :元
  • 完工期 :天
  • 质保期 :天

* 最终任务项目以服务商报价、双方协商为准！

中国领先的IT技术需求服务平台

国内创新型软件需求众包接单网

  • 微信公众号

  • 手机客户端

手机版|关于我们|广告合作|联系我们|隐私条款|天盟人才|天盟传媒|举报中心| 天盟网 |网站地图

Copyright TM.Corp © 2018-2024 Tianmg Inc.京ICP备16037484号 GMT+8, 2024-11-25 07:14 , Processed in 0.116118 second(s), 45 queries .