import requestsfrom lxml import htmlimport jsonetree = html.etreeclass BaoxiaoSpider: # url_list def __init__(self): self.url_temp = "http://www.2bmv.com/index_{}.html" self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"} # 获取url_list中的网址数据 def get_url_list(self): # 返回的是网址后面index{}的页数的循环，共50页 return [self.url_temp.format(i) for i in range(3)] # 发送请求，获取响应 def parse_url(self,url): response = requests.get(url, headers=self.headers) return response.content # 提取数据 def get_content_list(self,html_str): htmlDIV = etree.HTML(html_str) # 根据div分组 div_list = htmlDIV.xpath("//div[@class='post']") content_list = [] # 创建div的循环 for div in div_list: # 如果每一个div下只有一个数据的话（如：发布者头像head_portrait），加上循环；如果每个div下含有多个数据（如：text），不加循环 item = {} # 获取发布者的头像 # item["head_portrait"] = div.xpath("./p/img/@src")[0] if len(div.xpath("./p/img/@src"))>0 else None # 发布时间和浏览数 # item["time"] = div.xpath("./div/div/text()")[0] if len(div.xpath("./div/text()"))>0 else None # p标签下的文本 item["text"] = div.xpath(".//div[contains(@class,'pic_text')]/p/text()") # 获取图片 # item["img"] = div.xpath("./div/div/center/img/@src") content_list.append(item) return content_list # 保存数据 def save_content_list(self,content_list): for i in content_list: print(i) # 实现主要逻辑 def run(self): # 1. url_list url_list = self.get_url_list() # 2.遍历，发送请求，获取响应 for url in url_list: html_str = self.parse_url(url) # 3.提取数据 content_list = self.get_content_list(html_str) # 4.保存数据 self.save_content_list(content_list)if __name__ == '__main__': baoxiao = BaoxiaoSpider() baoxiao.run()
爬取的网站是：http://www.2bmv.com/index_1.html
使用Xpath Helper工具查询，同样的路径下内容很多，但是爬取出来的内容就非常少。
希望老师和各位大神可以解答一下疑惑。 |
天盟APP下载
