代码照着老师的敲但只爬取一个url就报跳出循环,craw failed
免责声明:本内容仅代表回答会员见解不代表天盟观点,请谨慎对待。
版权声明:作者保留权利,不代表天盟立场。
|
|
|
|
添加解析出来的多个新的urls时函数调用时名字写错了,应该是:
self.urls.add_new_urls(new_urls)而你写成了:
self.urls.add_new_url(new_urls)少了一个s,所以新的urls添加不进去,后续就没有url可以爬了。你试试看,是不是这个问题,我没有运行过。 |
|
|
|
|
打印出这样的错误信息 |
|
|
|
|