解析第一个url就craw failed 了,请大神帮忙排查原因
def parse(self,pageUrl,htmlCont): if pageUrl is None or htmlCont is None: return soup = BeautifulSoup(htmlCont,'html_parser',from_encoding='utf-8') new_urls = self._get_new_urls(pageUrl,soup) new_data = self._get_new_data(pageUrl,soup) return new_urls, new_data这个方法里soup = BeautifulSoup(htmlCont,'html_parser',from_encoding='utf-8')这一句代码执行完, parse 方法 就直接返回了,导致new_urls ,new_data 都没有值,main模块中的
的try就出现异常,然后就退出了,是哪个环节出错导致的呀,求大神指点 |
免责声明:本内容仅代表回答会员见解不代表天盟观点,请谨慎对待。
版权声明:作者保留权利,不代表天盟立场。
|
|
|
|