python怎么爬取除了入口url以外的网页内容?
python实现爬取除入口url以外的网页内容,首页米有我想爬取的内容 |
免责声明:本内容仅代表回答会员见解不代表天盟观点,请谨慎对待。
版权声明:作者保留权利,不代表天盟立场。
|
|
|
|
这个内容太大了。没有具体网页,只能跟你说下思路。
如果你想爬的网页能够通过首页url链入,那么直接先爬取首页,然后将首页的链接存入url管理函数,然后再从url管理函数里面调用你的目标url。
一般自己写爬虫建议以框架的方式写,比较清晰,最好写个url管理函数,方面url的管理和存储。 |
|
|
|
|