您好,欢迎来到汇智旅游网。
搜索
您的当前位置:首页八爪鱼爬取列表数据和详情页数据(国内网址)

八爪鱼爬取列表数据和详情页数据(国内网址)

来源:汇智旅游网

1.一般来说想爬取详情页的数据都会先把列表数据(带上详情页的链接)先爬爬出来再专门爬取详情页的数据。
2.爬取详列表数据步骤:
1.打开网页

注意:有时候会从指定的页开始采集,如果url有规则自然可以,如果没有规律的话那就需要在八爪鱼里面配置了
打开网页,数据文字(指定到多少页),点击元素(跳转到多少页),然后循环点击下一页采集数据,循环翻页的时候要计算不能超过1w条数据即可

3.爬取详情页的数据:
列表爬完后会得到详情页的url,那么这个时候就需要把url输入到循环的网址列表中,八爪鱼就会循环这和网址列表里面的网址来获取数据。

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- hzar.cn 版权所有 赣ICP备2024042791号-5

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务