目前在做美团网站,商家列表信息的抓取。
看了教程(列表翻页采集),
美团的翻页是class,一直获取不到,一直抓取同一页的数据信息。

有没有大神,知道怎么如何获取下一页?

共 8 个关于本帖的回复 最后回复于 昨天?12:08

沙发
qq313178577 新手上路 发表于 前天?18:41 | 只看该作者

板凳
maomao 金牌会员 发表于 前天?18:56 | 只看该作者
这里有个类似帖子,你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html
地板
qq313178577 新手上路 发表于 前天?19:03 | 只看该作者
maomao 发表于 2019-9-9 18:56
这里有个类似帖子,你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html

这个帖子,我看了。 也修改了UserAgent。 还是不行,55555~
5#
Fuller 管理员 发表于 前天?22:01 | 只看该作者
qq313178577 发表于 2019-9-9 19:03
这个帖子,我看了。 也修改了UserAgent。 还是不行,55555~

我加载了你的规则“Key-孟州美团列表”,但是没有看到你定义的翻页规则。你把规则存一下,然后告诉我任务名,我可以加载分析你的规则
6#
qq313178577 新手上路 发表于 昨天?10:07 | 只看该作者
Fuller 发表于 2019-9-9 22:01
我加载了你的规则“Key-孟州美团列表”,但是没有看到你定义的翻页规则。你把规则存一下,然后告诉我任务 ...

您好,我昨天晚上您看之前,我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

任务名称:Key-孟州美团列表
7#
Fuller 管理员 发表于 昨天?11:15 | 只看该作者
qq313178577 发表于 2019-9-10 10:07
您好,我昨天晚上您看之前,我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

我发现这个网页在集搜客浏览器里面即使手工点击,也不能翻页,我估计是集搜客浏览器不直至这个网站
8#
Fuller 管理员 发表于 昨天?11:19 | 只看该作者
美团这个网站对useragent是很敏感的,也许应该换一下useragent试试。有些useragent永远验证不通过
9#
qq313178577 新手上路 发表于 昨天?12:08 | 只看该作者
Fuller 发表于 2019-9-10 11:19
美团这个网站对useragent是很敏感的,也许应该换一下useragent试试。有些useragent永远验证不通过 ...

我再试试,谢谢
您需要登录后才可以回帖 登录 | 立即注册

GMT+8, 2019-9-11 11:46