关于单个的页面抓取过度的判断？

已解决

悬赏分：40 - 解决时间 2022-03-17 04:35

怎么判断一个网站的哪个页面抓取过度？朋友说抓取过度可以从日记和sell中判断，sell是什么？

点赞 0反对 0举报 0 收藏 0 打赏 0

最佳答案

支持 0 反对 0 举报 2022-03-16 12:16

怎么判断一...

支持 0 反对 0 举报 2022-03-16 12:33

shell指令：

$ cat |awk '{print $8}'|sort|uniq -c|sort -nr

选取$8（访问URL）降序排列并输出统计结果
是你的日志名称
参考：

支持 0 反对 0 举报 2022-03-16 13:14

是shell
在网站日志看页面重复抓取次数