火车头采集的一点心得

  • 2017-12-27
  • 501
  • 0

前天晚上接了个单子,帮写一个网站的火车头采集规则,当时其实自己并不知道怎么去写,只是稀里糊涂的就接了下来。由于采集的目标占本身也是一个聚合的网站,有多级分页,也就是在这里给卡住了,测试了好多种方法都不行(其实是我自己还不会怎么去处理多级分页的问题)我也知道是要写分页,但是就是不知道写在哪,该怎么写。
实在是弄不出来后准备在淘宝上面找人写了赚点差价算了,结果在淘宝上面找了好几个人都不会写,找的这几人都是在淘宝上面卖火车头规则销量前几名的。正当准备放弃的时候希望来了,群里一大神给了个一个他以前自己写的相关的规则给我参考。看了下后恍然大悟,原来这样的方法我自己也试过,只是没有标记出采集的范围。
下面给出一些思路,遇到这样的问题可以按照这样的思路琢磨琢磨:选择分页规则,然后在指定提取分页的规则,和采集网址规则大致差不多。然后在写有需要分页采集规则的时候勾选分页匹配就行了。

评论

还没有任何评论,你来说两句吧