php教程自学网 - 轻松零基础学php视频教程
条幅广告
当前位置: 主页 > PHP学堂 >

phpspider一款优秀的基于PHP开发蜘蛛爬虫

时间:2018-08-22 18:22来源:未知 作者:admin 点击:
PHP蜘蛛爬虫开发文档《我用爬虫一天时间偷了知乎一百万用户,只为证明PHP是世界上最好的语言》所使用的程序框架编写PHP网络爬虫,需要具备以下技能:爬虫采用PHP编写从网页中抽取数
PHP蜘蛛爬虫开发文档《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言》所使用的程序框架编写PHP网络爬虫,需要具备以下技能:爬虫采用PHP编写从网页中抽取数据需要用XPath当然我们还可以使用CSS选择器很多情况下都会用到正则表达式Chrome的开发者工具是神器,很多AJAX请求需要用它来分析注意:本框架只能在命令行下运行,命令行、命令行、命令行,重要的事情说三遍^_^
 
爬虫采用PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子:
 
  1. $configs = array(
  2.     'name' => '糗事百科',
  3.     'domains' => array(
  4.         'qiushibaike.com',
  5.         'www.qiushibaike.com'
  6.     ),
  7.     'scan_urls' => array(
  8.         'http://www.qiushibaike.com/'
  9.     ),
  10.     'content_url_regexes' => array(
  11.         "http://www.qiushibaike.com/article/\d+"
  12.     ),
  13.     'list_url_regexes' => array(
  14.         "http://www.qiushibaike.com/8hr/page/\d+\?s=\d+"
  15.     ),
  16.     'fields' => array(
  17.         array(
  18.             // 抽取内容页的文章内容
  19.             'name' => "article_content",
  20.             'selector' => "//*[@id='single-next-link']",
  21.             'required' => true
  22.         ),
  23.         array(
  24.             // 抽取内容页的文章作者
  25.             'name' => "article_author",
  26.             'selector' => "//div[contains(@class,'author')]//h2",
  27.             'required' => true
  28.         ),
  29.     ),
  30. );
  31. $spider = new phpspider($configs);
  32. $spider->start();

 
爬虫的整体框架就是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 然后通过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.
(责任编辑:admin)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
相关推荐
猜你喜欢