网站首页  汉语字词  英语词汇  考试资料  写作素材  旧版资料

请输入您要查询的考试资料:

 

标题 php实现递归抓取网页类实例
内容
    具体如下:
    <?php
    class crawler{
    private $_depth=5;
    private $_urls=array();
    function extract_links($url)
    {
    if(!$this->_started){
    $this->_started=1;
    $curr_depth=0;
    }else{
    $curr_depth++;
    }
    if($curr_depth<$this->_depth)
    {
    $data=file_get_contents($url);
    if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12))
    {
    foreach($urls12[0] as $k=>$v){
    $check=get_headers($v,1);
    if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
    $this->_urls[]=$v;
    $this->extract_links($v);
    }
    }
    }
    }
    return $this->_urls;
    }
    }
    ?>
随便看

 

在线学习网考试资料包含高考、自考、专升本考试、人事考试、公务员考试、大学生村官考试、特岗教师招聘考试、事业单位招聘考试、企业人才招聘、银行招聘、教师招聘、农村信用社招聘、各类资格证书考试等各类考试资料。

 

Copyright © 2002-2024 cuapp.net All Rights Reserved
更新时间:2025/5/18 11:53:42