网站首页  汉语字词  英语词汇  考试资料  写作素材  旧版资料

请输入您要查询的考试资料：

　

标题 nodeJs爬虫获取数据简单实现代码
内容
    这篇文章主要为大家详细介绍了nodeJs爬虫获取数据简单实现代码，感兴趣的小伙伴们可以参考一下
    本文实例为大家分享了nodeJs爬虫获取数据代码，供大家参考，具体内容如下
    var http=require('http');
    var cheerio=require('cheerio');//页面获取到的数据模块
    var url='http://www.jcpeixun.com/lesson/1512/';
    function filterData(html){
      /*所要获取到的目标数组 
    var courseData=[{
        chapterTitle:"",
        videosData:{
          videoTitle:title,
          videoId:id,
          videoPrice:price
        }
      }] */
      var $=cheerio.load(html);
      var courseData=[];
      var chapters=$(".list-collapse");
      chapters.each(function(item){
        var chapterTitle=$(this).find(".collapse-head").find("label").text();
        var videos=$(this).find(".listview5").children("li");
        var chaptersData={
          chaptersTitle:chapterTitle,
          videosData:[]
        }
        videos.each(function(item){
          var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
          var videoId=$(this).find(".ml10").attr('data-lesson-id');
          var vadeoPrice=$(this).find(".colblue").text();
          chaptersData.videosData.push({
            title:videoTitle,
            id:videoId,
            price:vadeoPrice
          })
        })
        courseData.push(chaptersData) 
      })
      return courseData
    }
    function printCourseInfo(courseData){
      courseData.forEach(function(item){
        console.log(item.chaptersTitle+'\n');
        item.videosData.forEach(function(item){
          console.log(item.title+'【'+item.id+'】'+item.price+'\n')
        })
      })
    }
    http.get(url,function(res){
      html="";
      res.on("data",function(data){
        html+=data
      })
      res.on('end',function(){
        var courseData=filterData(html);
        printCourseInfo(courseData)
      })
    })
    以上就是nodeJs爬虫获取数据的相关代码，希望对大家的学习有所帮助。
随便看

　

在线学习网考试资料包含高考、自考、专升本考试、人事考试、公务员考试、大学生村官考试、特岗教师招聘考试、事业单位招聘考试、企业人才招聘、银行招聘、教师招聘、农村信用社招聘、各类资格证书考试等各类考试资料。

　

Copyright © 2002-2024 cuapp.net All Rights Reserved
更新时间：2025/5/18 6:52:19