本文共 868 字,大约阅读时间需要 2 分钟。
新建一个js文件
引入相关的插件superagent、cheerio、superagent-charset。通过cheerio可以使用jq获取dom的方法来处理请求到的爬虫数据const koaRequest = require('koa2-request') //koa封装的请求第三方接口的方法const cheerio = require('cheerio') //爬虫工具(类似jq操作)const request = require('superagent')require('superagent-charset')(request)let arr = [] let data = await request.get('https://news.baidu.com/') .charset('utf-8') let $ = await cheerio.load(data.text,{ decodeEntities: false }) await $(".hotnews ul li").each((index, element) => { var $text = $(element).text(); arr.push($text); }); console.log(arr) ctx.body = { msg: arr }
入口文件
const koaRequest = require('./middleware/HTTP-koa2-request') //koa封装的请求第三方接口的方法app.use(koaRequest()) //koa2-request中间件请求
将项目nodemon跑起来后在浏览器访问127.0.0.1:3030(我监听的是30端口)得到结果
转载地址:http://jalhn.baihongyu.com/