博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
node爬虫(牛刀小试)
阅读量:3891 次
发布时间:2019-05-23

本文共 868 字,大约阅读时间需要 2 分钟。

新建一个js文件

引入相关的插件superagent、cheerio、superagent-charset。通过cheerio可以使用jq获取dom的方法来处理请求到的爬虫数据

const koaRequest = require('koa2-request')               //koa封装的请求第三方接口的方法const cheerio    = require('cheerio')                    //爬虫工具(类似jq操作)const request    = require('superagent')require('superagent-charset')(request)let arr = []      let data = await request.get('https://news.baidu.com/')        .charset('utf-8')      let $ = await cheerio.load(data.text,{          decodeEntities: false      })      await $(".hotnews ul li").each((index, element) => {          var $text = $(element).text();          arr.push($text);      });      console.log(arr)      ctx.body = {          msg: arr      }

入口文件

const koaRequest = require('./middleware/HTTP-koa2-request') //koa封装的请求第三方接口的方法app.use(koaRequest()) //koa2-request中间件请求

将项目nodemon跑起来后在浏览器访问127.0.0.1:3030(我监听的是30端口)得到结果

转载地址:http://jalhn.baihongyu.com/

你可能感兴趣的文章
[已解决]AutoCompleteTextView 不显示匹配的内容,因为将空的内容添加进去了
查看>>
object c 归档和解档,其实就是java中的序列化和反序列化
查看>>
object c的浅拷贝(地址拷贝)和深拷贝(对象拷贝)
查看>>
object c son字符串的解析
查看>>
object c 非常强大的类的属性复制kcv键值码赋值
查看>>
Java中普通代码块,构造代码块,静态代码块区别及代码示例
查看>>
iOS 第4课 UILabel
查看>>
[已解决]junit.framework.AssertionFailedError: No tests found in
查看>>
“服务器端跳转”和“客户端跳转”的区别
查看>>
Datatables基本初始化——jQuery表格插件
查看>>
Servlet监听器——实现在线登录人数统计小例子
查看>>
Oracle笔记——简单查询语句 Oracle入门
查看>>
基于Hibernate和Struts2的用户管理系统小案例
查看>>
打开.class文件的方法
查看>>
基于windows平台Git+GitHub+Hexo搭建个人博客(一)
查看>>
基于windows平台Git+GitHub+Hexo搭建个人博客(二)
查看>>
Windows平台下SVN安装配置及使用
查看>>
python简便的编辑工具:jupyter notebook
查看>>
使用pip安装的时候出现 ModuleNotFoundError: No module named ‘pip‘
查看>>
Selenium自动化测试(八)之上传文件
查看>>