node可以写爬虫吗（干货满满）nodejs写爬虫，Nodejs 网络爬虫，免费源码交易平台，

1.node.js写爬虫

Nodejs 网络爬虫 使用 nodejs 爬取某汽车论坛信息前 言网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，通俗的讲就是通过程序去获取 web 页面上自己想要的数据有了解的同学可能知道，世界上很大一部分的爬虫程序都是利用 。

2.nodejs做爬虫

python 进行开发的，但在这里，我将分享另一种途径的实现方式使用 Nodejs 实现网络爬虫Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境，它可以运行在不同的环境上

3.node做爬虫

背 景某公司的市场营销人员需要从某汽车论坛网站上获取特定帖子的内容，如帖子标题、帖子内容、帖子图片数、帖子点击量和帖子评论数，他们有一份整理好的 Excel 表，需要依次填写相关的内容因为 Excel 较大，需要打开很多的帖子去计算信息，工作强度大且无比枯燥，所以计划使用技术的方式去完成这一工作。

4.为什么不用node写爬虫

出于保护目标站点以及避免目标站点服务器遭受过多请求的考虑，本文不便透露具体网址分 析营销人员提供 Excel 数据源，通过程序解析 Excel 内容，获取到目标帖子网址，程序发起 Http 请求，爬取到帖子标题、帖子内容、帖子图片数、帖子点击量和帖子评论数等信息，最后把这些信息更新回 Excel 中

5.node爬虫和python爬虫

输入：带 URL 的 Excel (https://xxx.xxx/bbs/thread/32ad96e6395861f2/82365525-1.html) 输出：带帖子标题、帖子内容、帖子图片数、帖子点击量和帖子评论数的 Excel

6.node爬数据

通过分析网络请求 NetWork 发现，发起一个帖子 url 的 get 请求，响应内容为 html，里面包含着帖子的大部分信息,可以得知该论坛的帖子内容是服务端直接返回的，不是前端动态生成的。

7.Nodejs爬虫

通过在新标签页打开链接发现内容正常可见，这说明不需要登录就可以查看接着去看响应发现点击和评论为0，下面是响应片段

8.Node爬虫

>点击：0 | 回复：0那么很明显,这两个信息是会被 js 以 dom 操作的形式修改，认真审查 Network，发现，有一个比较奇怪的请求

9.nodejs爬虫教程

https://xxx.xxx.com.cn/Detail/LoadX_Mini?callback=jsonpCallback&topicId=82365525&UID=-1&roleId=-1&bbs=c&bbsid=3362&pageIndex=1&isOwner=false&memberIds=82797775%2C4902887%2C8875877%2C11044096%2C7903777%2C70299610%2C80361417%2C28978585%2C5293222%2C999595&recom=9&_=1569310928990

10.nodejs爬虫优势

是一个 jsonp 的请求,该请求里的响应包含着点击数和回复数，响应片段如下{“isUpTopic”:false,”topicClicks”:{“TopicId”:82365525,”Replys”:183

,”Views”:106814,”memberid”:82797775},”favoriteNum”:0,”floorAD”:[{“articleTitle”:””,”type”:10,”adurl”:

“”},{“articleTitle”:””,”type”:10,”adurl”:””}],”uniquePageId”:”GuSpHzTegYFJ7Y9Us92mZVuOy9DAQIMy+IezoJqnE28=”

,”ptci”:””,”gzgg”:”{}”,”onTopReply”:0,”masterClubType”:””,”recom”:””,”replyState”:[],”noSpeakStatus”:

{“ClubUserNoSpeak”:[]},”masterOpBbs”:false}我们关心的信息是 “Replys”: 183, “Views”: 106814分析此 jsonp 请求，我们发现可以使用下面的 url 代替，结果是一样的

https://xxx.xxx.com.cn/Detail/LoadX_Mini?topicId=82365525这里面需要一个 topicId 查询字符串，从技术角度出发，我们猜它是前面帖子的 id，果然在

https://xxx.xxx/bbs/thread/32ad96e6395861f2/82365525-1.html 上找到了我们要的信息技术栈| 技术 | 备注 | | :——-: | :———-: | | nodejs | 爬虫底层实现 | | cheerio | html 解析 | | xlsx | xlsx 解析 | | bootstrap | 内容展示 |

流 程 监听 8080 端口，启动 http 服务 开放 /api/upload 路由，接收用户上传 excel 接收用户上传文件，解析 excel 构建目标帖子数据源 循环发起 http get 请求（第一个）

解析响应，取出标题和帖子内容以及图片个数 截取 url 中的帖子 id，发起 http post 请求（第二个） 解析响应，取到点击量和评论数合并两个请求数据，构建数据，录入数据库睡眠 0.5 秒，发起下一个请求

全部帖子爬取完成，退出任务实 现启动 http 服务consthttp=require(http);http.createServer((req,res)=>{// TODO 处理文件上传 // callback(req, res);

}).listen(8080);接收 Excel 上传constfs=require(fs);constmultiparty=require(multiparty);constform=newmultiparty

.Form();form.uploadDir=./;// 文件保存路径 form.parse(req,(err,fields,files)=>{constfilePath=files.file[0].path

;// TODO 解析Excel fs.unlinkSync(filePath);// 删除文件 // TODO 执行爬取任务 });解析 ExcelconstXLSX=require(xlsx);// 读取临时文件内容

constbuf=fs.readFileSync(filePath);varwb=XLSX.read(buf,{type:buffer});// 解析成工作簿 constrows=XLSX.utils.

sheet_to_json(wb.Sheets[wb.SheetNames[0]]);// 把工作簿转成json数组 constlist=[];rows.forEach(row=>{if(!isNaN(

Number.parseInt(row[Object.keys(row)[0]],10))){// 构建数据源 list.push({id:Number.parseInt(row[Object.keys

(row)[0]]||0,10),// 序号 url:row[Object.keys(row)[2]],// 链接 old_title:row[Object.keys(row)[1]],// 原标题 });

}});在这个方法内，完成了读取 Excel 内容，并取出帖子 url，存放到 list 数组中，为后面的爬取任务做准备爬取基础信息循环执行，取出 list 中的 urlconstrequest=require

(request);constIconv=require(iconv-lite);constcheerio=require(cheerio);// obj in list constoptions={method

:get,encoding:null,url:obj.url,};// 发起请求 request(options,(err,res,body)=>{const$=cheerio.load(Iconv.decode

(body,gb2312).toString());// 解析html（包括编码） consttitleTxt=$(#maxwrap-maintopic div.rconten).find(.maxtitle

).text();// 获取标题 constdesc=$(#maxwrap-maintopic div.rconten .conttxt).text().replace(/\s/g,);// 获取详情

constimgs=$(#maxwrap-maintopic div.rconten).find(img).length;// 获取图片数 // 获取帖子id constr1=obj.url.split

(.html)[0].split(/);constr2=(r1[r1.length-1]||).split(-);r2.pop();// TODO 获取评论数点击数 // getViews(r2[r2.length – 1], obj, callback);

});爬取 jsonp 信息constoptions={method:get,encoding:null,url:`https://xxx.xxx.com.cn/Detail/LoadX_Mini?topicId=

${key}`,};request(options,(err,res,body)=>{constreplys=result.topicClicks.Replys;// 评论数 constviews=result

.topicClicks.Views;// 点击量 });效 果

反爬虫有爬虫自然就有反爬虫，比如该论坛站点有 1 分钟内最大请求限制，超出这个限制了会强制触发验证码，只有人机交互通过了，才正常响应内容原本是没有这个限制的，估计是某段时间请求量井喷，运维检查后才添加的

解决方法有很多，如伪装请求，但最有效的方法还是使用代理 IP，在触发反爬虫机制前及时切换 IP 去请求，避免被封 IP然而，后面发现 PC 端的确是做了爬虫限制，可是移动端却没有添加类似的功能，估计是运维的疏忽。

法律风险9 月 6 日下午，多位业内人士称，杭州知名大数据服务公司杭州魔蝎数据科技有限公司，疑似被相关执法人员控制，其中一位周姓核心高管人员被警方带走近日技术圈传播的一则新闻，又一家数据公司被调查，很多数据从业者、爬虫开发者发出了”感叹” —— 「爬虫用得好，XX 进得早；数据玩得溜，XX 吃个够」。

在 2017 年的一篇文章 爬虫凶猛：爬支付宝、爬微信、窃取现金贷放贷数据 中，指出魔蝎科技存在开发使用恶意爬虫的行为，至于为什么会被查，相信执法部门会给出一个合理的解释那么在做爬虫的我们是否有点瑟瑟发抖呢，有没有想过怎样才能做一个不触碰红线的爬虫开发者。

如何界定爬虫的合法性，目前没有明文规定，但大量文章、事件、分享和司法案例表名，有三个关键点：采集途径、采集行为、使用目的数据的采集途径通过什么途径爬取数据，这个是最需要重视的一点总体来说，未公开、未经许可、且带有敏感信息的数据。

，不管是通过什么渠道获得，都是一种不合法的行为所以在采集这类比较敏感的数据时，最好先查询下相关法律法规，特别是用户个人信息、其他商业平台的信息 等这类信息，寻找一条合适的途径个人数据采集和分析个人信息数据，应该是当下所有互联网都会做的一件事，但是大部分个人数据都是非公开的，想获得必须通过合法途径，可参见『网络安全法』第四十一条：。

网络运营者收集、使用个人信息，应当遵循合法、正当、必要的原则，公开收集、使用规则，明示收集、使用信息的目的、方式和范围，并经被收集者同意…也就是必须在提前告知收集的方式、范围、目的，并经过用户授权或同意后，才能采集使用，也就是我们常见的各种网站与 App 的用户协议中关于信息收集的部分。

公开数据从合法公开渠道，并且不明显违背个人信息主体意愿，都没有什么问题但如果通过 破解、侵入 等”黑客”手段来获取数据，那也有相关法律等着你：刑法第二百八十五条第三款规定的”专门用于侵入、非法控制计算机信息系统的程序、工具”。

违反 Robots 协议虽然 Robots 协议没有法规强制遵守，但 Robots 协议作为行业约定，在遵循之下会给你带来合法支持因为 Robots 协议具有指导意义，如果注明 Disallow 就说明是平台明显要保护的页面数据，想爬取之前应该仔细考虑一下。

数据的采集行为使用技术手段应该懂得克制，一些容易对服务器和业务造成干扰甚至破坏的行为，应当充分衡量其承受能力，毕竟不是每家都是 BAT 级高并发压力做技术经常专注于优化，爬虫开发也是如此，想尽各种办法增加并发数、请求效率，但高并发带来的近乎 DDOS 的请求，如果对对方服务器造成压力，影响了对方正常业务，那就应该警惕了。

如果一旦导致严重后果，后果参见：《刑法》第二百八十六条还规定，违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，构成犯罪所以请爬取的时候，即使没有反爬限制，也不要肆无忌惮地开启高并发，掂量一下对方服务器的实力。

影响正常业务除了高并发请求，还有一些影响业务的情况，常见的比如抢单，会影响正常用户的体验数据的使用目的数据使用目的同样是一大关键，就算你通过合法途径采集的数据，如果对数据没有正确的使用，同样会存在不合法的行为。

超出约定的使用一种情况是公开收集的数据，但没有遵循之前告知的使用目的，比如用户协议上说只是分析用户行为，帮助提高产品体验，结果变成了出售用户画像数据还有一种情况，是有知识产权、著作权的作品，可能会允许你下载或引用，但明显标注了使用范围，比如不能转载、不能用于商业行为等，更不能去盗用，这些都是有法律明文保护，所以要注意使用。

出售个人信息关于出售个人信息，千万不要做，是法律特别指出禁止的，参见：根据《最高人民法院 最高人民检察院关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第五条规定，对”情节严重”的解释…不正当商业行为

如果将竞品公司的数据，作为自己公司的商业目的，这就可能存在构成不正当商业竞争，或者是违反知识产权保护这种情况在目前涉及爬虫的商业诉讼案中比较常见，之前比较知名的案件，”车来了” App 抓取其竞品 “酷米客” 的公交车数据，并展示在自己的产品上：。

虽然公交车作为公共交通工具，其实时运行路线、运行时间等信息仅系客观事实，但当此类信息经过人工收集、分析、编辑、整合并配合GPS精确定位，作为公交信息查询软件的后台数据后，此类信息便具有了实用性并能够为权利人带来现实或潜在、当下或将来的经济利益，已经具备无形财产的属性。

元光公司利用网络爬虫技术大量获取并且无偿使用谷米公司”酷米客”软件的实时公交信息数据的行为，实为一种”不劳而获”、”食人而肥”的行为，构成不正当竞争「爬虫法」即将出台2019年5月28日零点，国家互联网信息办公室发布了《数据安全管理办法》征求意见稿。