有思俱乐部
NodeJs-入门视频
6.Node.js爬虫系统
本课时介绍一下 NODEJS 爬宠系统课程概要。
爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 robots.txt 是一个文本文件，robots.txt 是一个协议，不是一个命令。robots.txt 是爬虫要查看的第一个文件。 robots.txt 文件告诉爬虫在服务器上什么文件是可以被查看的，搜索机器人就会按照该文件中的内容来确定访问的范围。 NodeJS 底层引擎是 JS，JS 天生为操作 DOM 而生，所以用 NodeJS 开发爬虫非常简单。
