爬虫 入门

简介

 本节讲解通过scrapy程序创建项目,并制作第一个程序

scrapy 创建项目

    1、找到scrapy程序所在位置,可通过C盘全盘搜索scrapy找到程序位置,我的位置为：C:\Users\Administrator\AppData\Roaming\Python\Scripts

    2、在E盘创建自己的项目文件夹,然后在命令行中进入自己的项目文件夹,执行如图所示命令：
C:\Users\Administrator\AppData\Roaming\Python\Scripts\scrapy startproject  ApiCrawler。
注：ApiCrawler为自己的项目名称

    3、打开pycharm编程环境,打开ApiCrawler项目。

    4、新建爬虫文件

    5、在文件中输入如下代码,注意代码中的    name = "api"，需要和第六步操作配合才能进入parse函数。

    6、新建begin.py文件，在里面输入如下代码。然后单击Run->Edit Configuration 修改配置文件的启动文件,如图所示

    7、如图所示设置断点，并启动debug，监视http请求及里面的值。。

    8、现在可以得到http://api.1473.cn的网址了。
   接下来的任务是要递归爬取所有网址。

pycharm字符编码及注释

   1、 在使用pyCharm编写python时，发现在注释和代码中都不允许出现中文，否则在允许时会报错。
解决方法：
  File-->Settings--->Editor----> File Encodings，将IDE Encoding编码设置为“utf8”后保存。
需要在最前面设置编码代码如下：
#-*-coding:utf-8-*- 
再继续写python代码即可
  2、python注释和其他语言也有一些区别,下面为其含义
单行注释：   #注释信息
多行注释：   '''注释信息'''  或  """注释信息"""

pycharm 设置注释字体颜色

   File-->Settings-->Editor-->Color&Fonts-->LanguageDefaults-->Linecomment-->设置颜色即可

 
               
作者：XXX
               
信息录入:XXX
               
文案编辑:XXX
               
视频录制:XXX
               
视频编辑:XXX
               
图片编辑:XXX
               
关键字修改:陈鑫