scrapy 安装方法

简介

   scrapy是制作爬虫的类库,提供了很多可供调用的函数。其安装步骤如下：

更新pycharm源

python有很多别人写好的类库,可以通过pip命令进行安装，但pip的国外源连接很慢，此处提供清华的源，其地址如下： https://pypi.tuna.tsinghua.edu.cn/simple/ 切换源的操作步骤如下：

1、单击菜单中的File->Settings

2、单击菜单中的Project interpreter,再单击setup tools,右边的加号会变成绿色,并弹出install的文字，单击加号，如下图所示：

3、窗口中列出了所有可用的库文件,如果是空白的，说明你的pip源还是国外的,连接不上，要切换成其他源，单击Manage Repositories：如下图所示

4、弹出的窗口中列出了pycharm的pip源：如下图所示

5、单击加号，添加清华源：https://pypi.tuna.tsinghua.edu.cn/simple/ 如下图所示

6、关闭pycharm，重新启动才会生效

安装scrapy库

1、安装pyopenssl库，在文本框中输入pyopenssl，然后单击Install Package，即可安装：如下图所示

2、安装twisted库，twisted库是一个框架,连接数据库本身是简单的事情，做得很复杂，如果有时间，用原生数据库连接代替，在文本框中输入twisted，然后单击Install Package，即可安装：如下图所示

3、安装lxml库，在文本框中输入lxml，然后单击Install Package，即可安装：如下图所示

4、安装scrapy库，在文本框中输入scrapy，然后单击Install Package，即可安装：如下图所示

5、安装pypiwin32的windows模块，安装scrapy时需要安装pypiwin32的windows模块，但通过pycharm提示安装错误，只能通过命令行安装，其命令如下： pip install --user --extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple/ pypiwin32,其示意图如下所示：

注：执行上述命令行时需定位pip程序位置.其位置如图所示：

 
               
作者：楚王辉
               
信息录入:楚王辉
               
文案编辑:楚王辉
               
视频录制:XXX
               
视频编辑:XXX
               
图片编辑:楚王辉
               
关键字修改:陈鑫