论一只爬虫的自我修养10:安装Scrapy – 零基础入门学习Python062

论一只爬虫的自我修养10:安装Scrapy

 

让编程改变世界

Change the world by program


 

Scrapy

 

说到Python爬虫,大牛们都会不约而同地提起Scrapy。因为Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

 

Scrapy最初是为了页面抓取(更确切来说, 网络抓取)所设计的,也可以应用在获取API所返回的数据(例如Amazon Associates Web Services)或者通用的网络爬虫。

 

Scrapy安装步骤:

 

 

1. 安装Python2.7(32位版本),地址:https://www.python.org/downloads/release/python-279/

 

2. 打开“运行”,输入cmd。执行以下命令,设置环境变量: C:\Python27\python.exe C:\Python27\tools\Scripts\win_add2path.py

 

3. 重新打开cmd,输入命令“python –version”

如果有显示Python2.7.9则说明成功;

如果没有,请服用Windows特效药:重启系统尝试一下。

 

4. 安装pywin32(32位版本),地址:http://sourceforge.net/projects/pywin32/

 

5. 安装pip,地址:https://pip.pypa.io/en/latest/installing.html

a. 下载get-pip.py

b. 进入cmd,执行:python get-pip.py

重要提示:如果你的用户名是中文,那么执行上面操作会报编码错误,请在python目录(Python27\Lib\site-packages)中新建一个文件sitecustomize.py 内容写:

import sys
 
sys.setdefaultencoding('gb2312')

 

分页阅读: 1 2 下一页
为您推荐

报歉!评论已关闭.