由于Scrapy目前对Python2.7的支持最好,Python3下可能会有问题,所以还是在Python2.7下装Scrapy模块。
在Mac上自带的Python2.7环境安装Scrapy模块,一路顺风,直接pip install -i http://pypi.douban.com/simple Scrapy,自动安装所需的模块,一切OK.
但是在Windows环境Python2.7下安装Scrapy,各种问题,问题不断,一个个根据错误提示去网上找解决办法,记录一下一些坑。
首先是pip install Scrapy这样的方式可能会安装不了,原因是pypi官网被墙,唉。。解决办法如上文中使用pip镜像的方式安装模块。
安装过程中会有错误,根据错误提示去网上找一般都能找到解决办法,安装完在终端运行scrapy命令,也会有报错,如果提示缺少其他依赖模块,就一一安装。
注意本文说的环境是:
Windows 7 64位系统,Python2.7.
以下是在Windows上安装lxml模块的方法。
Windwos下安装lxml
从http://www.lfd.uci.edu/~gohlke/pythonlibs/这个网址里面,找到lxml,按ctrl+F5快速查找,然后下载对应的whl文件,比如下载到D:\lxml-3.4.4-cp27-none-win32.whl. 然后使用pip install安装,如下所示:
C:\Users\Administrator>pip install D:\lxml-3.4.4-cp27-none-win32.whl
Unpacking d:\lxml-3.4.4-cp27-none-win32.whl
Installing collected packages: lxml
Successfully installed lxml
Cleaning up...