经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » Python » 查看文章
使用scrapy前的环境搭建
来源:cnblogs  作者:羽雪青  时间:2018/10/16 9:35:16  对本文有异议

刚开始直接scrapy startproject [名称] 创建项目才遇到挺多问题的,执行这个又会提示那个问题,解决后就觉得还好还好啦

1.pip install scrapy 提示pip 版本要升级;

You are using pip version 10.0.1, however version 10.0.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.
--------------------- 

2.python -m pip install --upgrade pip 升级时又有新问题;

(venv) D:\Fish>python -m pip install --upgrade pip

Requirement already up-to-date: pip in d:\fish\venv\lib\site-packages (10.0.1)

--------------------- 

于是按照要求将d:\fish\venv\lib\site-packages (10.0.1) 中的pip-10.0.1.dist-info删除,再次运行python -m pip install --upgrade pip 后升级成功

3.再执行第1步以为万事大吉了,又有新的问题了

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
---------------------
解决这个问题有两种方法:a.按提示安装Visual Studio (C盘至少需要6G空间,果断找其他方法解决);

            b.使用wheel安装;

使用wheel安装:pip install wheel

成功会提示successfull也可以使用wheel命令验证是否成功,成功后是这样

然后去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml这个网站下载Scrapy库, 
进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址(我放在了D:\) 
然后在控制台进入该地址 
在该地址下输入

pip install [whl]

注:[whl]表示你的.whl文件,一定要全名,XXXX.whl

然后,并没有结束。。。。。

安装过程还是有可能失败

可能会出现Failed to build XXXX

为什么会这样那,因为Scrapy框架基于Twisted

所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。

注意选择好版本号

cp代表python的版本号,32/64选择对应你电脑的位数

最后终于成功了。 
建个项目测试一下

 

 

 




 

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号