安装很简单,分以下3步
- 检测并安装python
- 用python 安装pip
- 用pip安装 scrapy
pip源修改
注意,这一步非常重要,很多人在安装Scrapy不成功的第二大原因(稍后再说第一大)就是这个,一定要改啊。博主一想起这个就是泪牛满面啊,折腾的时间大部分都浪费在这里了。
安装完成pip之后,默认的时官方源可能会被我大天朝的长城K.O.掉,我们需要对pip源进行修改,使用咱们国内的源。
首先创建配置文件,默认情况下Mac端好像是没有pip的配置文件的,我们需要自行创建。打开终端,在HOME下创建.pip目录:
1 |
<span class="hljs-keyword">mkdir</span> .pip |
接下来创建配置文件pip.conf:
1 |
<span class="hljs-tag">touch</span> <span class="hljs-tag">pip</span><span class="hljs-class">.conf</span> |
接下来编辑配置文件,随便使用什么编辑器打开刚刚新建的pip.conf文件,输入以下两行:
1 2 |
[<span class="hljs-keyword">global</span>] index-url = http:<span class="hljs-comment">//pypi.mirrors.ustc.edu.cn/simple</span> |
输入完成后保存退出即可,至此,pip源就修改完了,可以进行下一步了。
有一点要说明一下,就是pip源的问题,国内目前的pipy镜像主要有以下几个:
http://pypi.hustunique.com/ 华中理工大学
http://pypi.sdutlinux.org/ 山东理工大学
http://pypi.mirrors.ustc.edu.cn/ 中国科学技术大学
http://pypi.v2ex.com/ V2EX社区
大家可以看自己需要选择,用法都一样,只需要替换配置文件当中index-url的值即可。但不要忘记后面的/simple目录!
这里楼主用了豆瓣的源
然后
1 2 3 4 |
sudo pip install scrapy <ul class="pre-numbering" style="text-align:right;background-color:#EEEEEE;"> </ul> |
1 |
会报错 |
1 |
OSError: [Errno 1] Operation not permitted: '/tmp/pip-HG6JNq-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' <span style="font-size:15.4px;"></span> |
1 |
改成下面命令就行了,会忽略所有的下载全部重新下载耐心等待 |
1 |
sudo pip install scrapy --ignore-installed six |
1 |
还有错误 |
1 2 3 4 |
<pre class="prettyprint">ImportError: cannot <span class="hljs-keyword" style="color:#000088;">import</span> name xmlrpc_client <ul class="pre-numbering" style="text-align:right;background-color:#EEEEEE;"> </ul> |
原因是变量需要改变
1 2 3 |
<span style="color:#333333;font-family:'Source Code Pro', monospace;font-size:14px;line-height:20.3px;background-color:rgba(128, 128, 128, 0.0470588);">export PYTHONPATH=/Library/Python/</span><span class="hljs-number" style="color:#006666;font-family:'Source Code Pro', monospace;font-size:14px;line-height:20.3px;background-color:rgba(128, 128, 128, 0.0470588);">2.7</span><span style="color:#333333;font-family:'Source Code Pro', monospace;font-size:14px;line-height:20.3px;background-color:rgba(128, 128, 128, 0.0470588);">/site-packages:$PYTHONPATH echo </span><span class="hljs-string" style="color:#008800;font-family:'Source Code Pro', monospace;font-size:14px;line-height:20.3px;background-color:rgba(128, 128, 128, 0.0470588);">"export PYTHONPATH=/Library/Python/2.7/site-packages:$PYTHONPATH"</span><span style="color:#333333;font-family:'Source Code Pro', monospace;font-size:14px;line-height:20.3px;background-color:rgba(128, 128, 128, 0.0470588);"> >> ~/.bashrc source ~/.bashrc</span> |
1 |
1 |
最后 scrapy version 搞定 |
1 |