• 欢迎访问小杰博客网站
  • 欢迎访问小杰博客网站哦

Scrapy和python安装指南

未分类 小杰 3年前 (2015-08-12) 170次浏览 已收录 0个评论

简要步骤:

1、安装python 
2、设置python环境变量:C:\Python27\;C:\Python27\Scripts\;
3、运行get-pip.py 文件(自带的pip不能用,必须重新下载)
4、python –version  pip –version可以看看是否设置成功
5、打开cmd,运行pip install scrapy (如果lxml安装失败,尝试下指定版本安装
pip install lxml==3.4.2 ,还不行的话安装下VCForPython27.msi)
6、安装各种插件


eclipse的插件pydev下载地址:

http://download.csdn.net/download/danielzzu/6659229

Scrappy

文档

http://scrapy-chs.readthedocs.org/zh_CN/latest/

安装

Windows下:

Pythonhttps://www.python.org/   目前使用2.7版本

安装python 设置系统变量path

Piphttps://pip.pypa.io/en/latest/installing.html#python-os-support

 

Get-pip: https://bootstrap.pypa.io/get-pip.py

 

 

Pip install scrapy

 

需要安装其它相关模块:PILmysqlpywin32

 

项目目录

·         literature/: 该项目的python模块。之后您将在此加入代码。

·         literature/items.py: 项目中的item文件.

·         literature/pipelines.py: 项目中的pipelines文件.

·         literature/settings.py: 项目的设置文件.

·         literature/spiders/: 放置spider代码的目录.

 

Spider:爬虫代码,主要为规则编写,采集数据返回后获取处理,抓取相关需要数据

Item:类似于dict,提供字段属性

Pipelines:当Item在Spider中被收集之后,它将会被传递到Item Pipeline,一些组件会按照一定的顺序执行对Item的处理。对数据进行验证,存储到数据库等。

setting:设置cookie是否禁用、请求延迟、ua更换等

 

运行

例:

采集二层楼网站

Scrapy crawl ercenglou

 

 


小杰博客 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Scrapy和python安装指南
喜欢 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址