当前位置:首页 > 编程开发 > Python > 内容列表

Python写爬虫都用到什么库

次查看

所属栏目:

  • Python

详细内容

Python爬虫,全称Python网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或脚本,主要用于抓取证券交易数据、天气数据、网站用户数据和图片数据等,Python为支持网络爬虫正常功能实现,内置了大量的库,主要有几种类型。下面本篇文章就来给大家介绍。

一、Python爬虫网络库

Python爬虫网络库主要包括:urllib、requests、grab、pycurl、urllib3、httplib2、RoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。

二、Python网络爬虫框架

Python网络爬虫框架主要包括:grab、scrapy、pyspider、cola、portia、restkit以及demiurge等。

三、HTML/XML解析器 

● lxml:C语言编写高效HTML/ XML处理库。支持XPath。

● cssselect:解析DOM树和CSS选择器。

● pyquery:解析DOM树和jQuery选择器。

● BeautifulSoup:低效HTML/ XML处理库,纯Python实现。

● html5lib:根据WHATWG规范生成HTML/ XML文档的DOM。该规范被用在现在所有的浏览器上。

● feedparser:解析RSS/ATOM feeds。

● MarkupSafe:为XML/HTML/XHTML提供了安全转义的字符串。

● xmltodict:一个可以让你在处理XML时感觉像在处理JSON一样的Python模块。

● xhtml2pdf:将HTML/CSS转换为PDF。

● untangle:轻松实现将XML文件转换为Python对象。

四、文本处理

用于解析和操作简单文本的库。

● difflib:(Python标准库)帮助进行差异化比较。

● Levenshtein:快速计算Levenshtein距离和字符串相似度。

● fuzzywuzzy:模糊字符串匹配。

● esmre:正则表达式加速器。

● ftfy:自动整理Unicode文本,减少碎片化。

五、特定格式文件处理

解析和处理特定文本格式的库。

● tablib:一个把数据导出为XLS、CSV、JSON、YAML等格式的模块。

● textract:从各种文件中提取文本,比如 Word、PowerPoint、PDF等。

● messytables:解析混乱的表格数据的工具。

● rows:一个常用数据接口,支持的格式很多(目前支持CSV,HTML,XLS,TXT:将来还会提供更多!)。

以上就是Python写爬虫都用到什么库的详细内容,更多请关注php中文网其它相关文章!

相关标签:


网站建设


热门推荐

  • PyCharm社区版够用吗

    PyCharm社区版够用吗,

  • python爬虫代码示例分享

    这篇文章主要介绍了三个python爬虫项目实例代码,使用了urllib2库,文中示例代码非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下。

  • python炫酷烟花表白源代码

    天天敲代码的朋友,有没有想过python也能实现炫酷的烟花表白效果呢,PHP中文网今天为各位分享一篇使用python实现炫酷烟花表白效果的文章,代码仅100余行,主要使用了Tkinter库,希望对各位有帮助。

  • python中单行注释以什么开头

    python中单行注释以什么开头,

  • python怎么画爱心

    python怎么画爱心,

  • python程序文件的扩展名称是什么

    python程序的扩展名有.py、.pyc、.pyo和.pyd。.py是源文件,.pyc是源文件编译后的文件,.pyo是源文件优化编译后的文件,.pyd是其他语言写的python库。

  • python字典中如何添加键值对

    python字典中添加键值对的方法:直接对字典中不存在的key进行赋值来添加;如果key或value都是变量可以用dic[key]=value;还可以用字典的setdefault方法。

  • python3.x完全兼容python2.x吗?

    python3.x完全兼容python2.x吗?,

  • python如何对excel数据进行处理

    python语言中可以使用xlrd和xlwt两个库处理excel数据。可以使用open_workbook()方法打开Excel文件,可以使用sheet_by_name()方法读取sheet页,使用sheets()方法加序号可以获取指定对象。

  • python安装后怎么打开py文件

    Python打开朋友文件:先找到py文件所在文件夹,然后打开命令提示符窗口,在命令行将路径切换到py文件所在文件夹,然后直接在命令行输入Python+文件名.py即可运行文件。