QQ登录

只需要一步,快速开始

APP扫码登录

只需要一步,快速开始

查看: 6074|回复: 0

[Python] 让你的爬虫“聪明起来”

[复制链接]

等级头衔

积分成就    金币 : 2861
   泡泡 : 1516
   精华 : 6
   在线时间 : 1328 小时
   最后登录 : 2026-7-17

丰功伟绩

优秀达人突出贡献荣誉管理论坛元老活跃会员

联系方式
发表于 2021-1-11 13:34:43 | 显示全部楼层 |阅读模式
简介
1 M4 a* p  \* G5 M- [7 m: I       AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。
1 p7 j; y, S# A下载安装
9 r" {) N$ {; U5 G" N) D) q项目的源码地址是:https://github.com/alirezamika/autoscraper 6 i3 c. e. J; i5 b3 k% Y
兼容 Python 3。可使用以下方法进行安装:
' S0 m9 u( C! \/ s(1)从git获取安装  $ pip install git+https://github.com/alirezamika/autoscraper.git
2 E/ `) l3 F- T, k, |(2)从PyPI获取安装  $ pip install autoscraper; m9 Y# Q  H3 b8 T( `& f" V( R
(3)下载源码后进行安装  $ python setup.py install
. G; o7 M' q7 R简单使用
8 `; a9 v) z! ~$ _4 L$ m" C+ R       假设我们想在stackoverflow页面中获取所有相关的文章标题:
- b# j& ]- N' V% O# n0 q
from autoscraper import AutoScraper
url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'
wanted_list = ["How to call an external command?"]
scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result)
      输出结果如下:. M. B) j% G- I( Q. x8 b- v
[
    'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?', 
    'How to call an external command?', 
    'What are metaclasses in Python?', 
    'Does Python have a ternary conditional operator?', 
    'How do you remove duplicates from a list whilst preserving order?', 
    'Convert bytes to a string', 
    'How to get line count of a large file cheaply in Python?', 
    "Does Python have a string 'contains' substring method?", 
    'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]
抓取相似结果
9 w+ ^8 b! f7 m; t. r       当你还想获取stackoverflow上其他页面中所有相关的文章标题,则可以直接通过get_result_similar方法获取:% R3 A7 ^  N2 b1 J) X0 x
scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string')
      两个页面的抓取结果为:
3 j- X, C- ~( R: Q" o 1.png $ H* Z; U2 I: b; \  E
抓取确切结果
2 ?' K1 i6 t7 ?$ F% d0 F5 w       当你只想抓取某个确切的结果,可以使用get_result_exact方法,即从wanted_list中以完全相同的顺序检索数据:2 X4 L, r, W- u: t# u
scraper.get_result_exact('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string')
      比如抓取页面中排第2的相关文章标题,执行结果:. j5 G3 i0 _! I$ h; F2 J
2.png , j4 K0 X. V# i$ i9 X
自定义请求模块参数4 n! u' \, G6 @% N7 o' G
       你还可以传递任何自定义请求模块参数。例如,你可能想使用代理或自定义头:9 V+ F% j6 m% U5 ^7 |* L. y
proxies = {
    "http": 'http://127.0.0.1:8001',
    "https": 'https://127.0.0.1:8001',
}
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))
抓取多项信息
: K0 n* q5 p! z3 H! t$ D% s. z       假设我们想要抓取关于文本,Star的数量和Github回购页面的问题链接:/ y; V! N' J5 C- r
from autoscraper import AutoScraper
url = 'https://github.com/alirezamika/autoscraper'
wanted_list = ['A Smart, Automatic, Fast and Lightweight Web Scraper for Python', '2.5k', 'https://github.com/alirezamika/autoscraper/issues']
scraper = AutoScraper()
scraper.build(url, wanted_list)
      执行结果为:
* x) m7 f. Q* ?: U 3.png
! q9 f* s1 j+ P0 \1 v0 R& u0 c保存模型
2 K" ]& E, n3 B1 r       我们可以保存抓取的模型以便以后使用:
8 p# j$ C& L3 L
# 指定保存的文件路径
scraper.save('stackoverflow')
# 调用方法:
scraper.load('stackoverflow')
      AutoScraper简单介绍就到这里了,如果你想使用更多的功能,详见官方主页了解。8 n, O/ R% m7 B( i

7 Z) X- N3 m" F3 Y- `' T/ K
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|paopaomj.COM ( 渝ICP备18007172号|渝公网安备50010502503914号 )

GMT+8, 2026-8-9 09:10

Powered by paopaomj X3.5 © 2016-2025 sitemap

快速回复 返回顶部 返回列表