简介 # a* Z/ f1 z" I: [
AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。
5 W/ L/ |6 h& H* e2 Y" X 下载安装 . ^# Y) G4 w3 [ @6 K8 X
项目的源码地址是:https://github.com/alirezamika/autoscraper 6 s) v& E1 q! ~( e9 L
兼容 Python 3。可使用以下方法进行安装:
% Y1 b: w S m" x% Z1 }9 ~ (1)从git获取安装 $ pip install git+https://github.com/alirezamika/autoscraper.git & i( z9 }; @5 T, R0 M
(2)从PyPI获取安装 $ pip install autoscraper
' G8 F3 O( X- T( d, U (3)下载源码后进行安装 $ python setup.py install( j$ u6 i$ ~3 G, a
简单使用
0 t8 H6 S( ^) b5 X0 Y$ u3 ^1 G 假设我们想在stackoverflow页面中获取所有相关的文章标题:4 `& U0 h* _. o2 {
from autoscraper import AutoScraper
url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'
wanted_list = ["How to call an external command?"]
scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result) 输出结果如下:, q5 \ ?) E$ T5 `1 e P0 e. `) s
[
'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?',
'How to call an external command?',
'What are metaclasses in Python?',
'Does Python have a ternary conditional operator?',
'How do you remove duplicates from a list whilst preserving order?',
'Convert bytes to a string',
'How to get line count of a large file cheaply in Python?',
"Does Python have a string 'contains' substring method?",
'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]抓取相似结果 % N1 m9 h1 P3 E4 ~: U
当你还想获取stackoverflow上其他页面中所有相关的文章标题,则可以直接通过get_result_similar方法获取:& ?, [, _$ }, ^
scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 两个页面的抓取结果为:; [2 K1 F: ?5 q E- A
- m: C5 E- f: Y/ r 抓取确切结果
/ d, \; s! F, G! g4 B/ q 当你只想抓取某个确切的结果,可以使用get_result_exact方法,即从wanted_list中以完全相同的顺序检索数据:6 D0 A1 r+ c. A3 B; g# g
scraper.get_result_exact('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 比如抓取页面中排第2的相关文章标题,执行结果:
' }$ Z4 N) S2 G
0 T, t1 W1 U' C( p. @% N$ f8 e- s0 Y6 b 自定义请求模块参数
6 I) `9 v' Z4 z5 V+ G7 X 你还可以传递任何自定义请求模块参数。例如,你可能想使用代理或自定义头:
: H6 K; z3 Y' U+ a$ B; v3 Y proxies = {
"http": 'http://127.0.0.1:8001',
"https": 'https://127.0.0.1:8001',
}
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))抓取多项信息 , c8 h0 W1 _8 k& x- O& O: `
假设我们想要抓取关于文本,Star的数量和Github回购页面的问题链接:
# M) g3 x4 g8 {& H from autoscraper import AutoScraper
url = 'https://github.com/alirezamika/autoscraper'
wanted_list = ['A Smart, Automatic, Fast and Lightweight Web Scraper for Python', '2.5k', 'https://github.com/alirezamika/autoscraper/issues']
scraper = AutoScraper()
scraper.build(url, wanted_list) 执行结果为:& x+ |! m6 s+ S3 e$ p/ l' C7 M* E
. Q1 M8 W) ^2 a8 m 保存模型
) S {. v# V3 S/ Y# c 我们可以保存抓取的模型以便以后使用:
! Q3 u+ A. O% |) g+ V8 q' A& K # 指定保存的文件路径
scraper.save('stackoverflow')
# 调用方法:
scraper.load('stackoverflow') AutoScraper简单介绍就到这里了,如果你想使用更多的功能,详见官方主页了解。
# W& I6 y9 g- n+ o# m* y# Y4 H5 ] * t) T- }, @' A0 r6 J7 u