简介
) n# A7 z4 {1 B3 M AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。% d0 @* W7 `. s3 @( ~
下载安装 . U% o7 U, G3 l: Q0 h" ^
项目的源码地址是:https://github.com/alirezamika/autoscraper
( z* v% j) u: N 兼容 Python 3。可使用以下方法进行安装:
) e3 I4 p; o2 s (1)从git获取安装 $ pip install git+https://github.com/alirezamika/autoscraper.git " S4 b4 Y5 t+ ]9 M
(2)从PyPI获取安装 $ pip install autoscraper
2 ^5 x+ c9 _0 Y% S! e d: A (3)下载源码后进行安装 $ python setup.py install
# l+ [, @5 t5 S+ y 简单使用 ! H! {! z* U9 K3 T) T
假设我们想在stackoverflow页面中获取所有相关的文章标题:
' D# J, l% }. M+ g from autoscraper import AutoScraper
url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'
wanted_list = ["How to call an external command?"]
scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result) 输出结果如下:
, p# h6 f6 Z7 r [
'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?',
'How to call an external command?',
'What are metaclasses in Python?',
'Does Python have a ternary conditional operator?',
'How do you remove duplicates from a list whilst preserving order?',
'Convert bytes to a string',
'How to get line count of a large file cheaply in Python?',
"Does Python have a string 'contains' substring method?",
'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]抓取相似结果
' {/ o& k# Q: n- O 当你还想获取stackoverflow上其他页面中所有相关的文章标题,则可以直接通过get_result_similar方法获取:5 `) o# |/ P" k3 y
scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 两个页面的抓取结果为:3 I# W1 U; X" d$ i" c
1 P3 X$ i/ @+ Z4 Q: G" @7 W9 A( e; }
抓取确切结果
% ?/ ~$ |+ G) R6 u' Q2 e1 \- Z 当你只想抓取某个确切的结果,可以使用get_result_exact方法,即从wanted_list中以完全相同的顺序检索数据:% V X; Y( |6 p1 Z
scraper.get_result_exact('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 比如抓取页面中排第2的相关文章标题,执行结果:4 r1 n. {# I* Y* Y5 {0 }- D
0 R2 F- t' t8 W% I9 t1 v 自定义请求模块参数 % Q% S' w4 r \1 U5 A
你还可以传递任何自定义请求模块参数。例如,你可能想使用代理或自定义头:2 r& [8 i: E1 _& g% Z
proxies = {
"http": 'http://127.0.0.1:8001',
"https": 'https://127.0.0.1:8001',
}
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))抓取多项信息 4 O8 i \$ ?9 c* X X
假设我们想要抓取关于文本,Star的数量和Github回购页面的问题链接:& F& s u, z9 h& A3 X
from autoscraper import AutoScraper
url = 'https://github.com/alirezamika/autoscraper'
wanted_list = ['A Smart, Automatic, Fast and Lightweight Web Scraper for Python', '2.5k', 'https://github.com/alirezamika/autoscraper/issues']
scraper = AutoScraper()
scraper.build(url, wanted_list) 执行结果为:! |$ e( Q: K# P' f
( H0 [! ^. s% P, J 保存模型
, z1 w/ Q2 ]. K1 ~+ f$ T! W 我们可以保存抓取的模型以便以后使用:
' k8 d4 K# A( N. D2 ^, X, c( x0 H # 指定保存的文件路径
scraper.save('stackoverflow')
# 调用方法:
scraper.load('stackoverflow') AutoScraper简单介绍就到这里了,如果你想使用更多的功能,详见官方主页了解。' X, F2 d7 [& U) M
8 C: ]& z5 C, B0 o# l/ S4 H