简介 7 W# P7 j' `( w# ^6 T
AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。2 ]/ ]4 E4 e# T2 t' Z% U
下载安装
% g }3 l* I( G2 [. x 项目的源码地址是:https://github.com/alirezamika/autoscraper
) |5 D. G! N1 U3 C8 j: l 兼容 Python 3。可使用以下方法进行安装:2 @& [/ L7 b+ r: R0 n/ G$ v# k5 B+ k
(1)从git获取安装 $ pip install git+https://github.com/alirezamika/autoscraper.git
$ R9 }+ o9 A* i; {0 }, d& z& E (2)从PyPI获取安装 $ pip install autoscraper; u! f `: e1 |
(3)下载源码后进行安装 $ python setup.py install
* t/ {0 p' F; U( N: @2 o 简单使用 " I' r+ l2 S' Z- ~7 R1 [! f# c# e) r
假设我们想在stackoverflow页面中获取所有相关的文章标题:
9 b. N; F, f. L' O, y' T5 Z9 ` from autoscraper import AutoScraper
url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'
wanted_list = ["How to call an external command?"]
scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result) 输出结果如下:
" f5 ]1 _4 j8 g; f- t [
'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?',
'How to call an external command?',
'What are metaclasses in Python?',
'Does Python have a ternary conditional operator?',
'How do you remove duplicates from a list whilst preserving order?',
'Convert bytes to a string',
'How to get line count of a large file cheaply in Python?',
"Does Python have a string 'contains' substring method?",
'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]抓取相似结果
) x( ~+ {& v) A2 K. ` 当你还想获取stackoverflow上其他页面中所有相关的文章标题,则可以直接通过get_result_similar方法获取:
+ {" |& @. q5 m5 V, s6 b scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 两个页面的抓取结果为:. N4 r* Z5 c( d5 c3 Q0 A
m) `, [& e: s( R* z2 _
抓取确切结果
- X. |( U! H% F/ i. ?$ m3 e 当你只想抓取某个确切的结果,可以使用get_result_exact方法,即从wanted_list中以完全相同的顺序检索数据:
" g* t- S, z0 v scraper.get_result_exact('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 比如抓取页面中排第2的相关文章标题,执行结果:8 |5 t* u8 Q5 O5 K' Z' n
1 O4 ]( w0 W5 Z 自定义请求模块参数 - P7 Q8 u, G7 S+ O7 I0 Z' t' W
你还可以传递任何自定义请求模块参数。例如,你可能想使用代理或自定义头:2 g7 A; k9 H3 R& @9 W, Y2 o( F% D
proxies = {
"http": 'http://127.0.0.1:8001',
"https": 'https://127.0.0.1:8001',
}
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))抓取多项信息
& I+ q) h2 A9 O- B2 c2 D 假设我们想要抓取关于文本,Star的数量和Github回购页面的问题链接:) y. X2 r% x9 |$ F: C
from autoscraper import AutoScraper
url = 'https://github.com/alirezamika/autoscraper'
wanted_list = ['A Smart, Automatic, Fast and Lightweight Web Scraper for Python', '2.5k', 'https://github.com/alirezamika/autoscraper/issues']
scraper = AutoScraper()
scraper.build(url, wanted_list) 执行结果为:: O2 x) q& k; \
. K+ p- f7 h- X1 a6 j 保存模型
, K9 b+ ]; R1 S: ]# d 我们可以保存抓取的模型以便以后使用:
- S" _" p; D! L* l. k" D # 指定保存的文件路径
scraper.save('stackoverflow')
# 调用方法:
scraper.load('stackoverflow') AutoScraper简单介绍就到这里了,如果你想使用更多的功能,详见官方主页了解。3 i' @7 ^) c5 `. P8 h0 }% ^
7 h y r! F6 U# [: T8 O