简介
- o& t; W3 I8 y: J AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。6 Q3 f) }3 d8 W. S1 G) Z! u
下载安装
; m* ~4 l% q; j; P7 F+ p6 Z0 W7 J 项目的源码地址是:https://github.com/alirezamika/autoscraper
% q1 G/ P5 N1 a: l" ?8 T( k 兼容 Python 3。可使用以下方法进行安装:' B: Q. `5 H( @* r
(1)从git获取安装 $ pip install git+https://github.com/alirezamika/autoscraper.git 1 ~/ i! S8 g; Z
(2)从PyPI获取安装 $ pip install autoscraper
9 I# q% C$ ^/ R! _, p) v (3)下载源码后进行安装 $ python setup.py install
& T; ~0 _. }) b f; \* ] 简单使用
; |- Z3 m4 E$ D1 s* t( c% e/ p3 Y/ ? 假设我们想在stackoverflow页面中获取所有相关的文章标题:3 ?5 i8 Z% n$ @5 n5 d* s" K
from autoscraper import AutoScraper
url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'
wanted_list = ["How to call an external command?"]
scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result) 输出结果如下:
- f% ~2 n8 L) [( R7 n$ C) K [
'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?',
'How to call an external command?',
'What are metaclasses in Python?',
'Does Python have a ternary conditional operator?',
'How do you remove duplicates from a list whilst preserving order?',
'Convert bytes to a string',
'How to get line count of a large file cheaply in Python?',
"Does Python have a string 'contains' substring method?",
'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]抓取相似结果 4 A- h! X# Y5 p* l
当你还想获取stackoverflow上其他页面中所有相关的文章标题,则可以直接通过get_result_similar方法获取:9 v6 O) b0 P: b1 Q* z
scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 两个页面的抓取结果为:
# j3 ?8 N1 N; R$ e- g, j. o9 \
5 D0 w; w8 x) ~, [ 抓取确切结果
6 A& V1 Y5 v( D, r4 ]; y 当你只想抓取某个确切的结果,可以使用get_result_exact方法,即从wanted_list中以完全相同的顺序检索数据:
$ X6 z. N' a3 g7 c9 m scraper.get_result_exact('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 比如抓取页面中排第2的相关文章标题,执行结果:: n. J- k- A. l/ B
% j1 w# ?. g& b- z
自定义请求模块参数 6 R0 E0 h# b4 r+ Y- S3 w- o
你还可以传递任何自定义请求模块参数。例如,你可能想使用代理或自定义头:# U- M6 f3 O# Z7 j+ `1 z5 x
proxies = {
"http": 'http://127.0.0.1:8001',
"https": 'https://127.0.0.1:8001',
}
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))抓取多项信息 8 l- S4 q7 w5 A- n; M/ `5 E
假设我们想要抓取关于文本,Star的数量和Github回购页面的问题链接:; z0 V2 j5 b& i1 b8 }$ V
from autoscraper import AutoScraper
url = 'https://github.com/alirezamika/autoscraper'
wanted_list = ['A Smart, Automatic, Fast and Lightweight Web Scraper for Python', '2.5k', 'https://github.com/alirezamika/autoscraper/issues']
scraper = AutoScraper()
scraper.build(url, wanted_list) 执行结果为:5 ?: f; [$ _* e$ K/ O# ^/ v% V
' z5 r( }7 {4 |! I& d F* b" q6 d& ?
保存模型
3 _" L. S4 { r) K/ L5 b 我们可以保存抓取的模型以便以后使用:& F% n6 A% c, _' T1 @# m* H
# 指定保存的文件路径
scraper.save('stackoverflow')
# 调用方法:
scraper.load('stackoverflow') AutoScraper简单介绍就到这里了,如果你想使用更多的功能,详见官方主页了解。
& w) m0 ~2 \( Q2 B6 y% p & H" n! p# D. J" I/ S