简介 ) F+ G( V7 s; ? R: Y2 t
AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。
2 C% ?+ y0 E: w% m2 q 下载安装 3 b( A" ]0 x" A! k3 E" Q( b; z8 @
项目的源码地址是:https://github.com/alirezamika/autoscraper # }3 {! t) x+ b8 ?
兼容 Python 3。可使用以下方法进行安装:$ B& T; e$ R' l& v: k, I1 R
(1)从git获取安装 $ pip install git+https://github.com/alirezamika/autoscraper.git 0 F' T3 W: ~$ c# B2 D2 y( z9 j y
(2)从PyPI获取安装 $ pip install autoscraper
* B* W8 C' ~! H) d (3)下载源码后进行安装 $ python setup.py install, d; U, X/ {$ N& p9 l
简单使用
! S% W# C% _3 {" z2 r5 d* S6 g 假设我们想在stackoverflow页面中获取所有相关的文章标题:8 u$ O8 T, f3 V8 d* P7 O' @( s6 H# o
from autoscraper import AutoScraper
url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'
wanted_list = ["How to call an external command?"]
scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result) 输出结果如下:1 F% I Z, }' F7 U) `' `1 X/ I( y
[
'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?',
'How to call an external command?',
'What are metaclasses in Python?',
'Does Python have a ternary conditional operator?',
'How do you remove duplicates from a list whilst preserving order?',
'Convert bytes to a string',
'How to get line count of a large file cheaply in Python?',
"Does Python have a string 'contains' substring method?",
'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]抓取相似结果 ! l$ L6 g) F' s k. o
当你还想获取stackoverflow上其他页面中所有相关的文章标题,则可以直接通过get_result_similar方法获取:
) |+ Q) w( \/ p ~2 h! J scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 两个页面的抓取结果为:
2 ~1 ^6 a9 {0 C$ J* Z) M' P Y
7 }- B2 u4 `8 y
抓取确切结果 5 u) f0 v1 W' U" }
当你只想抓取某个确切的结果,可以使用get_result_exact方法,即从wanted_list中以完全相同的顺序检索数据:/ k: L8 M* v) ^9 ?4 I* |
scraper.get_result_exact('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 比如抓取页面中排第2的相关文章标题,执行结果:1 j4 U$ X6 p$ h5 }3 A8 b. j, |
( `- E( z2 `4 b; u8 k 自定义请求模块参数
: O0 Z# z" w3 E& K. s; T3 H# m 你还可以传递任何自定义请求模块参数。例如,你可能想使用代理或自定义头:
* h( e% @% e4 n) f4 j1 e4 J proxies = {
"http": 'http://127.0.0.1:8001',
"https": 'https://127.0.0.1:8001',
}
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))抓取多项信息
4 v3 ]+ k! ?7 o7 N* [ 假设我们想要抓取关于文本,Star的数量和Github回购页面的问题链接:5 F+ X u! a0 _3 [* h- w0 X
from autoscraper import AutoScraper
url = 'https://github.com/alirezamika/autoscraper'
wanted_list = ['A Smart, Automatic, Fast and Lightweight Web Scraper for Python', '2.5k', 'https://github.com/alirezamika/autoscraper/issues']
scraper = AutoScraper()
scraper.build(url, wanted_list) 执行结果为:% S" W) n% d J& L. [
' K o4 c7 B: Y" U9 b, U 保存模型 / [ T; B& e& ]( P1 ?. w# y% _5 L
我们可以保存抓取的模型以便以后使用:
6 U$ D; N( S. B4 W7 [- W # 指定保存的文件路径
scraper.save('stackoverflow')
# 调用方法:
scraper.load('stackoverflow') AutoScraper简单介绍就到这里了,如果你想使用更多的功能,详见官方主页了解。! {+ S0 o0 ?$ [5 y0 _6 g$ n t
; w: B) ], k. K