QQ登录

只需要一步,快速开始

APP扫码登录

只需要一步,快速开始

查看: 5482|回复: 0

[Python] 让你的爬虫“聪明起来”

[复制链接]

等级头衔

积分成就    金币 : 2861
   泡泡 : 1516
   精华 : 6
   在线时间 : 1328 小时
   最后登录 : 2026-5-15

丰功伟绩

优秀达人突出贡献荣誉管理论坛元老活跃会员

联系方式
发表于 2021-1-11 13:34:43 | 显示全部楼层 |阅读模式
简介
# Y; a+ ^" ]2 V/ `0 [6 @$ z1 j       AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。
5 a$ T: F$ s$ n. a% j) ?下载安装8 g5 ^4 r' ^* ]/ e2 E# J
项目的源码地址是:https://github.com/alirezamika/autoscraper
, ^9 Y0 T) Q) T1 B* ]  l* }# z兼容 Python 3。可使用以下方法进行安装:
" V" d0 ~4 U- N8 l- u( y(1)从git获取安装  $ pip install git+https://github.com/alirezamika/autoscraper.git5 i' g" Y' @/ x, h9 }, B  s
(2)从PyPI获取安装  $ pip install autoscraper& }  c" A5 m/ X, b
(3)下载源码后进行安装  $ python setup.py install
5 x) t5 w2 d& E+ _- J& L/ g简单使用  \+ l9 h+ _4 L2 Q
       假设我们想在stackoverflow页面中获取所有相关的文章标题:
0 l8 w& d% F" |
from autoscraper import AutoScraper
url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'
wanted_list = ["How to call an external command?"]
scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result)
      输出结果如下:3 I' I/ n* _! z1 |. @+ v8 F
[
    'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?', 
    'How to call an external command?', 
    'What are metaclasses in Python?', 
    'Does Python have a ternary conditional operator?', 
    'How do you remove duplicates from a list whilst preserving order?', 
    'Convert bytes to a string', 
    'How to get line count of a large file cheaply in Python?', 
    "Does Python have a string 'contains' substring method?", 
    'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]
抓取相似结果
6 {5 k" I5 ]3 L6 Y2 }8 x       当你还想获取stackoverflow上其他页面中所有相关的文章标题,则可以直接通过get_result_similar方法获取:
# ^  X" l2 u/ v9 l5 o
scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string')
      两个页面的抓取结果为:
* t% r* D) s0 S) j# E 1.png
4 r4 l" G+ C5 `6 Y# H0 o5 ^) `, P抓取确切结果
! B9 [. D5 g$ @& h: c% C+ {       当你只想抓取某个确切的结果,可以使用get_result_exact方法,即从wanted_list中以完全相同的顺序检索数据:) Y* r/ ], n0 v6 {8 j& U2 V
scraper.get_result_exact('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string')
      比如抓取页面中排第2的相关文章标题,执行结果:
2 A% T- P; v8 k3 e2 t; } 2.png " K, q! ~8 f# L1 O1 f/ T' _# U
自定义请求模块参数/ Q; O8 K: s: s
       你还可以传递任何自定义请求模块参数。例如,你可能想使用代理或自定义头:& w/ A1 |" }! J4 {3 C; L% @
proxies = {
    "http": 'http://127.0.0.1:8001',
    "https": 'https://127.0.0.1:8001',
}
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))
抓取多项信息6 x5 E: [/ N4 M$ d% U' T9 ^8 l- x
       假设我们想要抓取关于文本,Star的数量和Github回购页面的问题链接:
" h& G1 U% C3 \$ W+ x' |, |7 o
from autoscraper import AutoScraper
url = 'https://github.com/alirezamika/autoscraper'
wanted_list = ['A Smart, Automatic, Fast and Lightweight Web Scraper for Python', '2.5k', 'https://github.com/alirezamika/autoscraper/issues']
scraper = AutoScraper()
scraper.build(url, wanted_list)
      执行结果为:# ^+ s9 u/ L6 o+ j+ k5 a
3.png
. u. [: F# ~' a* C保存模型
, V: C1 [% ?5 f- Z       我们可以保存抓取的模型以便以后使用:3 R- N0 k1 e, a: A& R3 V. c
# 指定保存的文件路径
scraper.save('stackoverflow')
# 调用方法:
scraper.load('stackoverflow')
      AutoScraper简单介绍就到这里了,如果你想使用更多的功能,详见官方主页了解。
7 _6 t4 b6 T, @
% F2 g& J# G9 p: b' R6 M1 C% q* r
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|paopaomj.COM ( 渝ICP备18007172号|渝公网安备50010502503914号 )

GMT+8, 2026-6-18 04:27

Powered by paopaomj X3.5 © 2016-2025 sitemap

快速回复 返回顶部 返回列表