QQ登录

只需要一步,快速开始

APP扫码登录

只需要一步,快速开始

手机号码,快捷登录

手机号码,快捷登录

查看: 2867|回复: 0

[Python] 一键爬取微博用户各种信息并保存

[复制链接]

等级头衔

积分成就    金币 : 2857
   泡泡 : 1516
   精华 : 6
   在线时间 : 1317 小时
   最后登录 : 2025-4-23

丰功伟绩

优秀达人突出贡献荣誉管理论坛元老活跃会员

联系方式
发表于 2020-6-5 18:32:32 | 显示全部楼层 |阅读模式
       源码可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括了用户微博的所有数据,主要有用户信息和微博信息两大类,前者包含用户昵称、关注数、粉丝数、微博数等等;后者包含微博正文、发布时间、发布工具、评论数等等,因为内容太多,这里不再赘述,详细内容见输出部分。
, c$ d9 I& U: t1 ^具体的写入文件类型如下:# e; v! q" ~1 b9 d- Y6 x
1)写入txt文件(默认): m; @" N1 I5 q, Y3 N
2)写入csv文件(默认)) {% `) ?, d* M0 [5 P1 E
3)写入json文件(可选). u3 _( s$ S) Z! F1 d4 C
4)写入MySQL数据库(可选)
" {4 C/ B( @; Q7 U5)写入MongoDB数据库(可选)
$ W* D5 L4 Q8 y& L# Z( c, B6)下载用户原创微博中的原始图片(可选)
1 ^/ D/ [0 F0 S0 P4 |7)下载用户转发微博中的原始图片(免cookie版特有)
; O7 Q6 `; B) u" L; E2 _5 s8 z& i8)下载用户原创微博中的视频(可选)
$ ^" X: B5 J! k- E) j9)下载用户转发微博中的视频(免cookie版特有)
$ ^: U' q8 ?  y; t10)下载用户原创微博Live Photo中的视频(免cookie版特有)* c% ]3 O+ Z7 W( B6 d$ Q! m
11)下载用户转发微博Live Photo中的视频(免cookie版特有); y& @6 s) |% z9 l
       本程序分为设置用户cookie和免cookie两个版本,二者功能类似,免cookie版获取的信息更多,用法更简单,而且不需要cookie。下面以需要设置用户cookie的版本来介绍使用方法,免cookie版使用方法除了第1项,其他基本相同。
; T4 _' z# V2 W6 W1、打开 https://m.weibo.cn/ 登录你的微博账号获取headers的 cookie ,依此点击Chrome开发者工具中的Network->Name中的weibo.cn->Headers->Request Headers,"Cookie:"后的值即为我们要找的cookie值,复制即可,如图所示:% f2 R' T, N. G9 ]7 }: Z+ `% }
1.png + ?  ]% I; y) Q1 T- M1 {
2、下载代码到本地,修改配置文件config.json,这里说明下,user_id_list填你要分析的微博账号uid,可以填多个,如:"user_id_list": ["1223178222", "1669879400", "1729370543"],。filter为1表示分析原创微博,如果分析所有微博填0即可。since_date为从哪天的微博开始分析,然后就是把上面复制的cookie填到对应位置,免cookie版本不用填。1 ]% Y" m  ]" C$ Z8 y, S
{
    "user_id_list": ["1669879400"],
    "filter": 1,
    "since_date": "2018-01-01",
    "write_mode": ["csv", "txt"],
    "pic_download": 1,
    "video_download": 1,
    "cookie": "your cookie",
    "mysql_config": {
        "host": "localhost",
        "port": 3306,
        "user": "root",
        "password": "123456",
        "charset": "utf8mb4"
    }
}
3、接着执行pip install -r requirements.txt安装以下依赖包,当然你也可以单独安装。! f# c' S" d. w. D
requests==2.22.00 B3 ?/ \  k; ~/ e
jieba==0.42.1
' i7 d7 K% c+ U' U% ~; iwordcloud==1.6.09 s/ g- I# V0 Q$ ?" P% f
scipy==1.2.1: k, N0 i0 r% L. @
seaborn==0.10.0
; l+ v9 v7 u) N% c6 \  l) s2 xpandas7 |) M' m7 X# p) Z! F3 A
lxml/ N& E1 O* k, P7 o% D" l& S
tqdm
/ y) ]. `4 B; R- ?5 k( d4、输入命令$ python weibo.py执行脚本。1 Q2 ?  F0 F4 w5 D
2.png 9 G. D  A9 v; W. x: O' n3 H& ^: \
5、爬取的csv结果文件内容如下,其他文件类型可以在这里就不再截图。
$ U) @( b2 z) m  R7 u 3.png
0 P& F6 j& O* ?3 x点击下载cookie版代码      点击下载免cookie版代码
* K+ p  h7 B- J& j6 j3 U# l0 c" A8 b/ B+ Y0 ?
3 y& p: w* V# s' \; p7 N) `, H" [
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|paopaomj.COM ( 渝ICP备18007172号|渝公网安备50010502503914号 )

GMT+8, 2025-4-25 13:46

Powered by paopaomj X3.5 © 2016-2025 sitemap

快速回复 返回顶部 返回列表