源码可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括了用户微博的所有数据,主要有用户信息和微博信息两大类,前者包含用户昵称、关注数、粉丝数、微博数等等;后者包含微博正文、发布时间、发布工具、评论数等等,因为内容太多,这里不再赘述,详细内容见输出部分。
, c$ d9 I& U: t1 ^具体的写入文件类型如下:# e; v! q" ~1 b9 d- Y6 x
1)写入txt文件(默认): m; @" N1 I5 q, Y3 N
2)写入csv文件(默认)) {% `) ?, d* M0 [5 P1 E
3)写入json文件(可选). u3 _( s$ S) Z! F1 d4 C
4)写入MySQL数据库(可选)
" {4 C/ B( @; Q7 U5)写入MongoDB数据库(可选)
$ W* D5 L4 Q8 y& L# Z( c, B6)下载用户原创微博中的原始图片(可选)
1 ^/ D/ [0 F0 S0 P4 |7)下载用户转发微博中的原始图片(免cookie版特有)
; O7 Q6 `; B) u" L; E2 _5 s8 z& i8)下载用户原创微博中的视频(可选)
$ ^" X: B5 J! k- E) j9)下载用户转发微博中的视频(免cookie版特有)
$ ^: U' q8 ? y; t10)下载用户原创微博Live Photo中的视频(免cookie版特有)* c% ]3 O+ Z7 W( B6 d$ Q! m
11)下载用户转发微博Live Photo中的视频(免cookie版特有); y& @6 s) |% z9 l
本程序分为设置用户cookie和免cookie两个版本,二者功能类似,免cookie版获取的信息更多,用法更简单,而且不需要cookie。下面以需要设置用户cookie的版本来介绍使用方法,免cookie版使用方法除了第1项,其他基本相同。
; T4 _' z# V2 W6 W1、打开 https://m.weibo.cn/ 登录你的微博账号获取headers的 cookie ,依此点击Chrome开发者工具中的Network->Name中的weibo.cn->Headers->Request Headers,"Cookie:"后的值即为我们要找的cookie值,复制即可,如图所示:% f2 R' T, N. G9 ]7 }: Z+ `% }
+ ? ]% I; y) Q1 T- M1 {
2、下载代码到本地,修改配置文件config.json,这里说明下,user_id_list填你要分析的微博账号uid,可以填多个,如:"user_id_list": ["1223178222", "1669879400", "1729370543"],。filter为1表示分析原创微博,如果分析所有微博填0即可。since_date为从哪天的微博开始分析,然后就是把上面复制的cookie填到对应位置,免cookie版本不用填。1 ]% Y" m ]" C$ Z8 y, S
{
"user_id_list": ["1669879400"],
"filter": 1,
"since_date": "2018-01-01",
"write_mode": ["csv", "txt"],
"pic_download": 1,
"video_download": 1,
"cookie": "your cookie",
"mysql_config": {
"host": "localhost",
"port": 3306,
"user": "root",
"password": "123456",
"charset": "utf8mb4"
}
} 3、接着执行pip install -r requirements.txt安装以下依赖包,当然你也可以单独安装。! f# c' S" d. w. D
requests==2.22.00 B3 ?/ \ k; ~/ e
jieba==0.42.1
' i7 d7 K% c+ U' U% ~; iwordcloud==1.6.09 s/ g- I# V0 Q$ ?" P% f
scipy==1.2.1: k, N0 i0 r% L. @
seaborn==0.10.0
; l+ v9 v7 u) N% c6 \ l) s2 xpandas7 |) M' m7 X# p) Z! F3 A
lxml/ N& E1 O* k, P7 o% D" l& S
tqdm
/ y) ]. `4 B; R- ?5 k( d4、输入命令$ python weibo.py执行脚本。1 Q2 ? F0 F4 w5 D
9 G. D A9 v; W. x: O' n3 H& ^: \
5、爬取的csv结果文件内容如下,其他文件类型可以在这里就不再截图。
$ U) @( b2 z) m R7 u
0 P& F6 j& O* ?3 x点击下载cookie版代码 点击下载免cookie版代码
* K+ p h7 B- J& j6 j3 U# l0 c" A8 b/ B+ Y0 ?
3 y& p: w* V# s' \; p7 N) `, H" [ |