|
|
BackgroundMattingV2 是华盛顿大学几位研究员提出的一种实时、高分辨率的背景替换技术，能保留头发细节，效果惊人，是基于 Python 实现的。在 4K 分辨率下，该技术的运行速度为 30fps，在现代 GPU 上，高清的运行速度为 60fps。该技术是基于背景抠图，其中一帧额外的背景被捕获并用于恢复前景蒙版和前景层。" V q' K' K# s
" T- _ M0 K6 p( D+ A2 p项目源码地址：
# Y" Z9 M& J8 E) v1 Ihttps://github.com/PeterL1n/BackgroundMattingV2
3 | c& S! }& F- I项目依赖库：0 v; D: ^( ?, f1 _6 U9 W
kornia==0.4.1# U! q* r0 Z+ P# I& P" |
tensorboard==2.3.0
/ G% i z% x3 F; ^" P& N7 r torchvision==0.8.1
, }3 ?* I: W( X' w) U. D tqdm==4.51.06 T/ a& B1 M3 Z" ]5 C7 Q6 ?1 i
opencv-python==4.4.0.44# ?7 B2 D' [3 r" m4 k1 E7 b$ O) w
onnxruntime==1.6.0/ g: U6 n$ U$ A7 ]% E/ U \
开发者提供的一些文件资源（国内需木弟子）：
1 q8 P' \& O8 {- G7 Z$ O6 n1、下载模型/权重文件7 O& R* C6 \: c: K
https://drive.google.com/drive/folders/1cbetlrKREitIgjnIikG1HdM4x72FtgBh?usp=sharing
! i, }; ]2 h% W" O6 \0 n2、用于练习的视频和图片文件( t9 g# | e0 {, w
HD视频：% D0 ?6 N1 p2 o* k3 N! c
https://drive.google.com/drive/folders/1j3BMrRFhFpfzJAe6P2WDtfanoeSCLPiq) B4 L6 c2 X3 q6 z/ }
4K视频和图片：
4 t- T4 ]" z7 ~, S+ ]0 O5 Thttps://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD?usp=sharing
0 X! \" j# i9 `" j0 r项目demo脚本介绍:
4 S' P! z3 _9 o8 Sinference_images.py：用于图片中的背景替换，用法如下：
8 I2 I; r" p2 f# p7 `python inference_images.py8 M( D5 f0 I0 `$ k
--model-type mattingrefine
0 p1 v9 i n/ Q7 c# o) N--model-backbone resnet50
6 o* h g& s9 y& D; `7 F--model-backbone-scale 0.25
+ S0 \% Z7 H6 l( {4 X5 d& ?. ]7 ~--model-refine-mode sampling
2 c# N) h# b! m1 V--model-refine-sample-pixels 80000# n3 _; \, e: `1 }
--model-checkpoint "PATH_TO_CHECKPOINT"
- @7 {; t5 s1 K--images-src "PATH_TO_IMAGES_SRC_DIR"
$ M; R7 n% b# i--images-bgr "PATH_TO_IMAGES_BGR_DIR": ?3 s/ K+ M! P1 G! p* c
--output-dir "PATH_TO_OUTPUT_DIR"& i" _2 |$ k* h( L" u! z
--output-type com fgr pha# X3 d% j1 X9 u0 f4 l
inference_video.py: 用于视频中的背景替换，用法如下：. e7 B: X' t3 x/ h8 C
python inference_video.py
, N" n6 ^6 q. G--model-type mattingrefine
4 f8 t; ~% X9 J# S--model-backbone resnet50
! P0 K" R( y# }* Z1 x- R- ]--model-backbone-scale 0.25 8 l- I7 @5 f( e6 a+ Z4 G; C# S
--model-refine-mode sampling
5 I- P/ V) G, z' l--model-refine-sample-pixels 80000 0 F; c" T, @3 R& r# `9 N
--model-checkpoint "PATH_TO_CHECKPOINT" ( j) [5 I7 j7 I6 ~+ R( g" j' e
--video-src "PATH_TO_VIDEO_SRC"
: G4 l( [; B: L# U7 A/ t$ S% R--video-bgr "PATH_TO_VIDEO_BGR" 4 Z* S: t8 X" j" Q
--video-resize 1920 1080 , E2 X7 a3 d6 S, ~3 Q
--output-dir "PATH_TO_OUTPUT_DIR"
3 b. _) t! o H3 h) U2 h* G& W0 X--output-type com fgr pha err ref
n7 O/ F$ H% P1 M P6 uinference_webcam.py：用于使用网络摄像头下的交互式背景替换，用法如下：$ z3 B" X4 r, i0 {9 p# f
python inference_webcam.py % M9 J5 G$ u! x* m
--model-type mattingrefine
8 E4 w! h6 t8 b! Q x--model-backbone resnet50 7 s5 @5 q5 y/ ?
--model-checkpoint "PATH_TO_CHECKPOINT" " j6 c7 O9 T7 h/ b& w y
--resolution 1280 720
4 ]8 u( ] |/ m0 ^. d0 W3 W$ L虚拟摄像机
2 ~; Q+ f; ], \' u 开发者提供了一个应用插件，通过他们的模型将网络摄像头视频输送到一个虚拟摄像头。该插件仅适用于Linux系统，可以在Zoom视频会议软件中使用。更多详情请查看:6 c; W3 i- u, D- E& k
https://github.com/andreyryabtsev/BGMv2-webcam-plugin-linux
E8 U! P# x7 }5 z在Google Colab上体验
3 C; T$ U) }6 q$ Z5 p) p 另外，开发者还提供了Google Colab的体验地址（国内需要木弟子），可以体验替换图片和视频中的背景。# ^) V! S, i$ w) `/ k A0 R' V
1、图片背景替换体验地址：
9 t6 q0 O# b8 _0 R( jhttps://colab.research.google.com/drive/1cTxFq1YuoJ5QPqaTcnskwlHDolnjBkB9?usp=sharing
! p0 l6 t, e4 ^( `! O0 M2、视频背景替换体验地址：% I. w; Z1 x7 [1 z1 N! e
https://colab.research.google.com/drive/1Y9zWfULc8-DDTSsCH-pX6Utw8skiJG5s?usp=sharing
: l; a; | `- a: h$ A2 }附上开发者提供的项目演示视频：% Z" k$ z0 {" i; L5 X
. @" _0 E! J- H" f |
|
|手机版|小黑屋|paopaomj.COM
( 
渝ICP备18007172号|
渝公网安备50010502503914号 )
发表于 2021-1-11 15:08:16