|
|
BackgroundMattingV2 是华盛顿大学几位研究员提出的一种实时、高分辨率的背景替换技术，能保留头发细节，效果惊人，是基于 Python 实现的。在 4K 分辨率下，该技术的运行速度为 30fps，在现代 GPU 上，高清的运行速度为 60fps。该技术是基于背景抠图，其中一帧额外的背景被捕获并用于恢复前景蒙版和前景层。
6 o$ O; P/ H& b1 H$ a5 x
1 a6 z! F* Q) @7 L) F# }: v: W3 Z项目源码地址：* z$ s6 K" [ `
https://github.com/PeterL1n/BackgroundMattingV2
6 V+ z) B6 b2 {% m, [! X* c l项目依赖库：
0 V S3 @) ?7 M. ^9 b kornia==0.4.1
) Y, x3 R2 O) L1 q, o# A0 W tensorboard==2.3.0* J: w/ L" s% u3 E0 D7 E. Z* c
torchvision==0.8.16 h% `# |4 \6 P1 t( r
tqdm==4.51.0
6 b+ {7 m% v/ Z opencv-python==4.4.0.44
& M! f1 ]7 p9 ]. \2 h2 c onnxruntime==1.6.08 m5 c, n' S$ D8 s- e, x0 p' W: }0 g
开发者提供的一些文件资源（国内需木弟子）：
" U2 |- ?! B. O% \. g' b1 d+ }1、下载模型/权重文件0 ~3 g( ~& {# x0 c6 F) E
https://drive.google.com/drive/folders/1cbetlrKREitIgjnIikG1HdM4x72FtgBh?usp=sharing- q" u5 l$ _/ P/ j, I# n
2、用于练习的视频和图片文件
% H0 R+ V6 O$ u7 ?' ~- xHD视频：
{) s3 [' l; _0 _# W' A* Thttps://drive.google.com/drive/folders/1j3BMrRFhFpfzJAe6P2WDtfanoeSCLPiq
1 K3 ]) Z) F5 l4K视频和图片：4 O4 b6 I. N$ M, |) d8 y) L
https://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD?usp=sharing8 i# J- @+ _& s3 _( s8 X( O, y' k1 m
项目demo脚本介绍:0 }0 d& _2 {( T# H2 p' C* B9 e; x; c
inference_images.py：用于图片中的背景替换，用法如下：
2 Q7 W5 s2 _( P, Mpython inference_images.py. b* H" A. Y* _7 ]1 _. o) F
--model-type mattingrefine: T% p9 N' A J: z- A. T) Y
--model-backbone resnet50/ n% ~+ k s3 S9 ~& x2 q
--model-backbone-scale 0.25
( o2 d5 m+ ^7 j3 q4 S; E- H" R7 w( n--model-refine-mode sampling
+ n" O8 }) z/ U$ I, E. a- T Y--model-refine-sample-pixels 80000+ {5 E f0 d6 C) x; b8 d
--model-checkpoint "PATH_TO_CHECKPOINT"
' k& y0 M2 ?* E--images-src "PATH_TO_IMAGES_SRC_DIR"
$ `* i2 ]# y) L: n! J5 w- }--images-bgr "PATH_TO_IMAGES_BGR_DIR"& }, v$ w& P3 e- F @( D* n+ t4 {% b
--output-dir "PATH_TO_OUTPUT_DIR"5 O- u$ U4 L! E, a- ^5 q% I& B5 w
--output-type com fgr pha) e" v7 m3 C% Y: c( g. C- d) ]
inference_video.py: 用于视频中的背景替换，用法如下：
- k+ p' \4 p: v1 x Tpython inference_video.py & {1 L, e! d4 |
--model-type mattingrefine . R. J& P- `& z- {& ^8 O) M. r, P6 Y
--model-backbone resnet50 9 V! ^. ?% x, a3 H4 ~. l
--model-backbone-scale 0.25 3 _7 V/ J2 k1 t9 G7 F
--model-refine-mode sampling 4 A$ L( p' G# W
--model-refine-sample-pixels 80000 : v5 p' z# c$ b! [! U, ^3 d/ N
--model-checkpoint "PATH_TO_CHECKPOINT"
# I2 f8 W4 Q+ b# [( w--video-src "PATH_TO_VIDEO_SRC" & J/ j5 @) O/ _4 ?* s
--video-bgr "PATH_TO_VIDEO_BGR" ; T/ S& _; b2 p" v* A/ h$ k
--video-resize 1920 1080
- y2 u. {2 b C0 G5 U9 O--output-dir "PATH_TO_OUTPUT_DIR" ) w) e4 p8 E# Q4 e4 L
--output-type com fgr pha err ref% z0 C9 J( N7 ^4 K* }4 O4 u
inference_webcam.py：用于使用网络摄像头下的交互式背景替换，用法如下：
$ D6 n6 ?: S& E6 _python inference_webcam.py
/ T3 A2 d; M" g$ V) R--model-type mattingrefine . M) ~. X9 J$ A( ]% {$ F" n4 P
--model-backbone resnet50
: F* Q- } F) S$ A4 _--model-checkpoint "PATH_TO_CHECKPOINT"
, U4 ` l9 G$ [ }--resolution 1280 720
! q/ E* A4 z% M7 c0 P- k+ p- U! @虚拟摄像机+ T9 x2 f+ v2 ^1 J' G
开发者提供了一个应用插件，通过他们的模型将网络摄像头视频输送到一个虚拟摄像头。该插件仅适用于Linux系统，可以在Zoom视频会议软件中使用。更多详情请查看:! w, p4 N0 M2 d& H: R, P ?
https://github.com/andreyryabtsev/BGMv2-webcam-plugin-linux
$ o$ _& U( ]+ v7 R, a; k& m6 H在Google Colab上体验3 F9 u8 g7 r+ K# d7 R
另外，开发者还提供了Google Colab的体验地址（国内需要木弟子），可以体验替换图片和视频中的背景。
& t+ J9 Q+ w- z! ^' Q, u! n$ @1、图片背景替换体验地址：) }; S! c- F* W+ ]
https://colab.research.google.com/drive/1cTxFq1YuoJ5QPqaTcnskwlHDolnjBkB9?usp=sharing) X+ Z& R3 U% ?, G" ?. p
2、视频背景替换体验地址：
3 _9 b1 V: [. o' X8 j5 |/ Q8 N% jhttps://colab.research.google.com/drive/1Y9zWfULc8-DDTSsCH-pX6Utw8skiJG5s?usp=sharing
9 a( n; w) }; U3 s5 e附上开发者提供的项目演示视频：
1 l7 [* C: Z1 q/ u! _: d V! B1 j* R
[4 n9 x4 B5 i |
|
|手机版|小黑屋|paopaomj.COM
( 
渝ICP备18007172号|
渝公网安备50010502503914号 )
发表于 2021-1-11 15:08:16