前言

上一篇我们完成了一对戴口罩和脱面罩的互补应用，这一篇来看一下最近抖音上看到一个批量提取线稿的视频，掌握其核心原理，我们用 OpenCV 就很容易实现一个更快速的方案。

Photoshop 提取线稿

最近刷抖音看见一个视频

实现原理

要将一张图片转为线稿图，基本要经历以下几个步骤：

将彩色图转换成灰度图

对灰度图进行求其反

做高斯模糊

颜色减淡融合到灰度图

OpenCV 提取线稿

为了方便看图片效果，这次我们用 jupyter notebook 来做。

1. 导入库文件

import cv2 
from matplotlib import pyplot as plt 
%matplotlib inline 

2. 显示原图

input_img = cv2.imread("image.jpg") 
plt.figure(figsize=(10,7)) 
plt.imshow(cv2.cvtColor(input_img, cv2.COLOR_BGR2RGB)) 

3. 转灰度图

gray_img = cv2.cvtColor(input_img, cv2.COLOR_BGR2GRAY) 
plt.figure(figsize=(10,7)) 
plt.imshow(cv2.cvtColor(gray_img, cv2.COLOR_BGR2RGB)) 

4. 灰度图反色

inv_gray_img = 255 - gray_img 
plt.figure(figsize=(10,7)) 
plt.imshow(cv2.cvtColor(inv_gray_img, cv2.COLOR_BGR2RGB)) 

5. 高斯模糊

 ksize=21 
sigma=0 
blur_img = cv2.GaussianBlur(inv_gray_img, ksize=(ksize, ksize), sigmaX=sigma, sigmaY=sigma) 
plt.figure(figsize=(10,7)) 
plt.imshow(cv2.cvtColor(blur_img, cv2.COLOR_BGR2RGB)) 

6. 颜色减淡融合

 sketch_img = cv2.divide(gray_img, 255 - blur_img, scale=256)  # 颜色减淡融合 
plt.figure(figsize=(15,10)) 
plt.imshow(cv2.cvtColor(sketch_img, cv2.COLOR_BGR2RGB)) 

几行代码就搞定了，要比速度的话，那 Python+OpenCV 就没有输过。

（ PS 的设计师别打我！）

sketchKeras 提取线稿

上面 OpenCV 的方法虽然简单，但仔细看发髻和袖口处的线条还是不够清晰，那么我们用神经网络的方式再来实现一下。

1. 源码下载

git clone https://github.com/lllyasviel/sketchKeras.git 

下载权重文件 mod.h5，放到项目目录下

2. 分析网络结构

sketchKeras 是一个 u-net 类型的网络， 作者没有公布模型结构，但我们可以通过 tensorboard 用其 Keras 的模型文件来解读一下其网络结构形式。

先把 keras 转成 pb 文件

python keras_to_tensorflow.py --input_model="mod.h5" --output_model="mod.pb" 

然后就能用 tensorboard 导入模型

mkdir logs 
python3 tensorboard_graph.py 

项目下生成 logs 目录就导出了计算图

tensorboard --logdir=logs/ --host=127.0.0.1 

我们可以看到就是一个典型的 unet 架构，输入 [3 * 512 * 512 * 1] 不停的下采样到 [3 * 32 * 32 * 512]，然后再上采样回来的过程。


也可以安装一个 Netron，解读网络会更方便些。

3. 预处理

输入原始图片，先 resize 成 384*512（长或宽一边为 512），然后转灰度图，再做高斯模糊，两者相减之后，最后归一化处理成 [3, 512, 512, 1] 的 Tensor，就完成了预处理。

from_mat = from_mat.transpose((2, 0, 1)) 
light_map = np.zeros(from_mat.shape, dtype=np.float) 
for channel in range(3): 
    light_map[channel] = get_light_map_single(from_mat[channel]) 
light_map = normalize_pic(light_map) 
light_map = resize_img_512_3d(light_map)  

4. 推理输出

上面分析过，神经网络输出是 [3, 512, 512, 1]，需要按比例裁剪到原始尺寸，然后降噪处理后就得到我们需要的线框图了。

# 模型推理 (3, 512, 512, 1) 
line_mat = mod.predict(light_map, batch_size=1) 
# 去除 batch 维度 (512, 512, 3) 
line_mat = line_mat.transpose((3, 1, 2, 0))[0] 
# 裁剪 (512, 384, 3) 
line_mat = line_mat[0:int(new_height), 0:int(new_width), :] 
show_active_img_and_save('sketchKeras_colored', line_mat, 'sketchKeras_colored.jpg') 
line_mat = np.amax(line_mat, 2) 
# 降噪 
show_active_img_and_save_denoise_filter2('sketchKeras_enhanced', line_mat, 'sketchKeras_enhanced.jpg') 
show_active_img_and_save_denoise_filter('sketchKeras_pured', line_mat, 'sketchKeras_pured.jpg') 
show_active_img_and_save_denoise('sketchKeras', line_mat, 'sketchKeras.jpg') 

完美！

如果遇到 load_model requires h5py 报错的话，安装一下 h5py 即可。

sudo apt-get install libhdf5-dev 
pip install h5py 

 

可以看到，用 sketchKeras 转换的线稿笔顺会更清晰些，而 sketchKeras_colored 包含了颜色的要素，这对后续图片上色会有很大帮助。