一款工具，借助深度学习模型可以一键抠去漫画中的文字
漫画抠图是汉化组翻译中必不可少而又工作量很大的一项工作，主要内容是将漫画中的文字抠去，以便替换成另一种语言。现在，这项工作可以自动化地完成了，一位韩国的开发者开源了一款工具，借助深度学习模型可以一键抠去漫画中的文字，连背景图中的文字都可以被抠去，效果十分惊人。
很多人都喜欢看日本漫画，不少作品已经成为很多人心中的童年回忆。但是对于漫画的翻译人员来说，他们需要去除原有漫画的对话框和背景文字，并将其替换为读者使用的语言。由于一本漫画可能有数万个对话框和对话，因此工作量是很大的。
现在，抠图的工作人员可以基本上解放他们的双手了。只要你有 tensorflow，就可以快速实现一键抠图，将漫画图像中的所有文字一键去除。
sickzil-machine，一键抠图
sickzil 是韩文中的作者提供了一个视频，用于展示这一工具的效果。
作者同时提供了自动工具抠图的案例。
对话框中的文字可以被完全消除。
有时候会有些文字消除不干净的情况，但基本不影响画面（漫画右上角标题符号）。同时，背景中被去掉文字后，背景画面可以被自动补全，基本不改变画面效果（画面右上角背景文字）。
从视频中可以看出，这一工具非常的方便。只需要选择待处理的漫画，然后运行工具即可。如果有一些画面被误去除，或者有一些去除不干净的情况下，用户可以手动修改需要被去除的文字。
那么，这一工具背后是什么技术呢？
技术
模型架构
据项目作者介绍，这一工具背后使用了两个模型，第一个是 seg net，用于检测漫画中的问题。另一个则是 compl net，用于处理漫画图像，去除文字并补全缺失的图像部分。
seg net 使用的是 u-net。这是一种编码器-解码器架构。编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。
u-net 的架构，将输入图像逐步池化后进行上采样，从而还原图像细节。
而 compl net 使用的是 deepfill v2，这是一个用于对任意被 mask 的图像进行修复的模型，可以适应各种 mask 的方式（块状遮盖或线条遮盖都可以）。deepfill 是 adobe 等机构提出一系列图像修复工具，机器之心也曾用过 deepfill v1，但是效果似乎没有论文展示的那么好。
目前 deepfill v2 并没有官方开源，但 github 上有其他开发者复现。
deepfill v2 的模型架构，可以进行图像修复。
有了这两大神器，基本上可以实现漫画文字的检测识别和去除文本后的图像补全。
数据集和训练
有了模型还不够，很多读者想知道，整个系统是怎样训练的。
在 seg net 上，作者使用了原始的漫画图像和文本内容遮盖数据，用于覆盖原始漫画中所有的文字部分。在 compl net 上，模型的输入为被移除了文字的漫画图像。模型使用了 285 个图像-遮盖对和 31500 张漫画图像，其中有将近 12000 张漫画是有文字的，因此训练的数据比较平衡。
安装和使用
作者没有透露训练模型的相关参数，但是提供了开发者需要准备的硬件配置。 对于开发者而言，运行代码需要准备 nvidia 驱动 410.x，cuda 10.0，cudnn >= 7.4.1，tensorflow 需要大于 1.13 版本。
配置代码步骤如下：
首先克隆相关代码：git clone https://github.com/kur-creative/sickzil-machine.git; cd sickzil-machine
下载 zip 文件，地址：https://github.com/kur-creative/sickzil-machine/releases。
解压并复制文件：sickzil-machine-0.1.1-pre0-win64-cpu-eng/resource/cnet 和 sickzil-machine-0.1.1-pre0-win64-cpu-eng/resource/snet 到文件目录：sickzil-machine/resource.
进入目录并安装：pip install -r requirements.txt
运行主程序：cd src; python main.py
聊天机器人会帮助旅游业提升效率吗
踩坑rust的partial copy导致metrics丢失
罗德与施瓦茨公司支持未来移动通信网络5G测试解决方案
信步科技SV1a-19016-KP嵌入式主板介绍
大涨90.73%，又一半导体企业科创板上市！
一款工具，借助深度学习模型可以一键抠去漫画中的文字
太阳能语音警示杆森林防火的新选择
智能感应灯，可以达到什么程度？
好的不止是音质，做工同样也精致，vivo X6拆解
手机销量9年来最惨,市值反超5700亿美元,三星是如何闷声发财的?
全面屏HTCU11+评测 配置全面特色突出价格略贵
苹果iOS 10.3.1正式版发布：居然支持32位设备
高效率的太阳能电池能能否为卫星提供动力？
琅菱陶瓷自动化产线助推陶瓷材料行业高质量发展
爱立信：5G将成为迄今为止部署最快的一代移动技术
调查显示受访者普遍认为WeWork与波音表现差
高功率多功能超声波电源发生器
欧姆龙继电器：欧姆龙高频继电器在自动检测设备中的应用
有了物联网以后AI的新发展趋势是什么
物联网技术在工业自动化智能工厂中的作用
很多人都喜欢看日本漫画，不少作品已经成为很多人心中的童年回忆。但是对于漫画的翻译人员来说，他们需要去除原有漫画的对话框和背景文字，并将其替换为读者使用的语言。由于一本漫画可能有数万个对话框和对话，因此工作量是很大的。
现在，抠图的工作人员可以基本上解放他们的双手了。只要你有 tensorflow，就可以快速实现一键抠图，将漫画图像中的所有文字一键去除。
sickzil-machine，一键抠图
sickzil 是韩文中的作者提供了一个视频，用于展示这一工具的效果。
作者同时提供了自动工具抠图的案例。
对话框中的文字可以被完全消除。
有时候会有些文字消除不干净的情况，但基本不影响画面（漫画右上角标题符号）。同时，背景中被去掉文字后，背景画面可以被自动补全，基本不改变画面效果（画面右上角背景文字）。
从视频中可以看出，这一工具非常的方便。只需要选择待处理的漫画，然后运行工具即可。如果有一些画面被误去除，或者有一些去除不干净的情况下，用户可以手动修改需要被去除的文字。
那么，这一工具背后是什么技术呢？
技术
模型架构
据项目作者介绍，这一工具背后使用了两个模型，第一个是 seg net，用于检测漫画中的问题。另一个则是 compl net，用于处理漫画图像，去除文字并补全缺失的图像部分。
seg net 使用的是 u-net。这是一种编码器-解码器架构。编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。
u-net 的架构，将输入图像逐步池化后进行上采样，从而还原图像细节。
而 compl net 使用的是 deepfill v2，这是一个用于对任意被 mask 的图像进行修复的模型，可以适应各种 mask 的方式（块状遮盖或线条遮盖都可以）。deepfill 是 adobe 等机构提出一系列图像修复工具，机器之心也曾用过 deepfill v1，但是效果似乎没有论文展示的那么好。
目前 deepfill v2 并没有官方开源，但 github 上有其他开发者复现。
deepfill v2 的模型架构，可以进行图像修复。
有了这两大神器，基本上可以实现漫画文字的检测识别和去除文本后的图像补全。
数据集和训练
有了模型还不够，很多读者想知道，整个系统是怎样训练的。
在 seg net 上，作者使用了原始的漫画图像和文本内容遮盖数据，用于覆盖原始漫画中所有的文字部分。在 compl net 上，模型的输入为被移除了文字的漫画图像。模型使用了 285 个图像-遮盖对和 31500 张漫画图像，其中有将近 12000 张漫画是有文字的，因此训练的数据比较平衡。
安装和使用
作者没有透露训练模型的相关参数，但是提供了开发者需要准备的硬件配置。 对于开发者而言，运行代码需要准备 nvidia 驱动 410.x，cuda 10.0，cudnn >= 7.4.1，tensorflow 需要大于 1.13 版本。
配置代码步骤如下：
首先克隆相关代码：git clone https://github.com/kur-creative/sickzil-machine.git; cd sickzil-machine
下载 zip 文件，地址：https://github.com/kur-creative/sickzil-machine/releases。
解压并复制文件：sickzil-machine-0.1.1-pre0-win64-cpu-eng/resource/cnet 和 sickzil-machine-0.1.1-pre0-win64-cpu-eng/resource/snet 到文件目录：sickzil-machine/resource.
进入目录并安装：pip install -r requirements.txt
运行主程序：cd src; python main.py
聊天机器人会帮助旅游业提升效率吗
踩坑rust的partial copy导致metrics丢失
罗德与施瓦茨公司支持未来移动通信网络5G测试解决方案
信步科技SV1a-19016-KP嵌入式主板介绍
大涨90.73%，又一半导体企业科创板上市！
一款工具，借助深度学习模型可以一键抠去漫画中的文字
太阳能语音警示杆森林防火的新选择
智能感应灯，可以达到什么程度？
好的不止是音质，做工同样也精致，vivo X6拆解
手机销量9年来最惨,市值反超5700亿美元,三星是如何闷声发财的?
全面屏HTCU11+评测 配置全面特色突出价格略贵
苹果iOS 10.3.1正式版发布：居然支持32位设备
高效率的太阳能电池能能否为卫星提供动力？
琅菱陶瓷自动化产线助推陶瓷材料行业高质量发展
爱立信：5G将成为迄今为止部署最快的一代移动技术
调查显示受访者普遍认为WeWork与波音表现差
高功率多功能超声波电源发生器
欧姆龙继电器：欧姆龙高频继电器在自动检测设备中的应用
有了物联网以后AI的新发展趋势是什么
物联网技术在工业自动化智能工厂中的作用