OpenCV实现无缝克隆算法的步骤详解

来源：jb51　　时间：2022/6/21 10:20:47　　对本文有异议

一、概述

借助无缝克隆算法，您可以从一张图像中复制一个对象，然后将其粘贴到另一张图像中，从而形成一个看起来无缝且自然的构图。

二、函数原型

给定一个原始彩色图像，可以无缝混合该图像的两个不同颜色版本。

void     cv::colorChange (InputArray src, InputArray mask, OutputArray dst, float red_mul=1.0f, float green_mul=1.0f, float blue_mul=1.0f)

src	输入 8 位 3 通道图像
mask	输入 8 位 1 或 3 通道图像
dst	输出与 src 大小和类型相同的图像
red_mul	R 通道倍增因子
green_mul	G 通道倍增因子
blue_mul	B 通道倍增因子

对选区内部的梯度场应用适当的非线性变换，然后用泊松求解器积分，局部修改图像的表观照明。

void     cv::illuminationChange (InputArray src, InputArray mask, OutputArray dst, float alpha=0.2f, float beta=0.4f)

src	输入 8 位 3 通道图像
mask	输入 8 位 1 或 3 通道图像
dst	输出与 src 大小和类型相同的图像
alpha	值范围在 0-2 之间
beta	值范围在 0-2 之间

图像编辑任务涉及全局变化（颜色/强度校正、过滤器、变形）或与选择有关的局部变化。在这里，我们有兴趣以无缝且轻松的方式实现局部更改，这些更改仅限于手动选择的区域 (ROI)。变化的程度从轻微的扭曲到完全被新颖的内容替代。

void     cv::seamlessClone (InputArray src, InputArray dst, InputArray mask, Point p, OutputArray blend, int flags)

src	输入 8 位 3 通道图像
dst	输入 8 位 3 通道图像
mask	输入 8 位 1 或 3 通道图像
p	在 dst 图像中指向放置对象的位置
blend	输出与 dst 大小和类型相同的图像
flags	可以是 cv::NORMAL_CLONE、cv::MIXED_CLONE 或 cv::MONOCHROME_TRANSFER 的克隆方法

通过仅保留边缘位置的梯度，在与泊松求解器集成之前，可以洗掉所选区域的纹理，使其内容具有平坦的外观。这里使用 Canny 边缘检测器。

void     cv::textureFlattening (InputArray src, InputArray mask, OutputArray dst, float low_threshold=30, float high_threshold=45, int kernel_size=3)

src	输入 8 位 3 通道图像
mask	输入 8 位 1 或 3 通道图像
dst	输出与 src 大小和类型相同的图像
low_threshold	范围从 0 到 100
high_threshold	值 > 100
kernel_size	要使用的 Sobel 内核的大小

三、OpenCV源码

1、源码路径

opencv\modules\photo\src\seamless_cloning.cpp

2、源码代码

#include "precomp.hpp"
#include "opencv2/photo.hpp"
 
#include "seamless_cloning.hpp"
 
using namespace std;
using namespace cv;
 
static Mat checkMask(InputArray _mask, Size size)
{
    Mat mask = _mask.getMat();
    Mat gray;
    if (mask.channels() > 1)
        cvtColor(mask, gray, COLOR_BGRA2GRAY);
    else
    {
        if (mask.empty())
            gray = Mat(size.height, size.width, CV_8UC1, Scalar(255));
        else
            mask.copyTo(gray);
    }
 
    return gray;
}
 
void cv::seamlessClone(InputArray _src, InputArray _dst, InputArray _mask, Point p, OutputArray _blend, int flags)
{
    CV_INSTRUMENT_REGION();
 
    const Mat src  = _src.getMat();
    const Mat dest = _dst.getMat();
    Mat mask = checkMask(_mask, src.size());
    dest.copyTo(_blend);
    Mat blend = _blend.getMat();
 
    Mat mask_inner = mask(Rect(1, 1, mask.cols - 2, mask.rows - 2));
    copyMakeBorder(mask_inner, mask, 1, 1, 1, 1, BORDER_ISOLATED | BORDER_CONSTANT, Scalar(0));
 
    Rect roi_s = boundingRect(mask);
    if (roi_s.empty()) return;
    Rect roi_d(p.x - roi_s.width / 2, p.y - roi_s.height / 2, roi_s.width, roi_s.height);
 
    Mat destinationROI = dest(roi_d).clone();
 
    Mat sourceROI = Mat::zeros(roi_s.height, roi_s.width, src.type());
    src(roi_s).copyTo(sourceROI,mask(roi_s));
 
    Mat maskROI = mask(roi_s);
    Mat recoveredROI = blend(roi_d);
 
    Cloning obj;
    obj.normalClone(destinationROI,sourceROI,maskROI,recoveredROI,flags);
}
 
void cv::colorChange(InputArray _src, InputArray _mask, OutputArray _dst, float red, float green, float blue)
{
    CV_INSTRUMENT_REGION();
 
    Mat src  = _src.getMat();
    Mat mask = checkMask(_mask, src.size());
    _dst.create(src.size(), src.type());
    Mat blend = _dst.getMat();
 
    Mat cs_mask = Mat::zeros(src.size(), src.type());
    src.copyTo(cs_mask, mask);
 
    Cloning obj;
    obj.localColorChange(src, cs_mask, mask, blend, red, green, blue);
}
 
void cv::illuminationChange(InputArray _src, InputArray _mask, OutputArray _dst, float alpha, float beta)
{
    CV_INSTRUMENT_REGION();
 
    Mat src  = _src.getMat();
    Mat mask = checkMask(_mask, src.size());
    _dst.create(src.size(), src.type());
    Mat blend = _dst.getMat();
 
    Mat cs_mask = Mat::zeros(src.size(), src.type());
    src.copyTo(cs_mask, mask);
 
    Cloning obj;
    obj.illuminationChange(src, cs_mask, mask, blend, alpha, beta);
 
}
 
void cv::textureFlattening(InputArray _src, InputArray _mask, OutputArray _dst,
                           float low_threshold, float high_threshold, int kernel_size)
{
    CV_INSTRUMENT_REGION();
 
    Mat src  = _src.getMat();
    Mat mask = checkMask(_mask, src.size());
    _dst.create(src.size(), src.type());
    Mat blend = _dst.getMat();
 
    Mat cs_mask = Mat::zeros(src.size(), src.type());
    src.copyTo(cs_mask, mask);
 
    Cloning obj;
    obj.textureFlatten(src, cs_mask, mask, low_threshold, high_threshold, kernel_size, blend);
}