在这里插入图片描述

1、需求描述

输入图片
在这里插入图片描述
扫描得到如下的结果
在这里插入图片描述

用OpenCV构建文档扫描仪只需三个简单步骤:

1.边缘检测
2.使用图像中的边缘来找到代表被扫描纸张的轮廓。
3.应用透视变换来获得文档的自顶向下视图。

2、代码实现

导入必要的包

from skimage.filters import threshold_local
import numpy as np
import argparse
import cv2
import imutils

初始化一个坐标列表,该列表中的第一个元素是左上,第二个元素是右上,第三个元素是右下,第四个元素是左下

该坐标排序方法有缺陷,具体可参考 【python】OpenCV—Coordinates Sorted Clockwise

def order_points(pts):
	rect = np.zeros((4, 2), dtype = "float32")
	# 左上角点的和最小,然而右下角的点的和最大
	s = pts.sum(axis = 1)
	rect[0] = pts[np.argmin(s)]
	rect[2] = pts[np.argmax(s)]
	# 现在,计算点之间的差值,右上角的差值最小,而左下角的差值最大
	diff = np.diff(pts, axis = 1)
	rect[1] = pts[np.argmin(diff)]
	rect[3] = pts[np.argmax(diff)]
	# 返回有序坐标
	return rect


def four_point_transform(image, pts):
	# 获得点的一致顺序,并将它们分别拆封
	rect = order_points(pts)
	(tl, tr, br, bl) = rect
	# 计算新图像的宽度,这将是右下角和左下角x坐标或右上角和左上角x坐标之间的最大距离
	widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
	widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
	maxWidth = max(int(widthA), int(widthB))
	# 计算新图像的高度,这将是右上角和右下角y坐标或左上角和左下角y坐标之间的最大距离
	heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
	heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
	maxHeight = max(int(heightA), int(heightB))
	# 现在我们有了新图像的维数,构建目标点集以获得图像的“鸟瞰视图”(即自顶向下视图),再次指定左上、右上、右下和左下顺序中的点
	dst = np.array([
		[0, 0],
		[maxWidth - 1, 0],
		[maxWidth - 1, maxHeight - 1],
		[0, maxHeight - 1]], dtype = "float32")
	# 计算透视变换矩阵,然后应用它
	M = cv2.getPerspectiveTransform(rect, dst)
	warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
	# 返回变换后的图像
	return warped

构造参数解析器并解析参数

ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True, default="1.jpg",
				help = "Path to the image to be scanned")
args = vars(ap.parse_args())


# 加载图像并计算旧高度与新高度的比率,克隆它,并调整它的大小
image = cv2.imread(args["image"])


ratio = image.shape[0] / 500.0
orig = image.copy()
image = imutils.resize(image, height=500)

# ratio = 1.0
# orig = image.copy()


# 将图像转换为灰度,模糊它,并在图像中找到边缘
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv2.imwrite("gray.jpg", gray)

在这里插入图片描述

gray = cv2.GaussianBlur(gray, (7, 7), 0)
cv2.imwrite("GaussianBlur.jpg", gray)

这里 kernel size 需要设置大一些,不然很容易检测到发票上的黑色字体为轮廓了
在这里插入图片描述

edged = cv2.Canny(gray, 75, 200)
cv2.imwrite("Canny.jpg", edged)

在这里插入图片描述

显示原始图像和边缘检测图像

print("STEP 1: Edge Detection")
cv2.imshow("Image", image)
cv2.imshow("Edged", edged)
cv2.waitKey(0)

在这里插入图片描述

找到边缘图像中的轮廓,只保留最大的轮廓,并初始化屏幕轮廓

cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]
# 循环迭代所有轮廓
for c in cnts:
	# 近似轮廓
	peri = cv2.arcLength(c, True)
	approx = cv2.approxPolyDP(c, 0.02 * peri, True)
	# cv2.drawContours(image, c, -1, (0, 0, 255), 3)
	# 如果我们的近似轮廓有4个点,那么我们可以假设我们已经找到了我们的屏幕
	if len(approx) == 4:
		screenCnt = approx
		break

# 画出这张票的轮廓
print("STEP 2: Find contours of paper")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)

在这里插入图片描述

# 应用四点变换获得原始图像自上而下的视图
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv2.imwrite("warped.jpg", warped)

在这里插入图片描述

# 将变换后的图像转换为灰度,然后使用阈值给它“黑白”纸的效果
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
cv2.imwrite("warped_gray.jpg", warped)

在这里插入图片描述

T = threshold_local(warped, 11, offset = 10, method = "gaussian")
warped = (warped > T).astype("uint8") * 255
cv2.imwrite("warped_threshold_local.jpg", warped)

在这里插入图片描述

# 显示原始和扫描图像
print("STEP 3: Apply perspective transform")
cv2.imshow("Original", imutils.resize(orig, height = 650))
cv2.imshow("Scanned", imutils.resize(warped, height = 650))
cv2.waitKey(0)

在这里插入图片描述

再来个例子

输入图片
在这里插入图片描述
输出结果

在这里插入图片描述

3、涉及到的库函数

cv2.arcLength

cv2.arcLength 是 OpenCV(Open Source Computer Vision Library)库中的一个函数,用于计算多边形的周长或轮廓的弧长。这个函数在处理图像中的形状分析、轮廓检测等任务时非常有用。它接受一个轮廓(轮廓是一系列的点,通常通过边缘检测或轮廓查找算法获得)作为输入,并返回该轮廓的周长。

length = cv2.arcLength(contour, True)
  • contour:输入轮廓,应该是一个点集(通常是numpy.ndarray类型),这些点定义了轮廓的形状。

  • 第二个参数是True或False,指定轮廓是否应该被近似为闭合的(通过连接轮廓的第一个点和最后一个点)。如果轮廓已经是闭合的,或者你不关心轮廓是否闭合,可以传递True。如果轮廓不是闭合的,但你不希望它被视为闭合的,应该传递False。注意,这个参数在一些版本的OpenCV中可能不是必需的,或者默认值为True。

返回值

  • length:返回轮廓的周长或弧长,类型为浮点数。

cv2.approxPolyDP

cv2.approxPolyDP 是 OpenCV 库中的一个函数,用于对轮廓或曲线进行多边形逼近。该函数使用 Douglas-Peucker 算法来减少表示轮廓或曲线所需的点数,同时尽可能保持其形状特征。这个功能在图像处理、计算机视觉和机器学习等领域中非常有用,特别是在处理轮廓检测、形状分析等方面。

approx = cv2.approxPolyDP(curve, epsilon, closed)
  • curve:要逼近的曲线或轮廓,可以是二维点的列表或 NumPy 数组。
  • epsilon:逼近精度。这是一个距离值,表示原始曲线上的点与逼近后的多边形之间的最大距离。epsilon 的值越小,逼近结果越精确,但所需的点数也可能越多。
  • closed:一个布尔值,指定逼近后的多边形是否闭合。如果为 True,则逼近后的多边形是闭合的;如果为 False,则逼近结果可能不是闭合的。

返回值

  • approx:逼近后的多边形,以二维点的列表或 NumPy 数组的形式返回。

需要注意的是,epsilon 的值是一个权衡参数,需要根据具体应用进行调整。较小的 epsilon 值会产生更精确的逼近结果,但可能会增加计算复杂性和所需的存储空间。较大的 epsilon 值则会产生更简单的逼近结果,但可能会损失一些形状细节。因此,在实际应用中,需要根据具体需求来选择合适的 epsilon 值。

skimage.filters.threshold_local

skimage.filters.threshold_local 是 scikit-image 库中的一个函数,用于对图像进行局部阈值处理。与全局阈值处理(如使用固定的阈值来分割图像)不同,局部阈值处理会考虑图像中的每个像素及其邻域,从而根据局部区域的统计特性(如亮度或对比度)动态地确定阈值。这种方法在处理光照不均或具有不同亮度水平的图像时特别有用。

skimage.filters.threshold_local(image, block_size, method='gaussian', offset=0, mode='reflect', param=None, cval=0, **kwargs)

参数说明

  • image:输入图像,通常是灰度图像。
  • block_size:用于计算局部阈值的邻域大小(以像素为单位)。较大的块大小会增加计算成本,但可能会更好地适应图像中的光照变化。
  • method:确定如何计算局部阈值的方法。‘gaussian’(默认)使用高斯加权窗口,'mean’使用简单的平均值,'median’使用中位数。
  • offset:从计算出的局部阈值中减去的值。这可以用来调整最终的阈值水平。
  • mode:用于填充图像边界之外的值的方法。这可以是 ‘constant’、‘nearest’、‘reflect’ 或 ‘wrap’ 中的一个。
  • param:某些方法(如’gaussian’)可能接受额外的参数。对于 ‘gaussian’ 方法,param 可以是标准差(sigma),但在 threshold_local 函数中,这通常不是必需的,因为高斯权重是通过 block_size 隐式确定的。
  • cval:当 mode=‘constant’ 时,用于填充图像边界之外的值的常量值。
  • **kwargs:传递给 method 函数的额外关键字参数(如果有的话)。

返回值

  • 返回一个浮点数,表示计算出的局部阈值,或者一个与输入图像形状相同的数组,其中包含了每个像素的局部阈值(如果 method=‘multi’)。然而,注意 threshold_local 默认并不直接返回这样的数组;它返回的是一个单一的阈值,用于后续操作(如 threshold_local 通常会与 apply_threshold 或类似的函数结合使用来分割图像)。

imutils.grab_contours

imutils.grab_contours 是 imutils 库中的一个函数,该库是一个为OpenCV提供便利函数的Python库,旨在简化图像处理任务。在OpenCV中,特别是在使用cv2.findContours函数时,返回的轮廓信息可能会根据OpenCV的版本(主要是3.x和4.x版本之间)而有所不同。在OpenCV 3.x中,cv2.findContours返回三个值:图像、轮廓、和轮廓的层次结构。而在OpenCV 4.x中,它只返回两个值:轮廓和轮廓的层次结构。

imutils.grab_contours函数就是为了解决这种版本差异而设计的。它接受cv2.findContours的输出,并始终返回轮廓列表,无论OpenCV的版本如何。这样,开发者就可以编写不依赖于特定OpenCV版本的代码。

假设你正在使用OpenCV来检测图像中的轮廓,你可能会写出如下代码:

import cv2  
import imutils  
  
# 读取图像  
image = cv2.imread('path_to_image.jpg')  
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)  
blurred = cv2.GaussianBlur(gray, (5, 5), 0)  
edged = cv2.Canny(blurred, 30, 150)  
  
# 在OpenCV 4.x中,cv2.findContours返回两个值  
contours, hierarchy = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)  
  
# 使用imutils.grab_contours来获取轮廓  
contours = imutils.grab_contours(contours)  
  
# 现在,无论你的OpenCV版本是什么,contours都是一个轮廓列表  
# 接下来,你可以使用这些轮廓进行进一步的处理,比如绘制轮廓等  
cv2.drawContours(image, contours, -1, (0, 255, 0), 2)  
  
# 显示图像  
cv2.imshow("Image", image)  
cv2.waitKey(0)  
cv2.destroyAllWindows()

请注意,如果你正在使用OpenCV 3.x,cv2.findContours实际上会返回三个值,但imutils.grab_contours函数会忽略第一个返回值(通常是原始图像,但在这个上下文中并不重要),并只返回轮廓列表。这使得你的代码更加健壮,因为它不依赖于OpenCV的特定版本。

4、完整代码

# 导入必要的包
from skimage.filters import threshold_local
import numpy as np
import argparse
import cv2
import imutils

def order_points(pts):
	# 初始化一个坐标列表,该列表中的第一个元素是左上,第二个元素是右上,第三个元素是右下,第四个元素是左下
	rect = np.zeros((4, 2), dtype = "float32")
	# 左上角点的和最小,然而右下角的点的和最大
	s = pts.sum(axis = 1)
	rect[0] = pts[np.argmin(s)]
	rect[2] = pts[np.argmax(s)]
	# 现在,计算点之间的差值,右上角的差值最小,而左下角的差值最大
	diff = np.diff(pts, axis = 1)
	rect[1] = pts[np.argmin(diff)]
	rect[3] = pts[np.argmax(diff)]
	# 返回有序坐标
	return rect


def four_point_transform(image, pts):
	# 获得点的一致顺序,并将它们分别拆封
	rect = order_points(pts)
	(tl, tr, br, bl) = rect
	# 计算新图像的宽度,这将是右下角和左下角x坐标或右上角和左上角x坐标之间的最大距离
	widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
	widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
	maxWidth = max(int(widthA), int(widthB))
	# 计算新图像的高度,这将是右上角和右下角y坐标或左上角和左下角y坐标之间的最大距离
	heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
	heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
	maxHeight = max(int(heightA), int(heightB))
	# 现在我们有了新图像的维数,构建目标点集以获得图像的“鸟瞰视图”(即自顶向下视图),再次指定左上、右上、右下和左下顺序中的点
	dst = np.array([
		[0, 0],
		[maxWidth - 1, 0],
		[maxWidth - 1, maxHeight - 1],
		[0, maxHeight - 1]], dtype = "float32")
	# 计算透视变换矩阵,然后应用它
	M = cv2.getPerspectiveTransform(rect, dst)
	warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
	# 返回变换后的图像
	return warped


# 构造参数解析器并解析参数
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True, default="1.jpg",
				help = "Path to the image to be scanned")
args = vars(ap.parse_args())


# 加载图像并计算旧高度与新高度的比率,克隆它,并调整它的大小
image = cv2.imread(args["image"])


ratio = image.shape[0] / 500.0
orig = image.copy()
image = imutils.resize(image, height=500)

# ratio = 1.0
# orig = image.copy()


# 将图像转换为灰度,模糊它,并在图像中找到边缘
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv2.imwrite("gray.jpg", gray)

gray = cv2.GaussianBlur(gray, (7, 7), 0)
cv2.imwrite("GaussianBlur.jpg", gray)

edged = cv2.Canny(gray, 75, 200)
cv2.imwrite("Canny.jpg", edged)

# 显示原始图像和边缘检测图像
print("STEP 1: Edge Detection")
cv2.imshow("Image", image)
cv2.imshow("Edged", edged)
cv2.waitKey(0)

# 找到边缘图像中的轮廓,只保留最大的轮廓,并初始化屏幕轮廓
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]
# 循环迭代所有轮廓
for c in cnts:
	# 近似轮廓
	peri = cv2.arcLength(c, True)
	approx = cv2.approxPolyDP(c, 0.02 * peri, True)
	# cv2.drawContours(image, c, -1, (0, 0, 255), 3)
	# 如果我们的近似轮廓有4个点,那么我们可以假设我们已经找到了我们的屏幕
	if len(approx) == 4:
		screenCnt = approx
		break

# 画出这张票的轮廓
print("STEP 2: Find contours of paper")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)

# 应用四点变换获得原始图像自上而下的视图
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv2.imwrite("warped.jpg", warped)

# 将变换后的图像转换为灰度,然后使用阈值给它“黑白”纸的效果
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
cv2.imwrite("warped_gray.jpg", warped)


T = threshold_local(warped, 11, offset = 10, method = "gaussian")
warped = (warped > T).astype("uint8") * 255
cv2.imwrite("warped_threshold_local.jpg", warped)

# 显示原始和扫描图像
print("STEP 3: Apply perspective transform")
cv2.imshow("Original", imutils.resize(orig, height = 650))
cv2.imshow("Scanned", imutils.resize(warped, height = 650))
cv2.waitKey(0)

5、参考

参考学习来自 imutils基础(4)构建一个文档扫描仪

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部