分类： Python技术

python删除相似度高的图片

1.参考博客：
python—–删除同一文件夹下相似的图片
Python-列表删除重复元素/图像相似度判断及删除相似图像
python 图像相似 phash和compare_ssim比较
利用Python轻松实现图片相似度对比（一）
利用Python轻松实现图片相似度对比（二）
因为输入是视频，切完帧之后都是连续图片，所以主要参考*篇博客的*种方法。我的目录结构如下：

其中frame_output是视频切帧后的保存路径，1和2文件夹分别对应两个是视频切帧后的图片。

2.切帧的代码如下：
#encoding:utf-8
import os
import sys
import cv2

video_path = ‘/home/pythonfile/video/’ # *对路径，video下有两段视频
out_frame_path = os.path.join(os.path.dirname(os.path.abspath(__file__)), ‘frame_output’) #frame_output是视频切帧后的保存路径
if not os.path.exists(out_frame_path):
os.makedirs(out_frame_path)
print(‘out_frame_path’, out_frame_path)
files = []
list1 = os.listdir(video_path)
print(‘list’, list1)
for i in range(len(list1)):
item = os.path.join(video_path, list1[i])
files.append(item)
print(‘files’,files)
for k,file in enumerate(files):
frame_dir = os.path.join(out_frame_path, ‘%d’%(k+1))
if not os.path.exists(frame_dir):
os.makedirs(frame_dir)
cap = cv2.VideoCapture(file)
j = 0
print(‘start prossing NO.%d video’ % (k + 1))
while True:
ret, frame = cap.read()
j += 1
if ret:
#每三帧保存一张
if j % 3 == 0:
cv2.imwrite(os.path.join(frame_dir, ‘%d.jpg’%j), frame)
else:
cap.release()
break
print(‘prossed NO.%d video’%(k+1))

3.删除相似度高的图片
根据我的文件结构参考*篇博客的*种方法修改后的代码如下：

# coding: utf-8
import os
import cv2
# from skimage.measure import compare_ssim
# from skimage.metrics import _structural_similarity
from skimage.metrics import structural_similarity as ssim

def delete(filename1):
os.remove(filename1)

def list_all_files(root):
files = []
list = os.listdir(root)
# os.listdir()方法：返回指定文件夹包含的文件或子文件夹名字的列表。该列表顺序以字母排序
for i in range(len(list)):
element = os.path.join(root, list[i])
# 需要先使用python路径拼接os.path.join()函数，将os.listdir()返回的名称拼接成文件或目录的*对路径再传入os.path.isdir()和os.path.isfile().
if os.path.isdir(element): # os.path.isdir()用于判断某一对象(需提供*对路径)是否为目录
# temp_dir = os.path.split(element)[-1]
# os.path.split分割文件名与路径,分割为data_dir和此路径下的文件名，[-1]表示只取data_dir下的文件名
files.append(list_all_files(element))

elif os.path.isfile(element):
files.append(element)
# print(‘2’,files)
return files

def ssim_compare(img_files):
count = 0
for currIndex, filename in enumerate(img_files):
if not os.path.exists(img_files[currIndex]):
print(‘not exist’, img_files[currIndex])
break
img = cv2.imread(img_files[currIndex])
img1 = cv2.imread(img_files[currIndex + 1])
#进行结构性相似度判断
# ssim_value = _structural_similarity.structural_similarity(img,img1,multichannel=True)
ssim_value = ssim(img,img1,multichannel=True)
if ssim_value > 0.9:
#基数
count += 1
imgs_n.append(img_files[currIndex + 1])
print(‘big_ssim:’,img_files[currIndex], img_files[currIndex + 1], ssim_value)
# 避免数组越界
if currIndex+1 >= len(img_files)-1:
break
return count

if __name__ == ‘__main__’:
path = ‘/home/dj/pythonfile/frame_output/’

img_path = path
imgs_n = []

all_files = list_all_files(path) #返回包含完整路径的所有图片名的列表
print(‘1’,len(all_files))

for files in all_files:
# 根据文件名排序，x.rfind(‘/’)是从右边寻找*个‘/’出现的位置，也就是*后出现的位置
# 注意sort和sorted的区别，sort作用于原列表，sorted生成新的列表，且sorted可以作用于所有可迭代对象
files.sort(key = lambda x: int(x[x.rfind(‘/’)+1:-4]))#路径中包含“/”
# print(files)
img_files = []
for img in files:
if img.endswith(‘.jpg’):
# 将所有图片名都放入列表中
img_files.append(img)
count = ssim_compare(img_files)
print(img[:img.rfind(‘/’)],”路径下删除的图片数量为：”,count)
for image in imgs_n:
delete(image)

4.关于导入skimage.measure import compare_ssim出错的解决方法：
from skimage.measure import compare_ssim as sk_cpt_ssim error，从skimage导入compare_ssim出错。
将

from skimage.measure import compare_ssim
1
改为

from skimage.metrics import _structural_similarity
1
参考官网：https://scikit-image.org/docs/stable/auto_examples/transform/plot_ssim.html#sphx-glr-auto-examples-transform-plot-ssim-py

SSIM（structural similarity）算法原理

5.查看python安装路径及依赖包路径
ubuntu查看python及安装包的位置

6.*后贴上_structural_similarity.py的源码，以后学习
from warnings import warn
import numpy as np
from scipy.ndimage import uniform_filter, gaussian_filter

from ..util.dtype import dtype_range
from ..util.arraycrop import crop
from .._shared.utils import warn, check_shape_equality

__all__ = [‘structural_similarity’]

def structural_similarity(im1, im2,
*,
win_size=None, gradient=False, data_range=None,
multichannel=False, gaussian_weights=False,
full=False, **kwargs):
“””
Compute the mean structural similarity index between two images.

Parameters
———-
im1, im2 : ndarray
Images. Any dimensionality with same shape.
win_size : int or None, optional
The side-length of the sliding window used in comparison. Must be an
odd value. If `gaussian_weights` is True, this is ignored and the
window size will depend on `sigma`.
gradient : bool, optional
If True, also return the gradient with respect to im2.
data_range : float, optional
The data range of the input image (distance between minimum and
maximum possible values). By default, this is estimated from the image
data-type.
multichannel : bool, optional
If True, treat the last dimension of the array as channels. Similarity
calculations are done independently for each channel then averaged.
gaussian_weights : bool, optional
If True, each patch has its mean and variance spatially weighted by a
normalized Gaussian kernel of width sigma=1.5.
full : bool, optional
If True, also return the full structural similarity image.

Other Parameters
—————-
use_sample_covariance : bool
If True, normalize covariances by N-1 rather than, N where N is the
number of pixels within the sliding window.
K1 : float
Algorithm parameter, K1 (small constant, see [1]_).
K2 : float
Algorithm parameter, K2 (small constant, see [1]_).
sigma : float
Standard deviation for the Gaussian when `gaussian_weights` is True.

Returns
——-
mssim : float
The mean structural similarity index over the image.
grad : ndarray
The gradient of the structural similarity between im1 and im2 [2]_.
This is only returned if `gradient` is set to True.
S : ndarray
The full SSIM image. This is only returned if `full` is set to True.

Notes
—–
To match the implementation of Wang et. al. [1]_, set `gaussian_weights`
to True, `sigma` to 1.5, and `use_sample_covariance` to False.

.. versionchanged:: 0.16
This function was renamed from “skimage.measure.compare_ssim“ to
“skimage.metrics.structural_similarity“.

References
———-
.. [1] Wang, Z., Bovik, A. C., Sheikh, H. R., & Simoncelli, E. P.
(2004). Image quality assessment: From error visibility to
structural similarity. IEEE Transactions on Image Processing,
13, 600-612.
https://ece.uwaterloo.ca/~z70wang/publications/ssim.pdf,
:DOI:`10.1109/TIP.2003.819861`

.. [2] Avanaki, A. N. (2009). Exact global histogram specification
optimized for structural similarity. Optical Review, 16, 613-621.
:arxiv:`0901.0065`
:DOI:`10.1007/s10043-009-0119-z`

“””
check_shape_equality(im1, im2)

if multichannel:
# loop over channels
args = dict(win_size=win_size,
gradient=gradient,
data_range=data_range,
multichannel=False,
gaussian_weights=gaussian_weights,
full=full)
args.update(kwargs)
nch = im1.shape[-1]
mssim = np.empty(nch)
if gradient:
G = np.empty(im1.shape)
if full:
S = np.empty(im1.shape)
for ch in range(nch):
ch_result = structural_similarity(im1[…, ch],
im2[…, ch], **args)
if gradient and full:
mssim[…, ch], G[…, ch], S[…, ch] = ch_result
elif gradient:
mssim[…, ch], G[…, ch] = ch_result
elif full:
mssim[…, ch], S[…, ch] = ch_result
else:
mssim[…, ch] = ch_result
mssim = mssim.mean()
if gradient and full:
return mssim, G, S
elif gradient:
return mssim, G
elif full:
return mssim, S
else:
return mssim

K1 = kwargs.pop(‘K1’, 0.01)
K2 = kwargs.pop(‘K2’, 0.03)
sigma = kwargs.pop(‘sigma’, 1.5)
if K1 < 0:
raise ValueError(“K1 must be positive”)
if K2 < 0:
raise ValueError(“K2 must be positive”)
if sigma < 0:
raise ValueError(“sigma must be positive”)
use_sample_covariance = kwargs.pop(‘use_sample_covariance’, True)

if gaussian_weights:
# Set to give an 11-tap filter with the default sigma of 1.5 to match
# Wang et. al. 2004.
truncate = 3.5

if win_size is None:
if gaussian_weights:
# set win_size used by crop to match the filter size
r = int(truncate * sigma + 0.5) # radius as in ndimage
win_size = 2 * r + 1
else:
win_size = 7 # backwards compatibility

if np.any((np.asarray(im1.shape) – win_size) < 0):
raise ValueError(
“win_size exceeds image extent. If the input is a multichannel ”
“(color) image, set multichannel=True.”)

if not (win_size % 2 == 1):
raise ValueError(‘Window size must be odd.’)

if data_range is None:
if im1.dtype != im2.dtype:
warn(“Inputs have mismatched dtype. Setting data_range based on ”
“im1.dtype.”, stacklevel=2)
dmin, dmax = dtype_range[im1.dtype.type]
data_range = dmax – dmin

ndim = im1.ndim

if gaussian_weights:
filter_func = gaussian_filter
filter_args = {‘sigma’: sigma, ‘truncate’: truncate}
else:
filter_func = uniform_filter
filter_args = {‘size’: win_size}

# ndimage filters need floating point data
im1 = im1.astype(np.float64)
im2 = im2.astype(np.float64)

NP = win_size ** ndim

# filter has already normalized by NP
if use_sample_covariance:
cov_norm = NP / (NP – 1) # sample covariance
else:
cov_norm = 1.0 # population covariance to match Wang et. al. 2004

# compute (weighted) means
ux = filter_func(im1, **filter_args)
uy = filter_func(im2, **filter_args)

# compute (weighted) variances and covariances
uxx = filter_func(im1 * im1, **filter_args)
uyy = filter_func(im2 * im2, **filter_args)
uxy = filter_func(im1 * im2, **filter_args)
vx = cov_norm * (uxx – ux * ux)
vy = cov_norm * (uyy – uy * uy)
vxy = cov_norm * (uxy – ux * uy)

R = data_range
C1 = (K1 * R) ** 2
C2 = (K2 * R) ** 2

A1, A2, B1, B2 = ((2 * ux * uy + C1,
2 * vxy + C2,
ux ** 2 + uy ** 2 + C1,
vx + vy + C2))
D = B1 * B2
S = (A1 * A2) / D

# to avoid edge effects will ignore filter radius strip around edges
pad = (win_size – 1) // 2

# compute (weighted) mean of ssim
mssim = crop(S, pad).mean()

if gradient:
# The following is Eqs. 7-8 of Avanaki 2009.
grad = filter_func(A1 / D, **filter_args) * im1
grad += filter_func(-S / B2, **filter_args) * im2
grad += filter_func((ux * (A2 – A1) – uy * (B2 – B1) * S) / D,
**filter_args)
grad *= (2 / im1.size)

if full:
return mssim, grad, S
else:
return mssim, grad
else:
if full:
return mssim, S
else:
return mssim

Python基础入门：九大必学点

小编整理了一天，希望对想学习的朋友用，认真看与学，你就能敲会简单的码，学习上也就能事功半倍，下面就是本章的内容大概，喜欢就一定要收藏起来。

缩进
Python 函数没有明显的 begin 和 end，没有标明函数的开始和结束的花括号。唯一的分隔符是一个冒号 (?，接着代码本身是缩进的。

例子：

#函数
def func(value):
print value #缩进
if value == 1:
value += 1
elif value == 2:
pass
else:
value += 10

标识符
变量是标识符的例子。 标识符 是用来标识 某样东西 的名字。在命名标识符的时候，你要遵循这些规则：

1.python中的标识符是区分大小写的。

2.标示符以字母或下划线开头，可包括字母，下划线和数字,大小写敏感

3.以下划线开头的标识符是有特殊意义的。

•以单下划线开头（_foo）的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用“from xxx import *”而导入；
•以双下划线开头的（foo）代表类的私有成员；
•以双下划线开头和结尾的（foo）代表python里特殊方法专用的标识，如__init（）代表类的构造函数。

4.标识符不能是保留字

and elif global or yield
assert else if pass
break except import print
class exec in raise
continue finally is return
def for lambda try
del from not while

变量
赋值语句
•赋值语句建立对象引用值
•变量名在首次赋值时会被建立
•变量名在引用前必须先赋值,不能引用未声明赋值的变量

赋值方式
•简单赋值
Variable(变量)=Value(值)
s = ‘spam’

•多变量赋值
python中原始的元组和列表赋值语句形成，*后已被通用化，以接受右侧可以是是任何类型的序列，只要长度相等即可。注意，长度一定相等
Variable1,variable2,…=Value1,Value2,…
s,h = ‘a’,‘b’ 元组赋值，位置性 【常用】
[s,h] =[‘a’,‘b’] 列表赋值，位置性
a,b,c,d = ‘spam’ 序列赋值，通用性
a,*b = ‘spam’ 拓展序列解包（python3）

•多目标赋值
a=b=variable
s = h = ‘spam’ 多目标赋值
注意：多个变量内存中指向同一对象，对于可变类型需要，修改一个会对其他造成影响

•自变赋值
如+=，-=，*=等。
在自变赋值中，python仅计算一次，而普通写法需计算两次；
自变赋值会修改原始对象，而不是创建一个新对象。
s +=42 增强赋值
x += y
优点:
程序员输入更少
左侧只需计算一次，优化技术自动原处修改，更快
l +=[] 原处修改
l = l+[] 复制，生成新的对象

运算符
一个表达式可以分解为运算符和操作数

运算符 的功能是完成某件事，它们由如+这样的符号或者其他特定的关键字表示
运算符需要数据来进行运算，这样的数据被称为 操作数
运算符优先顺序列表(从*高到*低)
运算符的描述

‘expr’ 字符串转换
{key:expr,…} 字典
[expr1,expr2…] 列表
(expr1,expr2,…) 元组
function(expr,…) 函数调用
x[index:index] 切片
x[index] 下标索引取值
x.attribute 属性引用
~x 按位取反
+x，-x 正，负
x**y 幂
x*y，x/y，x%y 乘，除，取模
x+y，x-y 加，减
x<<y，x>>y 移位
x&y 按位与
x^y 按位异或
x|y 按位或
x<y，x<=y，x==y，x!=y，x>=y，x>y 比较
x is y，x is not y 等同测试
x in y，x not in y 成员判断
not x 逻辑否
x and y 逻辑与
x or y 逻辑或
lambda arg,…:expr Lambda匿名函数
结合规律

运算符通常由左向右结合，即具有相同优先级的运算符按照从左向右的顺序计算

计算顺序
默认地，运算符优先级表决定了哪个运算符在别的运算符之前计算。然而，如果你想要改变它们的计算顺序，你得使用圆括号。好的做法：默认对复杂的运算加括号，而不是依赖于默认结合和计算顺序

真值
真值测试
•任何非零数字或非空对象都为真
•数字零，空对象以及特殊对象None都为假
•比较和相等测试都会递归地运用到数据结构中
•比较和相等测试会返回True或False
真值表

对象/常量 值
“” 假
“string” 真
0 假
2>=1 真
-2<=-1 真
()空元组 假
[]空列表 假
{}空字典 假
None 假

布尔表达式
三种布尔表达式运算符

x and y
x or y
not x

比较
•数字通过相对大小进行比较
•字符串时按照字典顺序的，一个字符一个字符比较
•列表和元组从左到右对每部分的内容进行比较
•字典通过排序后的键值列表进行比较
•数字混合类型比较在python3是错误的，但是python2.6支持，固定但任意的排序规则
布尔数
•有两个永远不改变的值True，False
•布尔是整型的子类，但不能被再继承
•没有__nonzero__()方法的对象的默认值是True
•对于值为0的任何数字或空集，值False
•在数学运算中，Bollean值的True和False分别对应于1和0

基本控制流
if
基本的条件测试语句，用来判断可能遇到的不同情况，并针对不同的情况进行操作
基本形式

if <条件>:
<语句>
elif <条件>:
<语句>
else:
<语句>

注意
python根据缩进判断, elif和else部分是可选的

例子:

a = 1
b = 2
c = 3;d=4 #两个放一句用分号隔开，不过建议分行
if a < b and c < d:
print(“branch a”)
elif a == b:
print(“branch b”)
else:
print(“branch c”)
switch

python 本身没有 switch 语句，若需要，用if/elif/else实现完成同样的工作,某些情况可以考虑用字典
也可以用dict的形式
if/else三元运算符
A = ((X and Y) or Z)
A = Y if X else Z
例： a = ‘t’ if x else ‘a’
for
在这里插入图片描述

基本语法
循环控制语句，可以用于循环遍历某一序列
else块可选，在循环终止的时候执行，若是break终止循环，else不执行
格式：

for <对象变量> in <对象集合>:
if<条件>:
break
if<条件>:
continue
<其他语句>
else:
<其他语句>

注意：
1.对象集合可以是列表，字典以及元组等
2.for…in循环对于任何序列都适用
3.for遍历一个字典时，遍历的是字典的键
•rang & xrange
可以通过range()函数产生一个整数列表，完成计数循环
range([start,] stop[, step])
start可选参数，起始数
stop终止数，若为x，产生从0-(x-1)的整数列表
step可选参数，步长,未写默认为1
range(1,5) 包含序列为 [1,2,3,4]
xrange和range区别
(python3.x的可无视)

在Range的方法中，它会生成一个list的对象，但是在XRange中，它生成的却是一个xrange的对象，当返回的东西不是很大的时候，或者在一个循环里，基本上都是从头查到底的情况下，这两个方法的效率差不多。但是，当返回的东西很大，或者循环中常常会被Break出来的话，还是建议使用XRange，这样既省空间，又会提高效率。

>>> print range(1, 5)
[1, 2, 3, 4]
>>> print xrange(1, 5)
xrange(1, 5)

在上面语句中，range返回了一个普通List，而xrange返回了一个特定的xrange类型的对象。由于 xrange 方法也创建整数 list（其使用相同参数），所以它与 range 方法非常相似。但是，xrange 方法仅在需要时才在 list 中创建整数。当需要迭代大量整数时，xrange 方法更适用，因为它不会创建*大的 list，那样会消耗大量计算机内存。
while
与if语句类似，含一个条件测试语句，循环，允许重复执行一个语句块。

可选else语句块，同for的else块。

格式：

while <条件>:
if <条件>:
break
if <条件>:
continue
<其他语句>
else:
<语句>

说明:

•while循环条件变为False的时候，else块才被执行
•若是使用break结束循环，while可选的else块不执行
•python没有do while或do until循环语句
break & continue & pass
break，终止循环语句，停止循环，若是for/while循环中终止，其else不执行

continue,结束当前，进入下一轮循环 – 跳到*近所在循环的开头处（来到循环首行）

pass 什么事也不做，只是空占位语句,它用于那些语法上必须要有什么语句，但程序什么也不做的场合

循环else块 ：只有循环正常离开时才会执行，即

如果你从for或while循环中break终止 ，任何对应的循环else块将不执行。记住，break语句也可以在for循环中使用

编写循环的技巧
在迭代过程中修改迭代序列不安全（只有在使用链表这样的可变序列时才会有这样的情况）。如果你想要修改你迭代的序列（例如，复制选择项），你可以迭代它的复本。使用切割标识就可以很方便的做到这一点

>>> for x in a[:]: # make a slice copy of the entire list
… if len(x) > 6: a.insert(0, x)

在字典中循环时，关键字和对应的值可以使用 iteritems() 方法同时解读出来

>>> knights = {‘gallahad’: ‘the pure’, ‘robin’: ‘the brave’}
>>> for k, v in knights.iteritems():
… print k, v
…
gallahad the pure
robin the brave

在序列中循环时，索引位置和对应值可以使用 enumerate() 函数同时得到。

>>> for i, v in enumerate([‘tic’, ‘tac’, ‘toe’]):
… print i, v