SSE图像算法优化系列三十二:Zhang\Guo图像细化算法的C语言以及SIMD指令优化

       二值图像的细化算法也有很多种,比较有名的比如Hilditch细化、Rosenfeld细化、基于索引表的细化、还有Opencv自带的THINNING_ZHANGSUEN、THINNING_GUOHALL喜欢等等。这些都属于迭代的细化方式,当然还有一种是基于二值图像距离变换的细化方法,二值想比较,我个人认为是基于迭代的效果稳定、可靠,但是速度较慢,且速度和图片的内容有关,基于距离变换的版本,优点是速度稳定,但是效果差强人意。本文这里还是选择基于迭代的方式予以实现。

       相关的参考文章有:http://cgm.cs.mcgill.ca/~godfried/teaching/projects97/azar/skeleton.html     Hilditch细化

             http://www.cnblogs.com/xiaotie/archive/2010/08/12/1797760.html    对Hilditch细化的改进版

                http://cgm.cs.mcgill.ca/~godfried/teaching/projects97/azar/skeleton.html   Rosenfeld细化

              https://github.com/opencv/opencv_contrib/blob/4.x/modules/ximgproc/src/thinning.cpp    Opencv的Zhang\guo细化

  我们尝试的看下了Hilditch细化以及改进版本的Hilditch细化算法,发现其在某一个行的计算过程中,有着严重的前后依赖,非常不利于SIMD指令的并行化,这里我们优化了Opencv的两个算子。

    一、原始方案

       在上述的Opencv代码的链接中,以Zhang细化算法为例,其核心代码如下所示:

  if(thinningType == THINNING_ZHANGSUEN){ for (int i = 1; i < img.rows-1; i++) { for (int j = 1; j < img.cols-1; j++) { uchar p2 = img.at<uchar>(i-1, j); uchar p3 = img.at<uchar>(i-1, j+1); uchar p4 = img.at<uchar>(i, j+1); uchar p5 = img.at<uchar>(i+1, j+1); uchar p6 = img.at<uchar>(i+1, j); uchar p7 = img.at<uchar>(i+1, j-1); uchar p8 = img.at<uchar>(i, j-1); uchar p9 = img.at<uchar>(i-1, j-1); int A  = (p2 == 0 && p3 == 1) + (p3 == 0 && p4 == 1) + (p4 == 0 && p5 == 1) + (p5 == 0 && p6 == 1) + (p6 == 0 && p7 == 1) + (p7 == 0 && p8 == 1) + (p8 == 0 && p9 == 1) + (p9 == 0 && p2 == 1); int B  = p2 + p3 + p4 + p5 + p6 + p7 + p8 + p9; int m1 = iter == 0 ? (p2 * p4 * p6) : (p2 * p4 * p8); int m2 = iter == 0 ? (p4 * p6 * p8) : (p2 * p6 * p8); if (A == 1 && (B >= 2 && B <= 6) && m1 == 0 && m2 == 0) marker.at<uchar>(i,j) = 1; } } }

  非常之简洁啊,简洁的没有朋友,也没有效率的。 这样的代码其实只适合于新手学习算法的原理。无法用于实际的项目的。

  可以明显的看出,A\B\m1\m2的判断并不要放在一起,而是可以分开,分开的话在很多的情况下后续的计算就可以不用做了,要知道,这是一个迭代的算法,而且通常要迭代几百次,因此,每一个迭代里能少一次计算量,整体下来的时间是非常可观的。

  二、稍微改进版本

  我们稍微做一个脱离Opencv版本的代码版本:

int IM_Thinning_Zhangsuen_PureC(unsigned char *Src, unsigned char *Dest, int Width, int Height, int Stride) { int Channel = Stride / Width; if ((Src == NULL) || (Dest == NULL))                return IM_STATUS_NULLREFRENCE; if ((Width <= 0) || (Height <= 0))                    return IM_STATUS_INVALIDPARAMETER; if (Channel != 1)                                    return IM_STATUS_INVALIDPARAMETER; int Status = IM_STATUS_OK; const int MaxIter = 2000; unsigned char *Clone = (unsigned char *)calloc((Height + 2) * (Width + 2), sizeof(unsigned char)); unsigned short *IndexX = (unsigned short *)malloc(Width * Height / 4 * sizeof(unsigned short)); unsigned short *IndexY = (unsigned short *)malloc(Width * Height / 4 * sizeof(unsigned short)); if ((Clone == NULL) || (IndexX == NULL) || (IndexY == NULL)) { Status = IM_STATUS_OUTOFMEMORY; goto FreeMemory; } for (int Y = 0; Y < Height; Y++) { unsigned char *LinePS = Src + Y * Stride; unsigned char *LinePD = Clone + (Y + 1) * (Width + 2) + 1; for (int X = 0; X < Width; X++) { LinePD[X] = LinePS[X] & 1;        // 全部量化为0和1两个数值
 } } int Iter = 0; while (true) { int Amount = 0; for (int Y = 0; Y < Height; Y++) { unsigned char *LinePF = Clone + Y * (Width + 2) + 1; unsigned char *LinePS = Clone + (Y + 1) * (Width + 2) + 1; unsigned char *LinePT = Clone + (Y + 2) * (Width + 2) + 1; for (int X = 0; X < Width; X++) { int P1 = LinePS[X]; if (P1 == 0)    continue; // P9 P2 P3 // P8 P1 P4 // P7 P6 P5 //
                //int P9 = LinePF[X - 1]; //int P2 = LinePF[X]; //int P3 = LinePF[X + 1]; //int P8 = LinePS[X - 1]; //int P4 = LinePS[X + 1]; //int P7 = LinePT[X - 1]; //int P6 = LinePT[X]; //int P5 = LinePT[X + 1]; //int Sum = P2 + P3 + P4 + P5 + P6 + P7 + P8 + P9; //if ((Sum < 2) || (Sum > 6)) continue; 

                int P2 = LinePF[X]; int P8 = LinePS[X - 1]; int P4 = LinePS[X + 1]; int P6 = LinePT[X]; int Sum = P2 + P8 + P4 + P6; if (Sum == 4) continue; int P3 = LinePF[X + 1]; int P9 = LinePF[X - 1]; int P5 = LinePT[X + 1]; int P7 = LinePT[X - 1]; Sum += P3 + P5 + P7 + P9; if (Sum < 2) continue; int Count = 0; if ((P2 == 0) && (P3 == 1))        Count++; if ((P3 == 0) && (P4 == 1))        Count++; if ((P4 == 0) && (P5 == 1))        Count++; if ((P5 == 0) && (P6 == 1))        Count++; if ((P6 == 0) && (P7 == 1))        Count++; if ((P7 == 0) && (P8 == 1))        Count++; if ((P8 == 0) && (P9 == 1))        Count++; if ((P9 == 0) && (P2 == 1))        Count++; if ((Count == 1) && ((P2 & P4 & P6) == 0) && ((P4 & P6 & P8) == 0)) { IndexX[Amount] = X; IndexY[Amount] = Y; Amount++; } } } if (Amount == 0) break; for (int Y = 0; Y < Amount; Y++) { Clone[(IndexY[Y] + 1) * (Width + 2) + IndexX[Y] + 1] = 0; } Amount = 0; for (int Y = 0; Y < Height; Y++) {   //  后续的第二次循环,仅仅是几个变量判断不一样,自行添加 } if (Amount == 0)    break; for (int Y = 0; Y < Amount; Y++) { Clone[(IndexY[Y] + 1) * (Width + 2) + IndexX[Y] + 1] = 0; } Iter++; if (Iter >= MaxIter)    break; } for (int Y = 0; Y < Height; Y++) { unsigned char *LinePD = Dest + Y * Stride; unsigned char *LinePS = Clone + (Y + 1) * (Width + 2) + 1; for (int X = 0; X < Width; X++) { LinePD[X] = LinePS[X] == 1 ? 255 : 0; } } FreeMemory: if (Clone != NULL) free(Clone); if (IndexX != NULL) free(IndexX); if (IndexY != NULL) free(IndexY); return Status; }

  几个方面的改进和改动:

       1、使用了一个扩展边界的图像(高度和宽度在四周各扩散一个像素,类似于哨兵边界),用于减少每次取3*3领域时的边界判断。这个虽然占用了内存,但是可以很大的提高速度。

       2、把A1\B\M的判断分开写,这样可以让有些循环提前退出,提高速度。

       3、没有使用Vector,直接使用数组保存哪些需要改变值的位置(因为计算量小,对速度基本没有影响)。

       4、对B的判断分了2步走,可以稍微提高下速度。

   我们选择下面这个测试图: 

  《SSE图像算法优化系列三十二:Zhang\Guo图像细化算法的C语言以及SIMD指令优化》  《SSE图像算法优化系列三十二:Zhang\Guo图像细化算法的C语言以及SIMD指令优化》

  一副1024*1024大小的测试图,在我本机上上述测试代码的平均耗时大约是180ms,这个速度谈不上快。

  三、再次改进版本

       在我们进行SIMD优化前,我们还尝试了从算法层面上的另外一种优化。

  我们知道,在细化的算法中,本身已经是背景的像素是不要参与计算的,也就是上述代码中if (P1 == 0) continue; 的含义,那么如果没在迭代前,就算好了哪些部位不要计算,是不是迭代后就可以直接计算那些需要计算部分呢,这样就可以少了很多判断,虽然只是一个判断,但是在全图里如果有50%是背景,那就意味着要进行W*H/2判断的,再加上这个是在迭代里进行判断,计算量也是相当可观的。

  这个事先计算好哪些是前景的工作,针对二值图像,其实就是类似于传统的RLE行程编码,我们计算出每行前景的起点终点,等等。这个算法大家自行去研究。

  如果在每次迭代前都进行这个RLE行程编码,那也会带来新的问题,因为行程编码也是全图处理,也是一个需要时间的工作,那这样后续带来的速度优化反而会被行程编码给抵消甚至导致减速。但是,如果只进行迭代前的一次编码,随着迭代的进行,更多的像素被判定为背景,之前计算的行程编码里已经有很多是不需要计算的了, 为了解决这个矛盾,一个建议的处理方法就是,每个若干次迭代,更新下行程编码的结果,比如20次或者50次,这样的话,即不会因为行程编码的耗时影响整体速度,又在一定程度上逐次的减少了计算量。

  相关代码如下所示:

int IM_Thinning_Zhangsuen_PureC_Opt(unsigned char *Src, unsigned char *Dest, int Width, int Height, int Stride) { int Channel = Stride / Width; if ((Src == NULL) || (Dest == NULL))                return IM_STATUS_NULLREFRENCE; if ((Width <= 0) || (Height <= 0))                    return IM_STATUS_INVALIDPARAMETER; if (Channel != 1)                                     return IM_STATUS_INVALIDPARAMETER; int Status = IM_STATUS_OK; const int MaxIter = 2000; unsigned char *Clone = (unsigned char *)calloc((Height + 2) * (Width + 2), sizeof(unsigned char)); unsigned short *IndexX = (unsigned short *)malloc(Width * Height / 4 * sizeof(unsigned short)); unsigned short *IndexY = (unsigned short *)malloc(Width * Height / 4 * sizeof(unsigned short)); RLE_Line *RL_H = (RLE_Line *)malloc((Height + 2) * sizeof(RLE_Line)); if ((Clone == NULL) || (IndexX == NULL) || (IndexY == NULL) || (RL_H == NULL)) { Status = IM_STATUS_OUTOFMEMORY; goto FreeMemory; } for (int Y = 0; Y < Height; Y++) { unsigned char *LinePS = Src + Y * Stride; unsigned char *LinePD = Clone + (Y + 1) * (Width + 2) + 1; for (int X = 0; X < Width; X++) { LinePD[X] = LinePS[X] & 1; } } Status = IM_GetMaskRLE_Hori(Clone, Width + 2, Height + 2, Width + 2, RL_H); if (Status != IM_STATUS_OK)    goto FreeMemory; int Iter = 0; while (true) { if (Iter % 50 == 0)    // 每迭代50次更细一下
 { for (int Z = 0; Z < Height + 2; Z++) { if ((RL_H[Z].Amount != 0) && (RL_H[Z].SE != NULL)) free(RL_H[Z].SE); } Status = IM_GetMaskRLE_Hori(Clone, Width + 2, Height + 2, Width + 2, RL_H); } int Amount = 0; for (int Y = 0; Y < Height; Y++) { unsigned char *LinePF = Clone + Y * (Width + 2) + 1; unsigned char *LinePS = Clone + (Y + 1) * (Width + 2) + 1; unsigned char *LinePT = Clone + (Y + 2) * (Width + 2) + 1; for (int K = 0; K < RL_H[Y + 1].Amount; K++) { for (int X = RL_H[Y + 1].SE[K].Start - 1 ; X <= RL_H[Y + 1].SE[K].End - 1; X++) { int P1 = LinePS[X]; if (P1 == 0)    continue; // P9 P2 P3 // P8 P1 P4 // P7 P6 P5 // 条件3:至少有两个是前景点

                    int P2 = LinePF[X]; int P8 = LinePS[X - 1]; int P4 = LinePS[X + 1]; int P6 = LinePT[X]; int Sum = P2 + P8 + P4 + P6; if (Sum == 4) continue;                             // 条件2: P1,P3,P5,P7不全部为前景点
                    int P3 = LinePF[X + 1]; int P9 = LinePF[X - 1]; int P5 = LinePT[X + 1]; int P7 = LinePT[X - 1];                    // 以方便计算8连通联结数。
                    Sum += P3 + P5 + P7 + P9; if (Sum < 2) continue;                              // 条件3:至少有两个是前景点

                    int Count = 0; if ((P2 == 0) && (P3 == 1))        Count++; if ((P3 == 0) && (P4 == 1))        Count++; if ((P4 == 0) && (P5 == 1))        Count++; if ((P5 == 0) && (P6 == 1))        Count++; if ((P6 == 0) && (P7 == 1))        Count++; if ((P7 == 0) && (P8 == 1))        Count++; if ((P8 == 0) && (P9 == 1))        Count++; if ((P9 == 0) && (P2 == 1))        Count++; if ((Count == 1) && ((P2 & P4 & P6) == 0) && ((P4 & P6 & P8) == 0)) { IndexX[Amount] = X; IndexY[Amount] = Y; Amount++; } } } } if (Amount == 0) break; for (int Y = 0; Y < Amount; Y++) { Clone[(IndexY[Y] + 1) * (Width + 2) + IndexX[Y] + 1] = 0; } Amount = 0; for (int Y = 0; Y < Height; Y++) {  // 后续的第二次循环,自行添加 } if (Amount == 0) break; for (int Y = 0; Y < Amount; Y++) { Clone[(IndexY[Y] + 1) * (Width + 2) + IndexX[Y] + 1] = 0; } Iter++; if (Iter >= MaxIter)    break; } for (int Y = 0; Y < Height; Y++) { unsigned char *LinePD = Dest + Y * Stride; unsigned char *LinePS = Clone + (Y + 1) * (Width + 2) + 1; for (int X = 0; X < Width; X++) { LinePD[X] = LinePS[X] == 1 ? 255 : 0; } } FreeMemory: if (Clone != NULL) free(Clone); if (IndexX != NULL) free(IndexX); if (IndexY != NULL) free(IndexY); if (RL_H != NULL) { for (int Z = 0; Z < Height + 2; Z++) { if ((RL_H[Z].Amount != 0) && (RL_H[Z].SE != NULL)) free(RL_H[Z].SE); } free(RL_H); } return Status; }

  同样的图像,速度可以提高到55ms,有将近3倍额速度提高。

  不过这里的提速比例不是很固定的,对于不同的类型的图像结果不禁相同,对于那些有大块连续的二值图,提速就越明显,而对于毫无规律的随机图,可能就不是很明显了。

  四、SSE改进版本

     上述改进版本还可以通过SIMD指令进一步优化,类似于我在Sobel优化里使用的方法,我们一次性加载16个字节以及他周边的8个位置连续的16个字节,但是核心的技巧在于如何实现那些分支预测,特别是continue。

  因为一次性加载了16个像素,在利用了行程编码后,案例说这16个字节都是需要进行处理的目标,但是由于前述不是每次迭代都要更新行程编码的缘故,总会有部分是无效像素,也有可能是全部的无效像素,因此,我们处理的代码中就可能同时存在前景和背景,但是对于背景我们是不需要处理的,而前景像素也有可能在中间条件判断时退出循环,但是对于SIMD质量来说,他无法局部退出,要么大家一起计算,要么大家一起退出,因此,我们必须将须有的计算都完成,而不能提前退出,但是有一点特殊的就是,如果所有的像素都已经满足了某个提提前退出的条件,那也是可以退出的。

      因为我们知道,在每次迭代时,对于前景中哪些大块的范围,其中间的区域都是不满足要改变的条件的,也就是说在上面的 if (Sum == 4) continue;     if (Sum < 2) continue;  就满足了退出条件,因此利用SIMD一次性就可以做16次判断和计算。这样也可以提高速度。

    __m128i P1 = _mm_loadu_si128((__m128i *)(LinePS + X));
    __m128i FlagA = _mm_cmpeq_epi8(P1, _mm_setzero_si128());            //    全部为0,退出
    if (_mm_movemask_epi8(FlagA) == 65535)    continue;

    __m128i Flag = _mm_andnot_si128(FlagA, _mm_set1_epi8(255));            //    记录下那些是不为0的

    __m128i P2 = _mm_loadu_si128((__m128i *)(LinePF + X + 0));
    __m128i P8 = _mm_loadu_si128((__m128i *)(LinePS + X - 1));
    __m128i P4 = _mm_loadu_si128((__m128i *)(LinePS + X + 1));
    __m128i P6 = _mm_loadu_si128((__m128i *)(LinePT + X + 0));

    __m128i Sum = _mm_add_epi8(_mm_add_epi8(P2, P4), _mm_add_epi8(P6, P8));
    __m128i FlagB = _mm_cmpeq_epi8(Sum, _mm_set1_epi8(4));
    if (_mm_movemask_epi8(FlagB) == 65535)    continue;                    //    全部都等于4,退出
    Flag = _mm_andnot_si128(FlagB, Flag);                                //    记录下那些不为0,且Sum不等于4的

    __m128i P9 = _mm_loadu_si128((__m128i *)(LinePF + X - 1));
    __m128i P3 = _mm_loadu_si128((__m128i *)(LinePF + X + 1));
    __m128i P7 = _mm_loadu_si128((__m128i *)(LinePT + X - 1));
    __m128i P5 = _mm_loadu_si128((__m128i *)(LinePT + X + 1));

    Sum = _mm_add_epi8(Sum, _mm_add_epi8(_mm_add_epi8(P9, P3), _mm_add_epi8(P7, P5)));
    __m128i FlagC = _mm_cmplt_epi8(Sum, _mm_set1_epi8(2));
    if (_mm_movemask_epi8(FlagC) == 65535)    continue;                    //    全部都小于2,退出
    Flag = _mm_andnot_si128(FlagC, Flag);                                //    记录下那些不为0,且Sum不等于4的,后续的Sum小于2的

    __m128i Count = _mm_setzero_si128();

    Count = _mm_sub_epi8(Count, _mm_and_si128(_mm_cmpeq_epi8(P2, Zero), _mm_cmpeq_epi8(P3, One)));
    Count = _mm_sub_epi8(Count, _mm_and_si128(_mm_cmpeq_epi8(P3, Zero), _mm_cmpeq_epi8(P4, One)));
    Count = _mm_sub_epi8(Count, _mm_and_si128(_mm_cmpeq_epi8(P4, Zero), _mm_cmpeq_epi8(P5, One)));
    Count = _mm_sub_epi8(Count, _mm_and_si128(_mm_cmpeq_epi8(P5, Zero), _mm_cmpeq_epi8(P6, One)));
    Count = _mm_sub_epi8(Count, _mm_and_si128(_mm_cmpeq_epi8(P6, Zero), _mm_cmpeq_epi8(P7, One)));
    Count = _mm_sub_epi8(Count, _mm_and_si128(_mm_cmpeq_epi8(P7, Zero), _mm_cmpeq_epi8(P8, One)));
    Count = _mm_sub_epi8(Count, _mm_and_si128(_mm_cmpeq_epi8(P8, Zero), _mm_cmpeq_epi8(P9, One)));
    Count = _mm_sub_epi8(Count, _mm_and_si128(_mm_cmpeq_epi8(P9, Zero), _mm_cmpeq_epi8(P2, One)));

    __m128i P246 = _mm_and_si128(_mm_and_si128(P2, P4), P6);
    __m128i P468 = _mm_and_si128(_mm_and_si128(P4, P6), P8);

    __m128i FlagD = _mm_and_si128(_mm_cmpeq_epi8(Count, One), _mm_and_si128(_mm_cmpeq_epi8(P246, Zero), _mm_cmpeq_epi8(P468, Zero)));
    if (_mm_movemask_epi8(FlagD) == 0)    continue;

    Flag = _mm_and_si128(FlagD, Flag);

    //    用Flag.m128i_u8或者写入到一个临时数组里速度没啥区别
    if (_mm_extract_epi8(Flag, 0) == 255)
    {
        IndexX[Amount] = X + 0;
        IndexY[Amount] = Y;
        Amount++;
    }
    if (_mm_extract_epi8(Flag, 1) == 255)
    {
        IndexX[Amount] = X + 1; IndexY[Amount] = Y; Amount++; }  
      /////////////////////////////////////////////////
////////////////////////////////////////////////////////////////

  上面的细节有几个地方值的学习。

  第一、_mm_movemask_epi8的使用,这个我在很多场合下都提过,可用于批量判断一个SIMD寄存器里的状态。本例只用他做判断是否SSE寄存器都符合某一个指标。

       第二、Flag 变量的作用,Flag用于来记录下满足所有条件的像素,这样才能知道经过多个判断后最终还剩下那些像素需要真正的处理。其中_mm_andnot_si128也是一个灵活的应用。

  第三、if ((P2 == 0) && (P3 == 1)) Count++;   这样的语句如果直接翻译到SSE代码,是比较麻烦的(可以使用_mm_blendv_si128),我这里巧妙的使用了u8和i8数据类型的特点,u8的255就对应了i8的-1,0还是对应0,然后加法就可以变为减法了。

    第四、填写IndeX和IndexY的过程确实是无法用SIMD指令实现的,这里只能去拆解SIMD变量,这个有几个方法,一个就是用想本例中直接使用_mm_extract_epi8,另外一种方式可以是使用SIMD变量的m128i_u8成员,但是这个有可能对性能有所影响。

  使用SIMD优化后,上述相同的图片大概耗时在28ms左右,速度有进一步的提高。

  五、其他说明

  虽然较原始版本速度有较大的提高,但是和商业软件相比,还是有很大的差距,人家halcon这个图用时5ms,直接悲剧。

  至少目前从公开的资料中还没有看到halcon所用的算法的为什么这么快,待有缘了在研究这个算法吧。

  另外,halcon的计算结果和opencv的GulHALL的结果比较类似,但是那个算法要比Zhang还要慢。

  当然,CV自带的这两个算法是可以并行的,当然这里的必行是指迭代内部的并行,而不是迭代之间的并行,但是由于每次迭代的计算量相对于来说比较小,这种并行对CPU级别的线程来说是不太划算的,但是GPU级别的还是很友好的。不过HALONC这个算法可没有用GPU哦。

  测试Demo:  Zhang 以及  Guo 图像细化

  《SSE图像算法优化系列三十二:Zhang\Guo图像细化算法的C语言以及SIMD指令优化》

   如果想时刻关注本人的最新文章,也可关注公众号或者添加本人微信:  laviewpbt

                             《SSE图像算法优化系列三十二:Zhang\Guo图像细化算法的C语言以及SIMD指令优化》

 

    原文作者:Imageshop
    原文地址: https://www.cnblogs.com/Imageshop/p/16317205.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞