News 机器视觉

高光谱成像技术(HIS)是对相机采集到的宽幅光谱进行分析的技术。不同于普通的RGB相机,高光谱成像在每一个像元上通过更多的通道来记录更多的图像在光谱纬度的信息。

高光谱成像起初是被特别利用在卫星上,用来对地球的自然环境进行监测。经过多年的探索跟使用,现如今的很多对于高光谱成像在植物,土地跟水的应用技术已经相对成熟。但是高光谱成像技术带来的技术革命远不止这些。


欧盟医学联合会近些年成功的将Headwall高光谱成像技术引进到外科医学平台。 利用该技术,外科医生可以更快,更准确的在原本不是很容易确定病灶的部位进行检测,从而可以为患者制定更有效的治疗方式。这其中的一个很成功的应用是在脑部肿瘤方面的应用。在以往,因为颅腔的高封闭特性,颅内组织病变是一件很难检查的事情。即便通过传统的化学跟物理检测得知了病变性质,也不会有更多的信息来帮助治疗过程。2016年,联合会利用Headwall高光谱成像光谱仪搭建了高光谱成像癌症检测系统。该系统可以实时提供一个高分辨率,经过像差校正的高光谱图像给神经外科医生。帮助医生去分辨出哪些是病变的组织,哪些是正常的组织。这在有高光谱成像技术帮助之前是很难实时做到的。

脑部肿瘤RGB图像                      脑部肿瘤高光谱图像

由于通过可见光用肉眼很难去区分到底哪些组织是正常的,哪些是病变的,所以想要通过图像来区别这两种组织就要从非可见光的范围内对他们进行分析。在这套高光谱肿瘤检测系统中,在传感器获得到高光谱图像后,利用大脑病变组织与正常组织在非可见光的光谱特征的不同,通过利用特殊波段进行计算,生成彩色的指数图。利用醒目的颜色标记出病变的位置,提醒医生哪些可以摘除,哪些不可以。这样可以大大降低手术意外发生的概率。也可以大大提高手术对病变组织的移除效率。现在,该系统已经投放到脑外科临床进行实用并获得不小的成功。这也使得更多的机构开始着手研究高光谱成像技术在其他医学方面可以带来的技术升级。


不同于其欧盟的研究,美国国家标准技术研究所(NIST)的研究着眼于高光谱在医学试验上的应用。现如今高光谱应用在其他行业中已经趋近于成熟,所以,图像数据获取方面已经不用再花费更多的精力再去研究了。反倒是在图像处理后的结果应用更需要完善。鉴于在医学应用中没有现成的定位系统,没有办法在外科医生进行手术的时候给出做直观的病变范围的限定。所以设计一种可以直观的划定出哪些是病变组织,哪些对于医学应用来说就不是很有必要。对此,NIST研究设计了一款点样仪。


NIST点样仪

这种点样仪可以通过软件对高光谱成像进行初步的校正,然后经过提取出高光谱波段的不同DN值来计算,算出一个指数并通过理化试验设定一个阈值来区分哪些是病变的细胞或组织,哪些是正常的。在区分好了好与坏之后发送指令给孔径很小的着色针让其在不同的部分着不一样的颜色,从而以最直观的方式在样本中区别病变与正常。


高光谱成像从只应用于卫星,发展到搭载于UAV与室内。越来越完善的发展可以提供给医学应用以及研究更多一个维度的数据参考。这种多一个维度的参考给医学技术带来的技术革命越来越多。在不久的将来,也会有更多的应用出现在临床。



引用:

*M.L. Clarke, J.Y. Lee, D.V. Samarov, D.W. Allen, M. Litorja, R. Nossal and J. Hwang. Designing microarray phantoms for hyperspectral imaging validation. Biomedical Optics Express, Vol. 3(6), pp. 1291-1299, doi: 10.1364/BOE.3.001300.




...
发布时间: 2023-04-17 16:24:39
浏览次数:13

德国弗劳恩霍夫研究所和德累斯顿工业大学的学者在Recycling期刊上发表了基于荧光成像和机器学习的黑色塑料垃圾分类研究。该方法采用了美国Headwall高光谱成像光谱仪Hyperspec VNIR(400-1000nm)结合荧光技术和机器算法,取得了较好的结果。这项工作有助于回收工业黑色塑料颗粒,例如汽车或电子行业,由于这些塑料还不能以高纯度(99.9%)进行分类,往往不能经济回收。为了解决这一问题,本文研究了在近红外光谱范围内附加照明的成像荧光光谱与机器学习或深度学习算法相结合的方法。使用的算法包括LDA, kNN,SVM,ENSEMBLE和CNNs。特别用CNNs算法尝试考虑塑料颗粒形状来提高分类准确度。此外,还研究了随机搜索算法对分类算法超参数的自动优化问题,目的是提高分类模型的准确度。研究人员检测了12类塑料中的14种塑料,每一种约400种颗粒。并尝试训练一个整体模型,对12类塑料进行分类。CNNs算法得到了最高的分类准确度93.5%。另一个尝试是分类41种与工业塑料有关的混合物,每个混合物最多不超过三种塑料。ENSEMBLE,SVM和CNN算法的平均分类准确度都达到99.0%。41个混合物中18个混合物的总分类准确度达到99.9%。结果表明,该方法是一种很有前途的黑色工业塑料垃圾分类方法。


关键词:高光谱成像;机器学习;黑色塑料;分类;排序;回收;荧光成像;深度学习


1、 介绍

鉴于有限的资源、不断增长的需求以及破坏环境的开采和生产条件,原材料的材料回收越来越重要。这尤其适用于塑料,目前塑料主要是用原油制造的。目前,全球塑料材料回收率仅为9%左右。另外11%用于热回收,其余则填埋。大多数回收塑料还经常被加工成劣质的次级产品。原因是缺乏合适的传感器技术对塑料进行分类,这使得分离具有非常高的纯度(有时高达99.9%)的塑料混合物成为可能。这尤其适用于工业黑色塑料,它们通常由复杂的材料混合而成,并被碳填料染成黑色。用于塑料分选的标准分离技术:如采用浮沉法分类或静电分离法或使用近红外高光谱成像仪分选,都不适合黑色塑料。其他方法如X射线荧光(XRF)适用于黑色塑料的分类,但仅限于少数塑料组合。

对于黑色工业塑料的分类方法,目前正在探索中,包括中红外光谱范围的高光谱成像和太赫兹光谱,但这两种方法仪器技术昂贵,投入产出比低,并且需要大的塑料颗粒尺寸。另一种是用激光诱导击穿光谱(LIBS)或拉曼光谱,然而,这两种方法还没有得到广泛应用。

目前最有前途的技术是根据其荧光性对黑色塑料进行分类。许多塑料在强激光照射下显示出特有的荧光。荧光产生的确切原因还没有得到很好的研究。假设荧光主要是由塑料中的添加剂或杂质引起的。有了这项技术,也可以对黑色塑料进行分类,而且已经有了商业应用,实现的精度不超过98%。

本工作旨在改进用于黑色塑料分类的荧光光谱技术,从而进一步提高分类精度。为此,将荧光光谱技术与高光谱成像技术相结合。这样,除了可以得到塑料颗粒的荧光光谱外,还可以得到塑料颗粒的形状和纹理。这对于低温研磨产生的颗粒塑料类型来说尤其具有特点。卷积神经网络(CNNs)算法在图像分类方面已经取得了巨大的成功,该方法在分类中将被用来考虑塑料颗粒的形状。

实验用成像荧光光谱仪测量了12类塑料中的14种塑料,每种400个颗粒。测量结果使用LDA,kNN,SVM,ENSEMBLE,RS和CNNs算法建立和优化模型。研究发现,使用光谱和形状信息的CNNs对12种塑料进行分类时,总体分类准确率显著高于仅使用光谱信息的经典机器学习算法。对于混合物的分类,ENSEMBLE, SVM,和CNNs三种算法之间没有差异。此外,采用随机优化的方法对超参数进行自动优化,为提高模型的整体分类精度提供了很好的可能性。总的来说,在41种2类或3类塑料混合物中,有18种可以达到理想的99.9%的总体分类精度。


2、 材料与方法

2.1黑色工业塑料

实验使用了12个塑料类中的14种不同的黑色塑料。在检测前通过低温研磨粉碎至5-12 mm的粒度。在添加和不添加玻璃纤维的情况下对聚酰胺(PA6和PA66)进行了测试。在评价中,有和没有玻璃纤维的塑料被视为一类。

2.2成像荧光光谱仪

系统示意图如图1所示。整套系统包括450nm的激光发生器、旋转镜、截止频率为473 nm的双色镜、边缘波长为458 nm的长通滤光片、美国Headall高光谱成像仪HyperSpec VNIR(400-1000nm)、870nm的LED照明光源和线性移动平台。


2.3数据获取和处理

通过图1搭载的成像荧光系统获取数据,400个样本,每次测40个,共测10次。根据塑料颗粒在870 nm的近红外反射率阈值与背景衬底分离,从数据中删除了尺寸小于10像素(边长小于0.5 mm)的非常小的颗粒。光谱范围从501nm截止到664nm,超出这个范围没有荧光。

2.4分类实验

分类实验的顺序为先进行数据预处理,然后对分类模型进行超参数优化。




图2:超参数(HP)优化分类实验过程示意图

通过机器学习、深度学习、超参数优化等一系列算法后得到多个分类模型,利用交叉验证的总体分类精度对分类模型进行比较。




图3:卷积神经网络(CNN)原理结构图

3、 结果与讨论

3.1成像荧光测量

图4显示了三种不同黑色塑料颗粒的测量示例。这三种塑料具有不同的荧光特性:PA6有清晰的荧光,SBR只有部分荧光,而HDPE没有荧光。在HDPE样品的测量中,在近红外光谱范围内的附加照明(870 nm)尤为重要,这样就可以测量非荧光塑料的位置和形状。此外,背景和塑料颗粒的区分是很容易的。可以看出,PA6与SBR之间的光谱存在明显的差异,塑料颗粒的形状也得到了很好的表征。




图4:用成像荧光光谱仪在(a) 530 nm和(b) 870 nm波长下测量三种黑色塑料颗粒的彩色编码荧光强度。(c)三种塑料颗粒的光谱。红色:聚酰胺6 (PA6),蓝色:丁苯橡胶(SBR),绿色:高密度聚乙烯(HDPE),灰色:背景(Background)

有些塑料样本(如SBR和PPS)在光谱上与其他塑料不同。然而,有些塑料样本在图5得分图中也显示出明显的重叠(如TPE、TPU和TEEE),对于这些塑料用光谱特性进行分来就很困难,对于这些塑料,可以通过考虑颗粒形状来改进分类。此外,可以看到,塑料PA6和PA66光谱变化很大,在得分图的几个位置都能找到。这可能是由于有和没有玻璃纤维添加剂的塑料被视为一类塑料造成的。然而,总的来说,得分图只提供了对塑料进行分类可能性的初步指示。




图5:所有被研究塑料颗粒的均值光谱第一和第二主成分(PCA)分析得分图

3.2分类实验

3.2.1单一预测模型对所有塑料进行分类

在使用随机搜索(RS)的自动超参数优化中,外部循环的整体交叉验证精度作为函数评估次数的函数。为了更好地概述,图6只显示了四分之一的标准偏差,虚线表示标准的整体分类精度。可以看到,SVMs的优化效果最差,这导致整体平均分类精度增长缓慢,标准差较大。优化后的总体分类准确率(86.8%)与DA算法(86.2%)相当。对于其余的算法,CNNs的效果最好(92.2%)。kNN和ENSEMBLE算法非常接近(89.8%),DA提供的总体分类精度要低得多。




图6


表1显示了RS优化模型的总体分类精度和kappa系数的比较和标准超参数训练模型的总体精度和kappa系数的比较。可以看到用CNNs对12类塑料分类的准确度最高,可达到93.5%。




表1

3.2.2用个别预测模型对相关塑料混合物进行分类

实验结果见表2,可以看出,无论是对ENSEMBLE和SVM模型进行RS随机搜索超参数优化的模型,还是经过Transfer learning迁移学习训练的CNN模型,其结果都优于Standard标准参数训练的模型。所有三种算法的平均总体准确率为99.0%。在41种塑料组合中,有18种组合的总体分类准确率达到99.9%或更高,有25种组合的总体分类准确率超过99.5%。




表2 41个混合塑料样品的个体分类模型结果:总体分类精度最高的用粗体显示


4、 结论

在本研究中,使用在近红外光谱范围内附加照明的成像荧光光谱仪对低温研磨后的黑色塑料颗粒进行分类。这些塑料是在回收汽车或电子行业的塑料部件时产生的。由于这些塑料通常是复合成分,废物在回收之前要磨成小颗粒,然后必须以高纯度(99.9%)进行分类。即使是最小的杂质也会降低回收材料的质量,从而降低可实现的价格。即使是最小的杂质也会降低回收材料的质量,从而降低可实现的价格。这种纯度的黑色塑料颗粒还无法进行分类。因此,我们的目标是在450nm激光激发后测量黑色塑料的荧光,并使用机器学习模型以较高的总体精度对它们进行分类。此外,利用CNN尝试利用塑料颗粒的形状进行分类,从而提高可实现的整体分类精度。

所有塑料样品的总数据实验表明,使用CNNs、kNN和ENSEMBLE算法可以获得最好的结果,CNNs的分类准确率最高,达到93.5%。超参数优化在统计上显著提高了大多数算法的总体分类精度。

41种塑料混合物(每种混合物含有2到3种塑料)分类实验表明,18种塑料混合物的总体精度至少达到99.9%。与ENSEMBLE和SVM算法相比,使用CNN算法没有显示出任何改进。

未来可以开发一种面向行业的利用成像荧光光谱对工业黑色塑料颗粒进行分类的方法,并采用更多的数据训练更好的模型。总之,本文为黑色塑料分类提出了一种非常有前景的方法,并能有助于增加塑料废物的回收利用。


原文链接:Recycling | Free Full-Text | Classification of Black Plastics Waste Using Fluorescence Imaging and Machine Learning (mdpi.com)





...
发布时间: 2023-04-17 16:24:24
浏览次数:13

点击链接跳转

https://www.bilibili.com/video/BV1FY411U7VT/?spm_id_from=333.999.0.0


Hyperspec MV.X在食品的安全检测和等级划分、半导体和光电产品的损伤检测、药物制剂检测、垃圾分类等领域中广泛应用。该视频展示了食品加工生产线上的实时分类效果,视频中包含了整个系统的简单介绍及其使用原理,软件的使用过程,需要注意的操作和最终显示出的结果。

Hyperspec MV.X可用于实际生产和实验室产品分析。采用全反射光学设计,原始刻划光栅,配合高性能的CMOS焦平面阵列和嵌入式处理单元,使其在机器视觉中有着出色的表现。


...
发布时间: 2023-04-17 16:43:19
浏览次数:13
400-858-0888 北京市朝阳区,酒仙桥东路一号M7栋东五层 010-84569901