一、 引言
为了利用葡萄栽培新技术来改进葡萄酒的生产工艺，Eleni Kalopesa等人提出了一种利用无损原位红外光谱和人工智能技术快速评估葡萄成熟度的新方法。基于之前专注于从可见光、近红外(VNIR)和短波红外(SWIR)光谱范围估算葡萄含糖量(Brix)的工作，本研究将其研究范围扩大，增加了pH值和可滴定酸度(决定葡萄成熟度的关键参数)，将这两个参数纳入葡萄酒质量评估，提供了更具代表性的估算途径和方法。数据来自位于希腊北部的Ktima Gerovassiliou葡萄园的四个葡萄品种——霞多丽、马拉古齐亚、长相思和西拉，其数据采集时间为2023年收获期和收获前物候期。
同时该团队开发了一个综合的光谱库，覆盖VNIR-SWIR波段(350–2500nm)，并进行原位测量。使用常规实验室方法获得pH值、可滴定酸度和含糖量等基本数据。通过折光仪测得的总可溶性固体(TSS)、通过滴定法测得可滴定酸度(表示为每升被测样品中的酒石酸质量)和通过pH计测得pH值，并在样本的不同成熟阶段进行了分析。
通过采用偏最小二乘回归（PLS）、随机森林回归（RF）、支持向量回归（SVR）和卷积神经网络（CNN）等机器学习算法，结合点高光谱数据预测成熟度指标。 多输出模型也被考虑同时预测所有三个指标以利用它们的相互关系，本文作者还提出了一种新颖的多输入输出CNN模型，结合多头注意力机制，能够识别其关注的光谱区域，从而具有更高的可解译程度。本文的研究结果表明，糖含量、pH 值和可滴定酸度的估计具有很高的准确性，最佳模型在所有特性中的平均 R2 值分别为 0.84、0.76 和 0.79。 与最好的单输出模型相比，多输入输出模型没有改善预测结果，并且所提出的 CNN 模型与次佳模型相当。
CNN 模型重点关注与糖（即葡萄糖和果糖）和羧酸基团的存在相关的光谱区域，这项研究强调了便携式光谱仪在实时、无损评估酿酒葡萄成熟度方面的潜力，从而为葡萄酒生产行业的明智决策提供了宝贵的工具。 通过将 pH 值和可滴定酸度纳入分析中，我们的方法提供了葡萄质量的整体视图，促进更全面、更高效的葡萄栽培实践。
在计算机视觉领域，多头注意力与卷积神经网络（CNNs）的融合在图像字幕和物体检测等任务中展现出了显著的性能，这种组合利用CNN捕获的空间层次结构，多头注意力对模型长程依赖性的能力，增强了模型理解复杂视觉场景的能力，并在众多图像相关任务中表现出最先进的性能。注意力机制通过揭示模型在进行预测时关注图像或输入序列的哪些部分来提供固有形式的可解释性。这种透明度可以促进对模型决策过程的深入了解，有助于对人们人工智能系统的理解，增加可信度，从而增强其在研究和实际应用中的可解译性。人工智能的另一个关键概念是使用多输出模型，可以根据给定的一组输入特征和模式同时预测多个目标。这将它们与传统的单输出模型区分开来。
评估葡萄成熟度的传统方法包括测量果汁中的糖浓度，作为葡萄糖积累的指标，或通过可滴定酸或pH水平监测葡萄酸度的变化，这需要在成熟过程中应用各种采样程序，雇佣专业人员，以及在实验室中进行化学分析，这些都非常昂贵和耗时。因此，葡萄成熟度的评估通过准确、非接触式、非破坏性的方法是有前景的，特别是这些方法可以由农业机器人自动执行。
二、方法
数据使用的四种葡萄品种，马拉古齐亚为希腊本地品种，其余三种为世界各地广泛种植品种。采集前，在垂直棚架上用三根固定的铁丝进行栽培，采用两侧帘式修剪法，每株葡萄树的标准节数为 16 节，灌溉方式为滴灌。2020 年和 2021 年，采集了 743 个样本，以估算总可溶性固形物 (Brix)，从所有四个品种中都采集到了样本。2020 年，马拉古齐亚品种没有采集到任何样品；但2021 年采集到的样品 (179 个) 是去年品种的两倍。2023 年，进行了 7 次实地考察 (从7月到9 月) ，再次考察了相同的葡萄树，但采样过程略有改变。2020-2021 年采样的是单果，而 2023 年必须采样整串葡萄，以便有足够的葡萄汁用于实验室分析 (约 750 g) 。总共采集了260 串葡萄，用于 pH 值和可滴定酸度 (TA) 评估，以及 Brix 评估，以涵盖所有三个葡萄成熟参数。2020-2021 年，采集了单个浆果的原位点高光谱特征 (VNIR-SWIR)，随后将其粉碎，使用便携式折射仪确定其含糖量。在 2023年，从葡萄串上的三个不同浆果采集原位点高光谱特征(VNIR-SWIR) 是。采集的葡萄装在贴有标签的塑料袋中，并放入冷却器中，并运送到实验室的进行分析 (pH 值、Brix 和 TA 值) ，实验室经过认证并采用OIV 的方法，确定每串葡萄的这些成熟参数。以下是数据采集的整个过程图，最终得到三种参数。
使用便携式地物光谱仪采集葡萄的反射光谱，所有测量均采用美国Spectral Evolution Inc .（SEI）的PSR+3500地物光谱仪，该光谱仪的波长范围涵盖了VNIR–SWIR(350–2500nm)，并配备了三个独立的探测器阵列，适用于不同的波长范围。光谱仪内置光源的接触式探头放置在与簇内葡萄浆果直接接触的位置，采集其光谱数据。通过对每种浆果进行五次平均测量获得反射光谱，在每十次成功的光谱测量后在进行白板校准，以确保传感器持续的采集精度。
本文的工作流程：利用之前已经开发的模型预测2023年采集到的葡萄的糖含量；使用2023年的数据构建单输出ML模型并预测Brix、pH和TA；提出一种采用多头注意力多输入多输出的CNN（多层卷积神经网络）模型，构建多输出模型同时预测前面三个指标，寻找相关性。
为了根据 VNIR-SWIR 光谱估计葡萄成熟度，Eleni Kalopesa等人采用机器学习算法。根据每个葡萄品种和每个光谱预处理独立建立了不同的模型。鉴于样本相对较少，我们选择使用交叉验证程序来评估每个模型的有效性。这是机器学习的基本做法，用于评估模型的性能和普适性。以下是使用的嵌套交又验证方法：外循环一般采用K次迭代(此处 K= 5)，利用所有可用数据评估模型的有效性。内循环用于外循环的每次迭代，以确定模型的最佳超参数。其中四个子集用于机器学习训练模型，第五个子集被保留用作验证集，并进行参数的微调。这一关键步骤允许使用网格搜索对不同的超参数组合进行系统实验，旨在识别产生最佳预测精度的配置。 通过这种优化的配置，模型在整个校准集上进行训练，随后将其应用于独立测试集以评估其预测准确性和泛化性能。
以下是单输出模型的结果: 使用 2023 年收集的数据，在独立测试集中，按每个成熟度指标和品种，使用 5 倍交叉验证，学习算法和光谱预处理最佳组合的平均性能。
为了同时预测所有三个葡萄成熟度指标，利用多层卷积神经网络 (CNN) 从光谱数据中提取特征。最重要的是，作为输入，它同时使用了三种不同的预处理方法，以利用其互补信息;它们是Ref、Abs+SNV和Abs+SG。之所以选择这三种预处理，是因为它们整合了三个重要的信息来源，反射光谱可提供有关表面特性和整体散射效应 (即反射率) 的宝贵信息，而 SNV 变换可将乘法效应的影响降至最低，吸光度的一阶导数可提高对精细光谱特征和吸收的敏感度。该模型集成了多头注意力机制，可有效处理这些光谱数据，同时关注光谱的不同部分，并增强其捕捉指示葡萄成熟度的微妙变化的能力。随后，我们采用了一系列卷积层，然后是maxpooling最大池化层和dropout剔除层，以捕捉相关特征。最后，模型采用全连接层进行预测，从而同时提供三个葡萄成熟度指标的估计值。以下是提出的用于同时预测的多输入输出CNN的架构所有三个葡萄成熟度指标（白利糖度、pH和TA）；多头注意力机制聚焦 在光谱的不同部分。L是每个频谱的长度（此处为216，10nm光谱带宽），D是指多个输入的维度（此处为3）。
为了有效评估机器学习模型，准确度指标和可解释性指标均十分重要。准确度指标提供了对模型性能的基本定量见解，但它们没有揭示复杂模型中的底层决策过程，通常称为
“黑匣子”。 然而，可解释性元素是一个重要的补充，它揭示了模型的内部运作原理，帮助我们确定是否真正识别了输入特征和输出之间有意义的关系预测。关于可解释性分析，我们分析了所提出的多输入，并使用多头注意力来构建多输出 CNN 模型，这使我们能够辨别模型如何将注意力分配给不同的光谱波长。换句话说，注意力权重可以量化波长的预测相关性。 因此，重点放在确定波长的相对重要性。为此，采用了以下步骤。 首先，对于每个实验，计算每个波长的相对特征重要性。 这是通过将与每个输入通道、注意力头和关键维度对应的注意力权重乘以该波长处的光谱数据值来完成的。 考虑到所有不同的方面，此操作捕获模型分配给每个波长的注意力。 然后汇总每个波长的加权重要性，以对其重要性进行总体评估。 最后，加权重要性的绝对值在折叠上取平均值并进行归一化（除以最大值）以提供标准化测量，从而可以全面了解不同波长的相对重要性。 这种方法使我们能够精确定位对我们的模型预测影响最大的波长，为我们的分析至关重要的光谱特征提供有价值的见解。
三、结果
单输出模型：
下表中的结果提供了标准ML模型应用在预测2023年收货的四种葡萄的三个关键酿酒成熟度指标时的结果，对于糖度的预测，不同的机器学习模型表现较为一致，R2值范围在0.74-0.89。在PH值预测方面，除马拉古齐亚品种的预测性能较低外，其余品种预测能力较好。对于可滴定酸度的预测，机器学习模型效果依然很好。但是RMSE较高，因为考虑到数据集包含具有高TA（尚未成熟的样品），因此酸度的变化更高。
多输出模型：
下表展示了标准ML模型与采用多头注意力机制的多输入多输出CNN模型的结果。CNN模型预测的结果通常优于标准ML多输出模型的最佳模型。只有在霞多丽葡萄中，糖度和pH预测的准确性较低，但是总酸度准确度较高。一般来说，多输出模型在预测糖度含量时精度较低，但在其他两个成熟度指标上表现稍好。这可能是由于多输出模型努力平均所有三个成熟度指标的预测误差，pH和TA模型性能的提高会损害糖度预测的性能。
模型的可解释性：
在模型的可解释性分析中，关注重点在识别多头注意力层认为重要的光谱区域（或特征），这个相对特性的重要性同时涉及所有三个成熟度指标。
对于霞多丽，很明显，焦点主要位于550和900 nm之间，在640、720、800、830和890 nm处具有不同的峰值。另外三个重要区域出现，即1040、1540、2130和2390nm附近。就马拉古齐亚而言很明显，该模型没有进行非常稀疏的特征识别，重点是放置在光谱的多个区域上。尽管如此，出现的一些波长720、1100、1350和2040nm。长相思的相对重要性图揭示在该品种中，SWIR是最重要的光谱区域。除了770和920nm的VNIR波段外，1510、2110附近和2320nm处的波段是模型主要是焦点。关于红葡萄酒品种（即西拉），模型倾向于放置特别强调在550和1100nm之间，前五个峰分别位于750、770和770处，840、930和1030nm。
四、结论：
葡萄成熟度是采用机器学习算法从点高光谱数据预测的，包括偏最小二乘回归(PLS)、随机森林回归(RF)、支持向量回归(SVR)和卷积神经网络(CNN)，并结合各种预处理技术。还考虑了多输出模型来同时预测所有三个指标，以了解它们之间的相互关系。此外，还提出了一种新的多输入输出CNN模型，该模型结合了多头注意力机制，能够识别其关注的光谱区域，因此具有更高的可解译性。结果表明：糖含量、pH值和可滴定酸度的估计具有很高的准确度，最佳模型的所有属性的平均R2值分别为0.84、0.76和0.79。与最佳单输出模型相比，多输出模型并未改善预测结果，且所提出的CNN模型与次佳模型相当。可解译性分析强调指出，CNN模型侧重于与糖(即葡萄糖和果糖)和羧酸基团的存在相关的光谱区域。本研究强调了便携式光谱仪用于实时、无损评估葡萄酒成熟度的潜力，从而为葡萄酒生产行业提供明知决策。通过将pH和可滴定酸度纳入分析，我们的方法提供了对葡萄质量检测的整体视图，促进葡萄栽培技术更加全面高效发展。
原文链接：https://spectralevolution.com/rapid-determination-of-wine-grape-maturity-level/
产品介绍：
PSR+超轻便携式地物光谱仪，波长范围350-2500nm，光谱分辨率2.8nm@700nm、8nm@1500nm、6nm@2100nm。光谱采样间隔1nm，可选多种配件，整机重量3.5kg，适合适合前期建立反演模型，对机载与星载的高光谱数据进行地面验证。
Naturaspec高分辨率携式地物光谱仪，波长范围350-2500nm，光谱分辨率2.7nm@700nm、5.5nm@1500nm、5.8nm@2100nm，光谱分辨率相比一般地物光谱仪高，可发现微小的反射吸收光谱特征峰，助力建立精准反演模型与种类识别。