在水果行业中，成熟度是评估水果品质的重要指标，可用于确定采收、运输、销售等的最佳时间。部分水果可通过表皮颜色判断成熟度，如香蕉等；牛油果、猕猴桃等水果则需要采用破坏性测量才能确定。为了给出解决方案，我们验证了高光谱成像和深度神经网络是否能够预测水果的成熟程度。通过这项工作，我们提供了一个高光谱数据集，并在此基础上测试了不同的模型，从而展示了小型神经网络的优势。在前人研究中，Pinto等人[1]和Olarewaju等人[2]利用高光谱成像来确定牛油果的成熟程度，Zhu等人[3]利用高光谱数据预测猕猴桃的硬度和可溶性固形物含量，这些研究都是基于经典的机器学习算法进行的。Mollazade等人[4]展示了一个简单的神经网络对番茄含水量的预测能力，Gao等人[5]利用高光谱成像和预训练的AlexNet（一种深度卷积神经网络）可以预测草莓的成熟状态，这些研究则是基于深度学习神经网络的。本文作者使用了更广泛的模型，记录了更大的数据集，分析了测量水果成熟度是否需要高光谱数据，或者纯彩色图像就足够。
高光谱成像 (HSI) 技术是近年来日益流行的一种非破坏性测量技术，该技术基于高光谱相机获取的光谱数据，其典型光谱范围可从紫外到近红外（表1），与标准RGB图像相比，高光谱图像有更多的通道，通常超过100个，可通过波长范围揭示更多被检测物质的不同化学性质。
表1 高光谱相机的典型波长范围
类型 | 紫外线(UV) | 可见(VIS) | 近红外(NIR) |
波长 | 100-380nm | 380-740nm | 740-2500nm |
本文的高光谱图像获取系统由3个部分组成（图1），第一个组件是物体支架，由高光谱相机线扫描工作模式所必需的直线驱动器组成。第二个组件是光源。对于高光谱成像来说，足够明亮和均匀的光源是必不可少的。卤素灯和LED灯组合使用，以覆盖更广泛的光谱。此外，使用聚四氟乙烯曲率反射器来产生漫反射光。最后一个组件是相机，本研究使用了两款高光谱相机（Specm FX 10和INNO-SPEC Redeye 1.7），以便更好地验证结果，并覆盖不同的波长范围。Specm FX 10有224个通道，光谱范围400-1000 nm；INNO-SPEC Redeye 1.7有252个通道，光谱范围950-1700nm。使用折射计测量可溶性固形物的含量，使用硬度计测量穿透阻力以确定果肉的硬度。试验收集了1038份牛油果和1522份猕猴桃的数据，它涵盖了两种水果从未熟到过熟的成熟过程，高光谱数据集可通过https://github.com/cogsys-tuebingen/deephs fruit获得。图1 高光谱图像获取系统：带有物体支架的直线驱动器、光源和相机。获得高光谱图像后，首先采用简单的基于像素的神经网络剔除背景，并训练它来区分背景和水果，然后将水果分为3类进行研究，即未熟、成熟、过熟，将硬度、甜度和整体成熟度作为研究指标，建立一个小的光谱卷积神经网络，专门用于成熟果实的应用。本文构建了高光谱卷积神经网络（Hyperspectral Convolutional Neural Network，HS-CNN）水果分类的架构（图2），将整个网络设计的尽可能简单和小，输入一个水果的高光谱数据，3个卷积层从输入的光谱数据提取特征映射，采用批归一化（Batch Normalization）加快训练过程，使用平均池化（average pooling），最后的分类发生在CNN的头部，由一个全局平均池化层（global average pooling layer）和一个全连接层（fully connected layer）组成。全局平均池化层大大减少了参数的数量，使预测更加的稳定。使用旋转、翻转、随机噪声和随机切割作为数据增强技术，用Adabound对神经网络进行优化，根据验证损失提前停止，以防止过度拟合。在数据集中测试了5个模型，分别为具有径向基核的支持向量机(SVM)、k-最近邻分类器（kNN）、ResNet18、AlexNet和高光谱卷积神经网络(HS-CNN)。测试集为18个标记的高光谱记录，测试结果如表2所示，每个神经网络给出三个值。当网络能够访问整个高光谱记录时，Full值给出了准确度。大多数情况下HS-CNN模型是优于参考模型的，该模型预测牛油果硬度，准确率达93.33%以上，预测牛油果的成熟度水平，准确率均90%以上；预测猕猴桃的成熟程度要比预测牛油果困难得多，因此所有模型的预测精度都明显较低。然而，我们的模型仍然能预测猕猴桃的硬度和成熟度，准确率分别接近70%和80%。通过移除或替换高光谱卷积神经网络的组成部分，研究不同部分的影响。以牛油果为例，研究了这些操作的硬度测试精度。随机剪切和增加测试时间可提高测试准确性（表3-1）；深度分离卷积可以防止过拟合，增加测试精度（表3-2）；网络的头部使用卷积部分的特征映射确定分类结果，全局平均池化减少参数的数量，防止了过拟合，提高精确性（表3-3）；焦点损失函数可改善测试精度（表3-4）；学习率值为0.01的Adabound算法更好（表3-5）；平均池化的精确度比最大池化的精度更高（表3-6）。
Augmentation variant | Accuracy |
Full augmentation | 93.3 % |
Without test time augmentation | 70.8 % |
Without random noise | 73.3 % |
Without random cut | 69.3 % |
No transformation augmentation | 80.0 % |
| |
| Global Average Pooling with additional layer | |
| |
| |
| |
| Stochastic gradient descent | |
| |
| Adabound with default parameters | |
| Adabound with learning rate | |
使用积分梯度（Integrated gradient）来查看高光谱记录的哪些部分对确定水果的状态是重要的，这种技术可以显示神经元对网络决策的影响，在一定程度上验证神经网络的决策过程，验证了预测正确性。图3a给出了对牛油果成熟度预测影响的空间分布，这种影响均匀的分布在整个水果上。图3b显示了基于波长的影响，主要决策发生在800nm以上。此外，在一定程度上，该网络利用520 ~ 650 nm的可见光范围来区分未成熟果实和成熟果实。这个范围与牛油果的可见变化相匹配。总的来说，通过卷积神经网络学习的特征似乎是可信的。图3 决策因子对牛油果状态判定的影响（a）基于空间，(b)基于波长。此外，本文还介绍了一种为特定任务生成高光谱记录假彩色图像（false color image）的技术（图4）。训练了一个基于像素的自动编码器(图4a)，对水果的高光谱图像进行编码和解码，使用均方误差进行训练，潜在空间的大小为3，将其解释为彩色图像。使用编码器的嵌入作为分类器网络的输入(图4b)，并训练分类器以区分成熟度等级。最终得到了一个专门编码信息以区分成熟度等级的编码器。以这种方式训练的编码器可以生成假彩色图像，从而可视化成熟过程。对于牛油果（图5），成熟的部分从果实的底部一直长到顶部。对于猕猴桃的硬度分布（图6），水果上慢慢长出一个受损的部分。图4 预训练方法的架构（a）自动编码器（b）分类器网络。本文的研究表明，卷积神经网络可用于高光谱数据，将水果分为三类(未熟、成熟和过熟)。HS-CNN分类器网络在牛油果成熟状态分类方面表现出卓越的性能，在猕猴桃成熟状态分类方面表现出良好的性能。[1] J. Pinto, H. Rueda-Chac´on, and H. Arguello, “Classification of Hass avocado (persea americana mill) in terms of its ripening via hyperspectral images,” TecnoL´ogicas, vol. 22, no. 45, pp. 109–128, 5 2019.[2] O. O. Olarewaju, I. Bertling, and L. S. Magwaza, “Non-destructive evaluation of avocado fruit maturity using near infrared spectroscopy and PLS regression models,” Scientia Horticulturae, vol. 199, pp. 229–236, 2 2016.[3] H. Zhu, B. Chu, Y. Fan, X. Tao, W. Yin, and Y. He, “Hyperspectral Imaging for Predicting the Internal Quality of Kiwifruits Based on Variable Selection Algorithms and Chemometric Models,” Scientific Reports, vol. 7, no. 1, pp. 1–13, 12 2017.[4] K. Mollazade, M. Omid, F. A. Tab, S. Mohtasebi, and M. Sasse-Zude, “Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks,” in International workshop on Computer Image Analysis in Agriculture, 2012.[5] Z. Gao, Y. Shao, G. Xuan, Y. Wang, Y. Liu, and X. Han, “Real-time hyperspectral imaging for the in-field estimation of strawberry ripeness with deep learning,” Artificial Intelligence in Agriculture, vol. 4, pp.31–38, 1 2020.由于相关研究内容非常专业，难免有些理解不准确或者编辑整理的疏漏，请以英文原文为准。
