本技术提供一种多模态农业病虫害预测方法,该方法包括:利用传感器采集图像数据及音频数据并分别进行预处理,利用CNN模型提取图像数据的语义特征,利用梅尔系统提取音频数据的MFCC特征,将语义特征和MFCC特征进行拼接融合,得到融合特征;按时间步将融合特征输入BiLSTM模型中,经过训练得到输出结果,将输出结果输入全连接层中进行分类,获得各类别的概率分布,得到病虫害预测模型,经过验证集测试及参数调整后得到最终模型并用于预测。通过对图像和音频数据的特征提取和融合,利用BiLSTM模型对融合特征进行分类预测,实现了农业病虫害的自动预测,在减少了人力和时间成本的基础上,具有更高的预测准确率。
背景技术
在传统的农业生产过程中,病虫害的防治依赖于人工进行观测和统计,随着当前各类型传感器技术的进步和成本的降低,在农业生产中大规模部署传感器进行相应的数据采集具有了可行性。例如声音传感器能够捕捉昆虫等发出的声音信号,而图像传感器则可以获取农作物的形态、颜色、纹理等图像信息。通过在农业生产场景中布置多类型的传感器,可以获得大量的原始数据信息,但若采用人工方式处理这些原始数据信息,将耗费难以估计的劳动力与时间成本。如何快速处理传感器收集的数据信息,并准确预测出数据信息中指向的病虫害目标,是一个亟待解决的难题。
针对以上问题,基于深度学习技术建立的模型可以很好地完成农业病虫害预测任务,然而在实际的农业生产中,不仅有种类丰富的农作物和害虫,还有复杂多变的生产环境,仅是简单地应用深度学习技术并不能准确识别出各类害虫;同时病虫害的发生具有随机性和不确定性,难以在设定的时间和地点采集到病虫害发生的完整过程及对应的声音和图像数据。此外,多类型传感器采集到的不同类型数据特征如何在避免过高的计算复杂度的前提下进行有效的特征融合,也是深度学习技术在病虫害预测上应用的难点。
实现思路