关键词:
双向长短期记忆网络
词嵌入
农产品汇聚
Scrapy框架
语义分析
摘要:
随着互联网的发展,各行业逐渐从传统模式向互联网+模式转变,其中农业信息化的发展,让农产品从传统的单纯线下销售转向线上线下混合的销售模式,使得互联网上各种农产品信息平台层出不穷。诸多平台农产品信息的杂糅,人们想要找到符合自己要求的农产品信息所需耗费的时间与精力也越来越多。因此本研究的目的是利用语义分析技术将农产品信息进行分类汇聚,并设计实现一个农产品信息汇聚系统,以提高农产品信息查询的效率。本文的主要研究内容如下:基于Scrapy框架设计收集农产品信息的爬虫,结合Xpath解析器对待获取的农产品信息内容进行定位,使用布隆过滤器解决页面重复爬取问题。针对获取到的每条农产品信息,在经过缺失值填充、异常值检测等手段的清洗及预处理后,结合jieba分词工具,运用词法分析、句法分析技术,提取出描述每条农产品记录的关键字,并作为附加信息与农产品信息一起存储。以收集到的农产品数据为语料库,选用Word2Vec作为词向量模型,设计双向长短期记忆网络(BiLSTM)模型,训练一个农产品分类模型,对农产品信息进行分类汇聚。采用前后端分离的设计思想完成系统设计与实现。前端使用***构建单页面应用。后端使用Spring Boot微服务框架设计,采用MyBatis设计数据访问层,将业务逻辑和数据访问逻辑分离,保障系统的高可用性。系统功能包含了供求信息大厅、按地区的农产品分类、以及基于BiLSTM模型输出的农产品分类归集、和以用户当前浏览农产品的关键字为匹配标准和余弦相似度计算的猜你相找功能模块。总之,本研究所设计的系统旨在为农产品信息建立一个便捷的展示和传播平台,促进农产品的流通,打破信息壁垒,实现农户增收,消费者满意,响应国家乡村振兴战略,助力现代化乡村建设。