经验心得
这个demo是一个客户找我帮忙添加功能,在原有人工智能检测方法又加了另一个人工智能舆情检测方法,顺便加了两个推荐算法,协调过滤,lstm推荐,以及多角色访问。最主要加了后台运行爬虫获取数据,然后再调用bert。为什么要加后台运行的爬虫呢?因为之前代码爬取数据过程他的项目是直接表单请求的方式去操作,然而在爬取数据攀大以后,bert还需要重新训练爬取数据进行训练,最后自动预测,这个时长很慢,咱们每次访问服务端都会为当前请求创建线程,所以当前网页会一直等待完成,如果咱们选择爬取微博信息类别过多当前网页界面会卡死,所以咱们需要这样来,前端ajax异步请求,后端接受到开启多线程就行。