Elasticsearch加载数据
我们要想完成高效的搜索任务,需要ES的支持
因为数据库的模糊查询效率太低了
我们在前端页面中完成的搜索是从ES中搜索数据
这样就要求我们在查询之前,需要先将商品信息 (SPU) 保存到ES中
一开始我们采用最原始的方法: 从数据库查询出数据之后新增到ES中
确认实体类
搜索功能编写在mall-search模块中
它使用的实体类在cn.tedu.mall.pojo.search.eneity包下SpuForElastic
这个类有4个字段是具备分词功能的
所以支持我们使用这4个字段进行查询
/**
* SPU名称
*/
@Field(name = "name",type = FieldType.Text,
analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")
@ApiModelProperty(value="SPU名称")
private String name;
//.....
/**
* 标题
*/
@Field(name="title",type = FieldType.Text,
analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")
@ApiModelProperty(value="标题")
private String title;
/**
* 简介
*/
@Field(name="description",type = FieldType.Text,
analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")
@ApiModelProperty(value="简介")
private String description;
//.....
/**
* 类别名称（冗余）
*/
@Field(name="category_name",type = FieldType.Text,
analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")
@ApiModelProperty(value="类别名称（冗余）")
private String categoryName;
//.....开发ES的持久层
仍然使用SpringDataElasticsearch框架来操作ES
按照SpringData的规范,我们创建包repository
在这个包中创建SpuForElasticRepository接口,代码如下
// SpuForElastic实体类操作ES的持久层接口
// 需要继承SpringData给定的父接口,继承之后可以直接使用提供的基本增删改查方法
@Repository
public interface SpuForElasticRepository extends
ElasticsearchRepository<SpuForElastic,Long>{
}这个接口提供了批量新增数据到ES的方法
但是要想获得数据库中所有pms_spu表的数据,必须连接数据库查询这些数据
但是search模块是负责管理ES的,所以需要Dubbo调用product模块获取这些数据
product模块提供的查询功能
经过观察发现业务逻辑逻辑层调用ForFrontSpuServiceImpl类中
具有一个getSpuByPage的方法
他分页查询所有spu信息
@Override
public JsonPage<Spu> getSpuByPage(Integer pageNum, Integer pageSize) {
PageHelper.startPage(pageNum,pageSize);
List<Spu> list=spuMapper.findAllList();
return JsonPage.restPage(new PageInfo<>(list));
}分页的原因是一般加载到ES中的数据量非常大(几十万上百万条),我们不可能一次性将所有数据查询出来,增到ES中,必须分批分次
分页查询就是典型的分批查询,每次查询一部分数据,通过循环遍历,将每页数据都增到ES中
Search模块执行加载
mall-search-webapi模块创建service.impl包
包中创建SearchServiceImpl类,用于将数据库中的数据加载到ES中
代码如下
@Service
@Slf4j
public class SearchServiceImpl implements ISearchService{
// dubbo调用Product模块分页查询所有spu
@DubboReference
private IForFrontSpuService dubboSpuService;
@Autowired
private SpuForElasticRepository spuRepository;
@Override
public void loadSpuByPage(){
// 循环完成分页查询所有数据,
// 每循环一次,将查询到的当页数据新增到ES,直到最后一页
// 因为是需要运行一次之后,才知道总页数,所以这里采用do-while循环结构
int i = 1; // 循环变量i,从1开始,因为可以同时用作页码值
int pages; // 总页数,在循环进行一次之后,才能被赋值,这里可以只声明或赋默认值
do{
// dubbo调用查询当前页的spu数据
JsonPage<Spu> spus=dubboSpuService.getSpuByPage(i,2);
// 我们从数据查询出来的类型Spu不能直接向ES中执行新增
// 需要转换为SpuForElastic类型,所以我们先声明这样类型的集合
List<SpuForElastic> esSpus=new ArrayList<>();
// 遍历数据库中查询出的当页数据
for(Spu spu : spus.getList()){
// 下面开始转换,实例化新实体类,并将同名属性赋值给它
SpuForElastic esSpu=new SpuForElastic();
BeanUtils.copyProperties(spu,esSpu);
// 赋值完成后,添加到上面的集合中!
esSpus.add(esSpu);
}
// esSpus集合中已经包含了本次查询的所有数据,下面执行批量新增到ES的操作
spuRepository.saveAll(esSpus);
log.info("成功加载了第{}页数据",i);
// 下次循环i值自增
i++;
// 给pages赋值总页数
pages=spus.getTotalPage();
}while(i<=pages);
}
@Override
public JsonPage<SpuForElastic> search(String keyword, Integer page, Integer pageSize) {
return null;
}
}创建测试类运行即可
// 下面注解必须加!!!!!!
@SpringBootTest
public class SpuElasticTest {
@Autowired
private ISearchService searchService;
@Test
void loadData(){
searchService.loadSpuByPage();
System.out.println("ok");
}
}运行测试前保证
Nacos\Seata\\**ES**启动
启动product模块
运行测试,没有报错即可
验证ES中的数据
我们再通过连接ES来进行全查
检验上面执行的加载工作是否达到效果
仍然在测试类中,再编写一个方法,使用SpringData提供的全查方法查询后遍历输出
检查输出内容,代码如下
@Autowired
private SpuForElasticRepository spuRepository;
@Test
void showData(){
Iterable<SpuForElastic> spus=spuRepository.findAll();
spus.forEach(spu -> System.out.println(spu));
}搜索功能的实现
电商网站一定会有按用户输入的关键字进行搜索的功能
这样的搜索都是搜索ES查询到的结果
上面我们已经将所有spu信息保存到了ES中
下面通过查询逻辑将搜索结果显示出来
编写SpringData自定义查询
如果我们按照关键字"手机"进行搜索
可以在Repository接口中编写自定义方法
@Repository
public interface SpuForElasticRepository extends
ElasticsearchRepository<SpuForElastic,Long> {
// 查询title字段包含指定关键字(分词)的spu数据
Iterable<SpuForElastic> querySpuForElasticsByTitleMatches(String title);
}上面的查询可以通过测试类测试
@Test
void getSpuByTitle(){
// 根据title指定的分词查询数据
Iterable<SpuForElastic> spus=
spuRepository.querySpuForElasticsByTitleMatches("手机");
spus.forEach(spu -> System.out.println(spu));
}尤其需要关注ES是否已经启动
不需要其它项目的支持,直接运行测试即可
我们业务中需要4个字段的条件查询,是可以通过方法名称的编写实现的
SpringData也支持我们在代码中编写查询语句,以避免过长的方法名
@Query("{\n" +
" \"bool\": {\n" +
" \"should\": [\n" +
" { \"match\": { \"name\": \"?0\"}},\n" +
" { \"match\": { \"title\": \"?0\"}},\n" +
" { \"match\": { \"description\": \"?0\"}},\n" +
" { \"match\": { \"category_name\": \"?0\"}}\n" +
" ]\n" +
" }\n" +
"}")
// 上面指定查询语句的情况下,方法的方法名就可以随意起名了,参数对应查询语句中的"?0"
Iterable<SpuForElastic> querySearch(String keyword);测试代码
@Test
void getSpuByQuery(){
// 调用查询四个字段包含指定关键字数据的方法
Iterable<SpuForElastic> spus=
spuRepository.querySearch("华为手机");
spus.forEach(spu -> System.out.println(spu));
}拓展
在实际开发中
我们数据库中的数据和Elasticsearch中的数据还存在同步问题
为了保持数据库中的数据和Elasticsearch中的数据一致
我们可以使用下面的办法
1.在所有对spu表进行增删改的操作代码运行后,也对ES中的数据进行相同的操作
但是会有比较多的代码要编写,而且有比较明显的事务处理问题
实际上业界使用Elasticsearch有一个组合叫ELK,其中L(logstash)可以实现自动同步数据库和ES的信息
实际运行查询的逻辑是需要分页的
所以要按照SpringData支持的分页查询格式修改上面的查询代码
@Query("{\n" +
" \"bool\": {\n" +
" \"should\": [\n" +
" { \"match\": { \"name\": \"?0\"}},\n" +
" { \"match\": { \"title\": \"?0\"}},\n" +
" { \"match\": { \"description\": \"?0\"}},\n" +
" { \"match\": { \"category_name\": \"?0\"}}\n" +
" ]\n" +
" }\n" +
"}")
// 上面指定查询语句的情况下,方法的方法名就可以随意起名了,参数对应查询语句中的"?0"
//↓↓↓↓ ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
Page<SpuForElastic> querySearch(String keyword, Pageable pageable);修改了方法的定义,原有的调用会报错,注释掉测试中的调用代码即可!
开发搜索功能的业务逻辑层
SearchServiceImpl类添加实现方法如下
// 根据指定关键字分页查询ES中商品信息的方法
@Override
public JsonPage<SpuForElastic> search(
String keyword, Integer page, Integer pageSize) {
// 根据参数中的分页数据,执行分页查询,注意SpringData分页页码从0开始
Page<SpuForElastic> spus=spuRepository.querySearch(
keyword, PageRequest.of(page-1,pageSize));
// 当前业务逻辑层返回值是JsonPage类型,但是我们SpringData查询返回Page类型
// 我们需要将Page类型对象转换为JsonPage返回
// 可以在JsonPage类中编写一个专门转换的方法,也可以直接在当前方法中转换
JsonPage<SpuForElastic> jsonPage=new JsonPage<>();
// 分页信息
jsonPage.setPage(page);
jsonPage.setPageSize(pageSize);
jsonPage.setTotal(spus.getTotalElements());
jsonPage.setTotalPage(spus.getTotalPages());
// 分页数据
jsonPage.setList(spus.getContent());
// 别忘了返回!!!
return jsonPage;
}开发控制层代码
创建controller包
包中创建SearchController编写搜索方法,代码如下
@RestController
@RequestMapping("/search")
@Api(tags = "搜索模块")
public class SearchController {
@Autowired
private ISearchService searchService;
// 搜索功能设计的路径为: localhost:10008/search
// 因为搜索模块功能少,路径可以尽量简练
// @GetMapping后面什么都不写,就表示采用类上声明的/search路径即可
@GetMapping
@ApiOperation("根据用户输入的关键字分页查询商品信息")
@ApiImplicitParams({
@ApiImplicitParam(value = "搜索关键字",name = "keyword",example = "手机"),
@ApiImplicitParam(value = "页码",name = "page",example = "1"),
@ApiImplicitParam(value = "每页条数",name = "pageSize",example = "2"),
})
public JsonResult<JsonPage<SpuForElastic>> searchByKeyword(
String keyword,Integer page,Integer pageSize){
JsonPage<SpuForElastic> jsonPage=
searchService.search(keyword, page, pageSize);
return JsonResult.ok(jsonPage);
}
}测试
保证Nacos\seata\ES启动
因为当前search项目过滤器解析JWT所以需要登录才能访问
启动search模块
建议启动passport模块去进行登录获得jwt
复制JWT后,粘贴到search模块的全局参数,再测试运行search模块
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
