mysql通过字符串计算hashcode更新到原表和多表关联优化

tang_xiaotang

于 2018-12-04 16:57:42 发布

阅读量5.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： mysql

本文链接：https://blog.csdn.net/tang_xiaotang/article/details/84791518

文章介绍了如何在MySQL中通过字符串计算哈希值，并将其更新到原表，同时讨论了多表关联优化的方法。包括使用JDBC进行更新的慢速方案，以及采用Spark和MySQL结合的快速更新策略，涉及将计算结果导入CSV再导入数据库，以及在SQL更新中避免全表扫描和优化关联查询的技巧。最后提到了在MySQL中创建函数进行更新的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

mysql通过字符串计算hashcode更新到原表和多表关联优化

一. 需求描述
现有表a，要求通过每条数据中的三个字段计算hashcode值更新到原表做为shopid.
二. 第一种做法
最好的方式是通过spark sql计算出来更新，但是spark sql不能update，要想update要设计到改源码。
所以就退而求其次选择用JDBC更新，缺点是慢。
把主要代码贴一下：

result.foreachPartition(
      it => {
        var url = "jdbc:mysql://localhost/test?characterEncoding=utf8"
        val conn = DriverManager.getConnection(url, "root", "1234")
        val pstat = conn.prepareStatement("update t_test set shop_id=? where id=?")
        for (obj <- it) {
          pstat.setString(1, obj._2)
          pstat.setInt(2, obj._1)
          pstat.addBatch
        }
        try {
          pstat.executeBatch
        } finally {
          pstat.close
          conn.close
        }
      }
    )

三.第二种方法是用到spark和MySQL结合。这种虽然看着麻烦࿰