MySQL json_merge with group by

深渊向深渊呼唤

json_merge with group by

需求:
对于如下多条json array数据,希望通过其他字段group by实现拼接,得到[{"ruleId": 36, "ruleName": "包赔"},{"ruleId": 27, "ruleName": "定期彩虹"},{"ruleId": 28, "ruleName": "理财产品"}]这样的完整的数据
在这里插入图片描述
json_merge貌似无法实现?
解决方案:concat('[', group_concat(DISTINCT substring(hit_rule, 2, char_length(hit_rule) - 2)), ']')

注意:

    不能使用length,而要使用char_length,一个中文字符等于3个英文字符;
    在这里插入图片描述 增加一个DISTINCT用于去重。但是distinct是对substring(hit_rule, 2, char_length(hit_rule) - 2)整体进行distinct的,而这个结果是一个json array,不同的记录行完全可能含有相同的json object,只能到业务代码层去进行distinct? 当数据量上来后,group_concat拼接的结果不是一个json!!因为默认的group_concat有长度限制。临时性的解决方法:在SQL前追加一条SET SESSION group_concat_max_len=102400;。执行时需要选中前述设置语句(当然两个分号的SQL语句不能写在mybatis mapper xml文件里面)。永久性的解决方法:找DBA在MySQL配置文件中加上group_concat_max_len = 102400 若数据库里面存在空的json array(非脏数据),即hit_rule=[],上面的concat结果会得到脏数据,即不是一个合法的json array,例如:[,{"ruleId": 36, "ruleName": "包赔"}],不过!在使用阿里的fastjson这个jar包时,JSONArray.parseArray()不会出错,能兼容!!

参考

MySQL修改group_concat的长度限制
mysql-json-merge-and-group-by
mysql-distinct-on-a-group-concat

栏目