新SQL引擎对json函数和ip函数进行了专门优化,性能提升显著。在json函数方面,以json_extract_scalar处理函数为例,对1.7亿条包含json字段的日志数据进行计算分析,老引擎耗时34.9秒且结果不精确,新引擎仅耗时5.8秒完成且结果精确,json处理性能提升了6倍以上。在ip函数方面,分为两种情况。纯内存计算场景下,对10亿行包含ClientIp字段的日志数据进行子网网段计算,老引擎耗时20秒,新引擎1秒内完成,性能提升20倍左右。依赖IP数据库查询场景下,对87亿行数据进行IP计算分析,老引擎耗时24秒,新引擎2秒完成,性能提升12倍左右。这些提升主要得益于C++版本计算引擎对高频函数的专门优化和SIMD指令集加速能力的充分利用。
加载中...