×
日志易V4.1新版发布,更专注更全面更智能

近期,日志易V4.1版本更新发布,新版本在监控的分组、监控结果判断、趋势图自动加速等方面进行了智能优化,并且在细节方面增加了多个自定义选项,优化了各项页面布局,进一步增强了日志易平台的智能化、个性化属性,旨在为客户提供更加安全、便捷、易用的大数据智能分析平台,有效提升业务、安全、运维等各部门的工作效率。


01 趋势图自动加速

在之前的版本中,用户需要手动配置定时任务。

在日志易V4.1版本中,定时任务不必再手动进行配置,查找效率大幅提升,同时方便管理多个任务进度。

趋势图加速的中间结果和涉及的索引分片放在一起,即使是针对不同趋势图、不同SPL,若实际传到Beaver的信息相同,则加速数据可以复用。同时,分组统计字段的个数越多,加速效果越明显。

图片
趋势图加速对比图1
图片
趋势图加速对比图2


02 前端性能优化


仪表盘

日志易V4.1版本修改认证为JWT方式,去除部分yottaweb中间数据转换以及部分框架重构过程,即使在数据集较大的情况下,加载速度也非常快。

图片
仪表盘性能优化

仪表盘性能测试基准为每页20个统计表格。

如上图所示,纵坐标为不同版本,横坐标为响应时间,蓝色数据条代表第一张图返回数据的时刻,即页面性能指标中最重要的“首屏响应时间”,橙色数据条代表最后一张图结束搜索的时刻,即页面最终完全展示完毕所耗时间。

日志易V4.1版本仪表盘性能深度优化,响应速度大幅加快,处理效率显著提升,水平与Grafana基本齐平。

其他接口

图片
实际日志统计结果(2天)对比图

修改认证为JWT方式之后,日志易V4.1去除了部分yottaweb中间数据转换以及部分框架重构过程,众多接口因此实现优化。

03 饼图展示优化

图片
饼图示例图

日志易V4.1版本支持在饼图右侧展示图例,且可查看具体字段名和值。饼图的布局从正方形调整为长方形,在优化视觉效果的同时,满足客户同屏展示更多重要信息的需求。

04 函数性能优化

图片
不同版本formatdate/parsedate函数性能对比

05 资产对接

模型管理

日志易V4.1版本在资产对接方面进行了深度优化,支持通过资产模型的形式,来约束资产属性和关联配置;支持通过资产模型分组的形式,来组织模型列表的顺序和一二级分类;支持通过拓扑图的方式查看和编辑模型关联;支持对接第三方客户API,数据上传更便捷。

图片
资产模型
图片
模型关联

实体管理

在日志易V4.1中,模型树由模型管理列表页设置的分组和分组顺序构成;在实体列表中默认展示所有必选字段信息;变更记录包括页面变更,也包括通过 API发起的变更,可以通过SPL指令结合定时任务等方式自动完成更新;支持模型定义,让实体管理更加高效。

实体导入

日志易V4.1版本针对实体导入,要求CSV列依照模型字段进行规范;支持以脚本方式完成一次性或crontab命令批量导入,也可将脚本封装为自定义SPL指令,通过定时任务等方式自动完成更新。

06 Agent远程安装


日志易V4.1版本中,系统默认自带主机模型,默认有名称(即IP)和Agent平台可配,快速导入实体以后,可以通过页面点击批量部署Agent。此外,Agent列表页支持展示不同状态的统计,包括主机实体列表、按IP和安装状态过滤后的“未安装”数量等,且支持点击查看“未安装”详情,可直接跳转到主机实体列表,进行远程安装,操作更简便流畅。

07 监控的分组阈值


日志易4.1版本对部分业务线设定了独立阈值,其他业务线也可继续采用默认阈值;针对分组阈值,客户可以选择在表单内配置触发条件,或者委托于外部表格中进行独立编辑。让客户能够更有针对性地设置阈值,系统监控的灵活性显著提升,同时避免了众多不必要的告警提示。

08 监控按字段切分结果判断恢复


在之前的版本中,SPL统计监控是按行发送,每行本身的字段值不明确,导致发送后无法判断后续是否恢复。在日志易4.1版本中,SPL统计监控将和其他类型一致的一同按字段切分,可以根据定义好的字段值来记录统计值,并对比判断是否恢复。此外,老用户可继续使用伪字段名line-based字段,保留原有设置。

其他优化

此外,日志易4.1版本更加注重细节层面的优化与功能配置。

  • 在定时任务、报表方面,新版本支持交易日过滤,支持区分周末与工作日时段,支持调整任务并发度,支持自定义分词字段丢弃列存、搜索页数据集默认收起等,满足更多客户相关的个性化需求。
  • 针对数据工厂,新版本支持FlinkSQL任务,支持流式统计按次触发等操作,帮助客户实现更加多维全面的数据治理。
  • 此外,新版本在大屏表格、搜索任务、仪表盘收藏操作、Cruxee中文告警字段名、Agent、Syslog、Heka监控端、运行端等细节方面,都有更加人性化的配置优化。
日志易V4.1新版发布,更专注更全面更智能

近期,日志易V4.1版本更新发布,新版本在监控的分组、监控结果判断、趋势图自动加速等方面进行了智能优化,并且在细节方面增加了多个自定义选项,优化了各项页面布局,进一步增强了日志易平台的智能化、个性化属性,旨在为客户提供更加安全、便捷、易用的大数据智能分析平台,有效提升业务、安全、运维等各部门的工作效率。


01 趋势图自动加速

在之前的版本中,用户需要手动配置定时任务。

在日志易V4.1版本中,定时任务不必再手动进行配置,查找效率大幅提升,同时方便管理多个任务进度。

趋势图加速的中间结果和涉及的索引分片放在一起,即使是针对不同趋势图、不同SPL,若实际传到Beaver的信息相同,则加速数据可以复用。同时,分组统计字段的个数越多,加速效果越明显。

图片
趋势图加速对比图1
图片
趋势图加速对比图2


02 前端性能优化


仪表盘

日志易V4.1版本修改认证为JWT方式,去除部分yottaweb中间数据转换以及部分框架重构过程,即使在数据集较大的情况下,加载速度也非常快。

图片
仪表盘性能优化

仪表盘性能测试基准为每页20个统计表格。

如上图所示,纵坐标为不同版本,横坐标为响应时间,蓝色数据条代表第一张图返回数据的时刻,即页面性能指标中最重要的“首屏响应时间”,橙色数据条代表最后一张图结束搜索的时刻,即页面最终完全展示完毕所耗时间。

日志易V4.1版本仪表盘性能深度优化,响应速度大幅加快,处理效率显著提升,水平与Grafana基本齐平。

其他接口

图片
实际日志统计结果(2天)对比图

修改认证为JWT方式之后,日志易V4.1去除了部分yottaweb中间数据转换以及部分框架重构过程,众多接口因此实现优化。

03 饼图展示优化

图片
饼图示例图

日志易V4.1版本支持在饼图右侧展示图例,且可查看具体字段名和值。饼图的布局从正方形调整为长方形,在优化视觉效果的同时,满足客户同屏展示更多重要信息的需求。

04 函数性能优化

图片
不同版本formatdate/parsedate函数性能对比

05 资产对接

模型管理

日志易V4.1版本在资产对接方面进行了深度优化,支持通过资产模型的形式,来约束资产属性和关联配置;支持通过资产模型分组的形式,来组织模型列表的顺序和一二级分类;支持通过拓扑图的方式查看和编辑模型关联;支持对接第三方客户API,数据上传更便捷。

图片
资产模型
图片
模型关联

实体管理

在日志易V4.1中,模型树由模型管理列表页设置的分组和分组顺序构成;在实体列表中默认展示所有必选字段信息;变更记录包括页面变更,也包括通过 API发起的变更,可以通过SPL指令结合定时任务等方式自动完成更新;支持模型定义,让实体管理更加高效。

实体导入

日志易V4.1版本针对实体导入,要求CSV列依照模型字段进行规范;支持以脚本方式完成一次性或crontab命令批量导入,也可将脚本封装为自定义SPL指令,通过定时任务等方式自动完成更新。

06 Agent远程安装


日志易V4.1版本中,系统默认自带主机模型,默认有名称(即IP)和Agent平台可配,快速导入实体以后,可以通过页面点击批量部署Agent。此外,Agent列表页支持展示不同状态的统计,包括主机实体列表、按IP和安装状态过滤后的“未安装”数量等,且支持点击查看“未安装”详情,可直接跳转到主机实体列表,进行远程安装,操作更简便流畅。

07 监控的分组阈值


日志易4.1版本对部分业务线设定了独立阈值,其他业务线也可继续采用默认阈值;针对分组阈值,客户可以选择在表单内配置触发条件,或者委托于外部表格中进行独立编辑。让客户能够更有针对性地设置阈值,系统监控的灵活性显著提升,同时避免了众多不必要的告警提示。

08 监控按字段切分结果判断恢复


在之前的版本中,SPL统计监控是按行发送,每行本身的字段值不明确,导致发送后无法判断后续是否恢复。在日志易4.1版本中,SPL统计监控将和其他类型一致的一同按字段切分,可以根据定义好的字段值来记录统计值,并对比判断是否恢复。此外,老用户可继续使用伪字段名line-based字段,保留原有设置。

其他优化

此外,日志易4.1版本更加注重细节层面的优化与功能配置。

  • 在定时任务、报表方面,新版本支持交易日过滤,支持区分周末与工作日时段,支持调整任务并发度,支持自定义分词字段丢弃列存、搜索页数据集默认收起等,满足更多客户相关的个性化需求。
  • 针对数据工厂,新版本支持FlinkSQL任务,支持流式统计按次触发等操作,帮助客户实现更加多维全面的数据治理。
  • 此外,新版本在大屏表格、搜索任务、仪表盘收藏操作、Cruxee中文告警字段名、Agent、Syslog、Heka监控端、运行端等细节方面,都有更加人性化的配置优化。