现代大数据分析架构

现代大数据分析架构

随着云计算、虚拟化、容器化、持续集成和 DevOps 运动的最新进展,如今部署软件解决方案与几年前也大不相同。今天的软件遵循一套交付现代分布式应用程序的原则。

Logi Composer 的架构适用于各种现代数据平台和架构。它专为可视化探索、响应性和用户独立性而构建。Logi Composer 旨在为任何组织中最广泛的用户提供交互式和可视化数据体验,而不仅仅是 BI 分析师、数据管理员、SQL 专家和 Python 程序员。

通过微服务提供大规模的分析

Logi Composer是一个现代的基于微服务的平台,它可以扩展并提供一系列其他好处。

什么是微服务?

微服务是松散耦合的微型应用服务器,彼此之间可以自注册。Logi Composer 微服务是用 Java 编写的。

将微服务用于现代 BI 平台有哪些好处?

  • 建筑规模时期。可根据实际需要增加计算节点。
  • 它可模块化地扩展。 根据需要为每个微服务扩展和优化内存分配和运行时属性。例如,可以针对更多用户进行扩展,或者将更多节点和计算能力应用到大数据智能数据连接器(相对于其他连接器)
  • 您可以最大限度地延长正常运行时间并在故障情况下更快地恢复。 Logi Composer 微服务可以在应用程序的其余部分运行时即时部署或重新启动。如果新数据源上线,您不必重新部署整个应用程序,或者如果单个连接器出现故障,您不必中断用户。
  • 模块化消除了系统冲突。 由于每个微服务都是自包含的,因此不必担心与不同版本的 Java 或任何其他依赖项的系统冲突。
  • 现代分布式应用程序还提供了灵活性:
    • 部署选择的灵活性——在本地、云中或跨混合基础设施部署相同的微服务集。
    • 未来发展的灵活性 — 更换或升级组件而不影响系统的其他组件。
    • 集成的灵活性 — 将查询引擎和智能数据连接器等组件与其他服务嵌入和扩展,以构建集成应用程序。

高可用性和负载平衡怎么样?

如果操作正确,使用微服务构建的平台可以具有高度容错性,以最大限度地提高关键任务应用程序的正常运行时间和性能。

实时和大数据的流分析架构

将数据视为流,而不是批次或集合,与传统 BI 的工作方式有着根本的不同。Logi Composer 将数据以流形式表示的独特观点融入到 Web 应用程序、查询引擎和智能数据连接器中。

Logi Composer 的流数据分析架构独特地支持:

  • 通过实时模式进行实时数据分析
  • 通过我们获得专利的 Data Sharpening™ 功能进行大数据分析
  • 使用 Data DVR 回放历史数据
  • 通过动态查询取消、时间窗口和其他优化实现高接触交互式数据可视化

与 WebSockets 的实时通信

支持流数据分析平台的技术之一是 WebSockets 双向通信协议。Logi Composer Web 应用程序和使用 Logi Composer JavaScript API 的任何其他客户端应用程序在其自身与 Logi Composer 查询引擎之间建立双向 WebSocket 通信通道。WebSockets 允许数据在一个方向上传输,而用户请求在另一个方向上传输,从而提供动态和交互式的最终用户体验。

在实时模式下流式传输实时数据

使您的整个组织能够可视化和分析流数据以获得强大的实时洞察力。

使用 Data Sharpening™ 实现大数据可视化

使用 Logi Composer 独特的数据锐化功能处理移动量太大的数据。

将数据流式传输到自定义应用程序

应用程序开发人员可以使用简单的 JavaScript 命令嵌入图表并用新鲜的流数据填充它们——几乎可以直接来自任何来源。

数据锐化™ 和微查询

Microqueries 和 Data Sharpening™ 是专利技术,它们协同工作,为分析大数据提供最复杂的最终用户体验。今天市场上几乎没有其他类似的产品。

如果为数据源启用,则查询引擎确定是否调用微查询。微查询跨分区重复采样数据,并将示例数据返回到查询引擎进行处理。

数据锐化是分析微查询返回的样本数据并将估计结果流式传输到用户浏览器(或其他客户端)的补充过程。数据锐化的估计结果可能会上下波动,直到最终查询得到解决。然而,随着数据的锐化,每组的相对值通常保持一致。例如,在 10% 完成时图表中最高的条形几乎总是在 100% 完成时保持最高的条形。这意味着即使数据实时流式传输到仪表板,用户也可以自信地探索数据。

当用户放大、过滤、更改指标或分组或任何其他会更改数据值的操作时,Logi Composer 会取消任何活动查询。然而,取消活动查询并非易事,而且许多 JDBC 驱动程序都不支持它。在这些情况下,Logi Composer 的智能数据连接器发出本机 API 调用来完成任务。

安全

没有安全性,任何大数据解决方案都是不完整的。我们的数据架构师在 Logi Composer 的架构中内置了安全性。无论 Logi Composer 是用作独立的 BI 平台还是用于在嵌入式应用程序中可视化分析数据,它都能确保遵守安全性的“three As”——可视化分析环境的正确身份验证、授权和审计。

现代微服务体系结构的规模和速度

  1. Logi Composer 应用程序服务器
  2. 现代查询引擎
  3. 智能数据连接器
  4. JavaScript SDK 和 RESTful API
  5. 微服务架构 
  6. 适应性安全模型

免责声明:凡未注明来源或者来源为网络的信息均转自其它平台,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。网站只负责对文章进行整理、排版、编辑,不承担任何法律责任。若有侵权或异议请联系我们删除,谢谢。

发表评论

您的电子邮箱地址不会被公开。