计算机工程与信息技术学报

实时大数据分析的应用

约亨·布洛姆

技术的进步带来了数据的泛滥，这就需要更复杂的数据存储系统。从印刷机的发明到从太空探索中自动获取数据，这些技术趋势导致了数据爆炸。数据仓库的数量不断增长，无论是硬复制数据还是磁带，都证明了需要以某种方式压缩数据量，同时保留其内容。抑制数据爆炸以外的增长变得非常重要，大数据这个术语首次出现在可视化会议的诉讼中，用来描述这种数据增长。在这个系统中，当我们想要可视化的单个数据集大于主内存和远程中心可视化的容量时，提出了一种中心外可视化的解决方案，而单个数据集大于本地内存和磁盘的容量。许多因素都有助于增加数据量。数据正在成为一种有形的资源，不会被丢弃。因此，随着时间的推移，基于交易的记录不断存储，从社交媒体流入的非结构化数据、传感器和设备记录的积累，都增加了通过在线存储处理的数据量。正在采取各种策略，如实施分层存储系统、外包记录控制、分析数据源。在过去，数据存储成为主要问题，但随着存储成本的降低，其他问题也随之出现，例如如何在海量数据中确定相关性以及如何使用分析从相关数据中获取价值。