大家好，今天小编关注到一个比较有意思的话题，就是关于在线数据处理与交易处理的问题，于是小编就整理了1个相关介绍在线数据处理与交易处理的解答，让我们一起看看吧。
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。
大数据 big data 国标定义：
支持一个或多个应用领域，按概念结构组织的数据集合，其概念结构描述这些数据的特征及其对
应实体间的联系。具有数量巨大、种类多样、流动速度快、特征多变等特征，并且难以用传统数据体
系结构和数据处理技术进行有效组织、存储、计算、分析和管理的数据集。
[来源：GB/T 35274-2017，定义3.1]
1、基础概念
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。
2、特点分析
大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
3、发展过程
我有幸做了有五六七八年的大数据吧，谈谈自己的看法。简单来说，就是现在各个APP，网站产生的数据越来越多，越来越大，传统的数据库比如MySQL Oracle之类的，已经处理不过来了。所以就产生了大数据相关的技术来处理这些庞大的数据。
第一，首先要把这些大数据都可靠的存储起来，经过多年的发展，hdfs已经成了一个数据存储的标准。
第二，既然有了这么多的数据，我们可以开始基于这些数据做计算了，于是从最早的MapReduce到后来的hive，spark，都是做批处理的。
第三， 由于像hive这些基于MapReduce的引擎处理速度过慢，于是有了基于内存的olap查询引擎，比如impala，presto。
第四，由于批处理一般都是天级别或者小时级别的，为了更快的处理数据，于是有了spark streaming或者flink这样的流处理引擎。
第五，由于没有一个软件能覆盖住所有场景。所以针对不同的领域，有了一些特有的软件，来解决特定场景下的问题，比如基于时间序列的聚合分析查询数据库，inflexdb opentsdb等。采用预聚合数据以提高查询的druid或者kylin等，
第六，还有其他用于数据削峰和消费订阅的消息队列，比如kafka和其他各种mq
第七，还有一些其他的组件，比如用于资源管理的yarn，协调一致性的zookeeper等。
第八，由于hdfs 处理小文件问题不太好，还有为了解决大数据update和insert等问题，引入了数据湖的概念，比如hudi，iceberg等等。
第九，业务方面，我们基于大数据做一些计算，给公司的运营提供数据支撑。做一些推荐，给用户做个性化推荐。机器学习，报警监控等等。
到此，以上就是小编对于在线数据处理与交易处理的问题就介绍到这了，希望介绍关于在线数据处理与交易处理的1点解答对大家有用。
