ClickHouse 2024-01-15 OLTP 全称 OnLine Transaction Processing，联机事务处理系统, 就是对数据的增删改查等操作。存储的是业务数据，来记录某类业务事件的发生，比如下单、支付、注册、等等。 典型代表有Mysql、 Oracle等数据库，对应的网站、系统应用后端数据库 针对事务进行操作，对响应时间要求高，面向前台应用的，应用比较简单，数据量相对较少，是GB级别的。 面向群体：业务人员 OLAP 当数据积累到一定的程度，需要对过去发生的事情做一个总结分析时，就需要把过去一段时间内产生的数据拿出来进行统计分析，从中获取想要的信息，为公司做决策提供支持，这个就是做OLAP了。 OnLine Analytical Processing，联机分析处理系统,存储的是历史数据，对应的风控平台、BI平台、数据可视化等系统就属于OLAP。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策，并且提供直观易懂的查询结果 典型代表有 Hive、ClickHouse 针对基于查询的分析系统，基础数据来源于生产系统中的操作数据，数据量非常大，常规是TB级别的 面向群体：分析决....
DevOps 2024-02-03 六西格玛管理法 六西格玛管理法是一种质量尺度和追求的目标，是一套科学的工具和管理方法，运用 DMAIC（改善）或DFSS（设计）的过程进行流程的设计和改善。是一种经营管理策略。6 Sigma管理是在提高顾客满意程度的同时降低经营成本和周期的过程革新方法，它是通过提高组织核心过程的运行质量，进而提升企业赢利能力的管理方式，也是在新经济环境下企业获得竞争力和持续发展能力的经营策略。 ISO9001 ISO9001不是指一个标准，而是一类标准的统称，是由TC176（TC176指质量管理体系技术委员会）制定的所有国际标准，是ISO12000多个标准中最畅销、最普遍的产品。 ISO9001质量管理体系认证标准是很多国家，特别是发达国家多年来管理理论与管理实践发展的总结，它体现了一种管理哲学和质量管理方法及模式，已被世界上100多个国家和地区采用。 ISO9001国际质量管理体系标准是迄今为止世界上最成熟的一套管理体系和标准，是企业发展和成长之根本。 精益生产 指导思想：用最少的时间和资源消耗，生产出高质量的产品 一种系统性的生产方法，其目标在于减少生产过程中的无益浪费（日语：無駄，M....
K8S 2024-01-13 应用部署演进 传统部署时代 早期的时候，在物理服务器上运行应用程序。缺点： 无法限制在物理服务器中运行的应用程序资源使用，会导致资源分配问题，过高或过低 部署多个物理机，维护许多物理服务器的成本很高。 虚拟化部署时代 虚拟化技术允许在单个物理服务器的 CPU 上运行多台虚拟机（VM）。虚拟化能使应用程序在不同 VM 之间被彼此隔离，且能提供一定程度的安全性，能够更好地利用物理服务器的资源，具有更高的可伸缩性，以及降低硬件成本等等的好处。缺点： 需要单独一个系统，占用资源 不能灵活的扩容和缩容 容器部署时代 容器类似于 VM，但是更宽松的隔离特性，使容器之间可以共享操作系统（OS）。容器比起 VM 被认为是更轻量级的，每个容器都具有自己的文件系统、CPU、内存、进程空间等。跨云和操作系统发行版本的可移植性：可在 Ubuntu、CoreOS、CentOS、 Google Kubernetes Engine 和其他任何地方运行。容器化部署存在的问题： 10 个物理机发布 100 个容器，怎么快速发布和管理 用户请求过来，怎么分配请求到 100 个容器里面 突发海量请求过来，....
Flink 2024-01-09 批量计算(batch computing) 对一定规模量的数据进行处理，类似搬砖，10个10个的搬。 场景：离线数据统计、报表分析等（过去 1 年 10000 亿条日志，分析日、周、月，接口响应延迟、状态码） 特点：批量计算非实时、高延迟，计算完成后才可以得到结果 框架：Hadoop 的 MapReduce 流式计算(stream computing) 对源源不断的数据流进行处理，类似水龙头出水。 场景：实时监控、实时风控等 特点：流式计算实时、低延迟，实时取最新的结果 框架：Spark(宏观上)、Flink 区分（ 离线计算和实时计算 、流式计算和批量计算） 离线计算和实时计算 ：是对数据处理的【延迟】不一样（一个实时和非实时） 流式计算和批量计算： 是对数据处理的【方式】不一样（一个流式和一个批量） Stream(JDK8) lombok 依赖 1<dependency> 2 <groupId>org.projectlombok</groupId> 3 <artifactId>lombok</artifactId....
