一、逻辑存储结构 　　 　　表空间(Tablespace)：一个mysql实例，及一个数据库实例，可以对应多个表空间(ibd文件)，用于存储记录，索引等数据。 　　 　　段(Segment)：分为数据段（Leaf node segment）、索引段（Non-leaf node segmen...[2023/9/20]

在使用 MySQL 8.0 表分区时，需要注意以下一些关键事项和最佳实践： 支持的存储引擎： MySQL 8.0 表分区仅支持一些特定的存储引擎，如 InnoDB 和 NDB（NDB 是 MySQL Cluster 存储引擎）。因此，在选择分区时，请确保你的表使用的是支持分区的存储引擎。 分区...[2023/9/20]

一、前言 　　MySQL的服务实现通过后台多个线程、内存池、文件交互来实现对外服务的，不同线程实现不同的资源操作，各个线程相互协助，共同来完成数据库的服务。MySQL常用的后台线程概括如下，分为Master Thread，IO Thread，Purge Thread，Page Cleaner Th...[2023/9/20]

Mysql慢查询优化实战 效果：效率提升十倍左右 优化前 mysql> use test_old; Database changed mysql> set profiling = ''ON''; Query OK, 0 rows affected mysql> show...[2023/9/15]

1. 背景 刚入行时，大部分Java工程师对MySQL停留在一个黑盒的认识，包括我自己。最近一段时间，这几年通过项目实践与不断反思，对MySQL的新认知提升到一个新层次，供大家分享。 下图是初始阶段的认识，就是对数据库建库、建表、建索引，然后执行增删改查操作。 2. 数据库驱动 大家都知...[2023/9/15]

MySQL 存储过程是一种强大的数据库功能，它允许你在数据库中存储和执行一组SQL语句，类似于编程中的函数。存储过程可以大幅提高数据库的性能、安全性和可维护性。本文将详细介绍MySQL存储过程的使用。 什么是MySQL存储过程？ MySQL存储过程是一组预编译的SQL语句，它们以一个名称存储在...[2023/9/15]

1. 架构回顾 上一篇我们讲解了MySQL的逻辑架构，重新回顾一下，用一张新的图来认识一下该架构。 整体架构分为service层与存储引擎层，请求交给连接池后，由后台线程处理，并将请求转发给SQL接口，随后交给解析器执行，如果解析器发现命中缓存，直接从缓存读数据返回，如果没有，依次往下执行...[2023/9/15]

分表是一种数据库分割技术，用于将大表拆分成多个小表，以提高数据库的性能和可管理性。在MySQL中，可以使用多种方法进行分表，例如基于范围、哈希或列表等。下面将详细介绍MySQL如何分表以及分表后如何进行数据查询。 基于哈希的分表 基于哈希的分表是一种将数据分散到多个子表中的数据库分表策略。这种...[2023/9/15]

1．背景原因 当前MySQL不支持在添加和删除分区时，使用IF NOT EXISTS和IF EXISTS。所以在执行调度任务时，直接通过ADD PARTITION和DROP PARTITION不可避免会报错。本文通过创建存储过程来添加和删除分区，可以避免在分区存在时添加分区报错，或者分区不存在时...[2023/9/14]

隔离级别相关面试题 MySQL事务隔离级别 未提交读——可以读到其他事务未提交的数据（最新的版本） 错误现象：脏读、不可重复读、幻读的现象 提交读（RC）——可以读到其他事务已提交的数据（最新已提交的版本） 错误现象：不可重复读、幻读现象 使用场景：希望看到最新的有效值 可重复读（R...[2023/9/14]

当涉及到提高MySQL查询效率时，以下是一些重要的策略和技巧，可以帮助你优化数据库性能。无论你是一个Web开发者、数据工程师还是系统管理员，这些方法都可以帮助你确保你的MySQL数据库运行得更快、更有效。 索引优化： 使用索引是提高查询性能的关键。确保在经常用于过滤和排序的列上创建索引。...[2023/9/13]

大家好，我是蓝胖子，mysql对大表(千万级数据)的ddl语句，在生产上执行时一定要千万小心，一不小心就有可能造成业务阻塞，数据库io和cpu飙高的情况。今天我们就来看看如何针对大表执行ddl语句。 通过这篇文章，你能了解到下面的知识点, 传统ddl 和online ddl的区别 mys...[2023/9/6]

一、简介 　　锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除了传统的计算资源(CPU、RAM、i/O)的挣用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性，有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素，从这个角度来...[2023/9/4]

前言：在容器化的时代，当然一切皆可容器化。在docker官网首页赫然有下面这几个大字。足以知道docker的优势。那么且问，mysql适合跑在docker中吗? 当然，这个问题有人说可以，也有人说不可以。下面我们就正反都来看下各自的观点。 1. 不可以容器化 大部分人的理由有2： ...[2023/9/1]

Mysql高阶自定义排序 嗨，大家好，我是远码，隔三岔五给大家分享一点工作的技术总结，花费的时间不多，几分钟就行，谢谢！ Mysql对我们码农来说是在熟悉不过的日常了，就不在介绍它的基础用法了，今天我们来简单聊聊它的一个基本高阶使用。 一、问题引入 今天看到一个小伙伴在写一个表查询排序时，整...[2023/8/29]

MySQL有哪几种数据存储引擎？有什么区别？ MySQL支持多种数据存储引擎，其中最常见的是MyISAM和InnoDB引擎。可以通过使用"show engines"命令查看MySQL支持的存储引擎。 存储方式：MyISAM引擎将数据和索引分别存储在两个不同的文件中，一个是.MYD文件用于存储数...[2023/8/18]

一、介绍 　　存储过程是事先经过编译并存储在数据库中的一段sql语句的集合，调用存储过程可以简化应用开发人员的很多工作，减少数据在数据库和应用服务器之间的传输，对于提高数据处理的效率是有好处的。存储过程思想上很简单，就是数据库sql语言层面的代码封装与重用。 　　例如：我们在实际开发中经常会遇...[2023/8/14]

本文为博主原创，转载请注明出处： 　　创建go项目，并在go项目中接入mysql，将mysql的配置项单独整理放到一个胚子和文件中，支持项目启动时，通过加载配置文件中的值，然后创建数据库连接。 　　之后使用net/http相关的库，创建路由，并在路由中通过不同的http方法，实现mysql连...[2023/8/11]

MySQL8_SQL语法 SQL 全称 Structured Query Language，结构化查询语言。操作关系型数据库的编程语言，定义了一套操作关系型数据库统一标准 。   一、SQL通用语法 在学习具体的SQL语句之前，先来了解一下SQL语言的同于语法。 1). SQL语...[2023/8/4]

@目录概述定义核心功能适用场景架构原理总体架构统一存储基本概念文件布局部署环境准备环境部署实战Catalog文件系统Hive Catalog创建表创建Catalog管理表查询创建表（CTAS）创建外部表创建临时表修改表修改表修改列修改水印 概述 定义 Apache Paimon 官网 ht...[2023/8/4]

一、插入数据优化 　　1.1 批量插入 　　　　如果有多条数据需要同时插入，不要每次插入一条，然后分多次插入，因为每执行一次插入的操作，都要进行数据库的连接，多个操作就会连接多次，而一次批量操作只需要连接1次 　　1.2 手动提交事务 　　　　因为Mysql默认每执行一次操作，就会提交一次事务...[2023/7/31]

一、索引概述 　　1.1 索引的介绍 　　　　索引index：是帮助 Mysql 高效获取数据 的 有序的数据结构，在数据之外，数据库系统维护着的满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据结构上实现高级查找算法，这种数据...[2023/7/28]

有很多的服务器选项会影响这MySQL服务器的性能，比如内存中临时表的大小、排序缓冲区等。有些针对特定存储引擎（如InnoDB）的选项，也会对查询优化很有用。 调整服务器的配置从某种程度来说是一个影响全局的行为，因为每个修改都可能对该服务器上的每个查询造成影响。不过有些选项是针对特定类型的优化的...[2023/7/26]

在 MySQL 中，GROUP BY用于将具有指定列中相同值的行分组在一起。这是在处理大量数据时非常有用的功能，允许对数据进行分类和聚合。 基本使用 语法 以下是GROUP BY子句的基本语法： """ SELECT col1, col2, ..., aggregate_functio...[2023/7/24]

数据的连接与关联查询 INNER JOIN INNER JOIN是MySQL中的一种表连接操作，用于将两个或多个表中的行基于一个共同的列进行匹配，并返回匹配的结果集。 下面是一个案例，假设有两个表：orders和customers，分别存储订单信息和客户信息。表结构如下： orders表： ...[2023/7/21]

数据操作 插入数据 Mysql使用INSERT语句来插入数据。INSERT语句的一般格式如下： INSERT INTO 表名 (列1, 列2, 列3, ...) VALUES (值1, 值2, 值3, ...); 其中，表名是要插入数据的表名；列1, 列2, 列3 是要插入数据的列名；值1,...[2023/7/14]

聚合函数 SUM函数 在MySQL中，SUM函数是用于计算数值列的总和的聚合函数。它接受一个数值列作为参数，并返回该列中所有值的总和。 以下是一个使用SUM函数的示例： 假设我们有一个名为"orders"的表，其中有两个字段："product"和"amount"，用于记录不同产品的订单金额。...[2023/7/14]

导读 　　percona-toolkit 源自 Maatkit 和 Aspersa 工具，这两个工具是管理 MySQL 的最有名的工具，但 Maatkit 已经不维护了，全部归并到 percona-toolkit。Percona Toolkit 是一组高级的命令行工具，用来管理 MySQL 和系...[2023/7/3]

开心一刻 　　今天答应准时回家和老婆一起吃晚饭，但临时有事加了会班，回家晚了点 　　回到家，本以为老婆会很生气，但老婆却立即从厨房端出了热着的饭菜 　　老婆：还没吃饭吧，去洗下，来吃饭吧 　　我洗好，坐下吃饭，内心感动十分；老婆坐旁边深情的看着我 　　老婆：你知道谁最爱你吗 　　我毫不...[2023/6/26]

MySQL主从复制是一种常用的数据库高可用性解决方案，可以提高数据库的可用性和性能。本教程将介绍如何搭建MySQL主从复制。 1、MySQL 支持的复制类型 基于语句的复制（STATEMENT）：在主服务器上执行的 SQL 语句，在从服务器上执行同样的语句。MySQL 默认采用基于语句的复制...[2023/6/21]

一、InnoDB 表存储优化 1、OPTIMIZE TABLE 适时的使用 OPTIMIZE TABLE 语句来重组表，压缩浪费的表空间。这是在其它优化技术不可用的情况下最直接的方法。OPTIMIZE TABLE 语句通过拷贝表数据并重建表索引，使得索引数据更加紧凑，减少空间碎片。语句的执行效果...[2023/6/21]

接触mysql都知道在mysql中有很多锁，共享锁（S）、排他锁（X）、间隙锁（gap）、next-key，当然还有意向锁、表锁等。今天不讲别的，专门来看下innodb引擎下的锁是什么样子的。 现在有这样一条sql语句，你知道是什么锁吗？ update t set name=''1'' wh...[2023/6/19]

MySQL 是一种广泛使用的关系型数据库管理系统（RDBMS），由于其开放源代码和高度可定制化的优势，广受开发者欢迎。为了更加高效地管理 MySQL 数据库，我们通常需要使用 MySQL 可视化工具。下面列出了几款 MySQL 可视化工具及其优点： Navicat for MySQL N...[2023/6/14]

MySQL中都有哪些锁 为什么需要锁 在计算机系统中，锁（Lock）是一种同步机制，用于控制对共享资源的访问。它确保在任何给定时间内只有一个线程能够访问受保护的共享资源，从而避免了由并发访问导致的数据竞争和不一致问题。 同样，在数据库系统中，锁也扮演着重要角色，是其与文件系统不同的关键特性之...[2023/6/14]

什么是多表查询？如何在MySQL中进行多表查询？ 多表查询就是在一个查询中涉及到多个表，通过特定的关联方式连接多个表，并根据条件从中查询出所需要的数据。 多表查询是关系型数据库中最为基础的应用之一。 一个比较典型的例子就是，我们在查询一个订单的详细信息时，需要从订单表中获取订单编号，然后根据...[2023/6/12]

前言 基于EF Core + MySQL的基本增删改查，示例是基于.NET6 + EF Core + MySQL 创建实体和数据库、EFCore 数据迁移项目基础上的内容增加。同时也是对基于Canal实现MySQL 8.0 数据库数据同步项目的验证。 创建控制器 Controllers----...[2023/6/9]

背景 最近有个同事对字符串加索引，加完后，发现多了个奇奇怪怪的数字 执行的SQL如下： alter table string_index_test add index `idx_name` (`name`) USING BTREE; 这个奇怪数字就是191，它很是疑惑，也没...[2023/6/2]

运维同事导入一批大约500万左右的数据，耗时较久。他使用的是纯SQL导入，主键使用的是UUID,因为业务原因没有使用自增ID。 因为是内网，不能远程访问。 通过沟通，大致觉得有两个原因，一是因为UUID作为主键，二是表字段繁多，单行加起来接近10000的长度引起行溢出。 因为是临时一次性任...[2023/6/2]

1 引言 大家好，接着上次和大家一起学习了《MySQL DDL执行方式-Online DDL介绍》，那么今天接着和大家一起学习另一种MySQL DDL执行方式之pt-soc。 在MySQL使用过程中，根据业务的需求对表结构进行变更是个普遍的运维操作，这些称为DDL操作。常见的DDL操作有在表上...[2023/5/30]

es mysql 适用场景对比 问题一 全文检索毫无疑问直接上es，那么除了这种场景，什么时候该选es？为啥mysql不行？ 对枚举字段的搜索 mysql创建索引的原则是对于那些区别度高字段建立索引，区别度越高的索引，在数据量大的情况下，索引效果越好。 因为mysql建立b+树时是这样，每创建...[2023/5/30]

合辑地址：MySQL全面瓦解 1 为什么需要数据库备份 灾难恢复：当发生数据灾难的时候，需要对损坏的数据进行恢复和还原 需求的变更或者回滚：当需求发生变更，或者需要回滚到之前的版本时，数据库备份也显得很重要。 审计：需要知道某一个阶段的数据或者Schema的实际情况 测试：将实际的生产环境...[2023/5/29]

之前公司一直使用的是ASP.NET Boilerplate (ABP)，但是当解决方案变得很大时，项目启动就变得非常慢，虽然也想了一些办法，将一些基础模块做成Nuget包的形式，让整个解决方案去引用。但是整个项目还是很臃肿，各个项目之间的耦合性太强，很难将其拆开；无法进行微服务的部署，扩展性差。之...[2023/5/29]

目录Windows 平台安装 MySQLLinux 平台 Rocky 9 安装 MySQLbinary packagerpm packageyum 源source package Windows 11 和 Rocky 9 Linux 初体验 MySQL8.0.33 简易安装教程。 MySQ...[2023/5/25]

前言 接上期文章《.NET6项目连接数据库方式方法》，有人问了我几个问题，现在就这几个问题，拓展延申一下创建实体类、数据库。把ORM框架和数据迁移都写进去。 安装ORM框架，这里我们采用EFCore 安装EFCore 我的项目是在Linux上创建的，使用的是vscode开发工具远程开发。为...[2023/5/19]

介绍 “索引”是为了能够更快地查询数据。比如一本书的目录，就是这本书的内容的索引，读者可以通过在目录中快速查找自己想要的内容，然后根据页码去找到具体的章节。 优缺点 优势：以快速检索，减少I/O次数，加快检索速度；根据索引分组和排序，可以加快分组和排序； 劣势：索引本身也是表，因此会占用存储...[2023/5/19]

一.MySql的实际存储位置 B+树是MySql数据结构的主流存储方式，包括InnoDB和MYISAM引擎，它们的默认存储结构都是B+树 了解B+树前，我们先要知道MySql 的实际存储位置在哪？ 有人会说它存在我么的D盘或C盘的MySql文件夹的Data目录里，这个回答没错，我们在深入的了...[2023/5/15]

前言 最近公司某项目上反馈mysql主从复制失败，被运维部门记了一次大过，影响到了项目的验收推进，那么究竟是什么原因导致的呢？而主从复制的原理又是什么呢？本文就对排查分析的过程做一个记录。 主从复制原理 我们先来简单了解下MySQL主从复制的原理。 主库master 服务器会将 SQL ...[2023/5/12]

业务场景 一般在项目开发中会有很多的统计数据需要进行上报分析，一般在分析过后会在后台展示出来给运营和产品进行分页查看，最常见的一种就是根据日期进行筛选。这种统计数据随着时间的推移数据量会慢慢的变大，达到百万、千万条数据只是时间问题。 瓶颈再现 创建了一张user表，给create_time字段...[2023/5/10]

一、ROLLUP简介 ROLLUP是GROUP BY子句的扩展。 ROLLUP选项允许包含表示小计的额外行，通常称为超级聚合行，以及总计行。 通过使用ROLLUP选项，可以使用单个查询生成多个分组集。 MySQL中的ROLLUP是用于 产生汇总输出的修饰符，包括表示超级汇总(较高级别...[2023/5/10]

MySQL数据库恢复到指定时间点时，我们必须通过MySQL全备+MySQL增量备份（可选）+MySQL的二进制日志（binlog）进行重放来恢复到指定时间点，实际的生产环境中，可能一段时间内生成了多个二进制日志文件（binlog）, MySQL本身不会存储二进制日志文件（binlog）的开始时间...[2023/5/8]