Python数据库编程全指南SQLite和MySQL实践
本文分享自华为云社区《Python数据库编程全指南SQLite和MySQL实践》,作者: 柠檬味拥抱。
1. 安装必要的库
首先,我们需要安装Python的数据库驱动程序,以便与SQLite和MySQL进行交互。对于SQLite,Python自带了支持;而对于MySQL,我们需要安装额外的库,...[2024/3/29]
Linux电脑如何下载QGIS?
本文介绍在Linux操作系统Ubuntu版本中,通过命令行的方式,配置QGIS软件的方法。
在Ubuntu等Linux系统中,可以对空间信息加以可视化的遥感、GIS软件很少,比如ArcGIS下属的ArcMap就没有对应的Linux版本(虽然有ArcGIS Server,但是其没有办法对空间数据...[2024/3/29]
在 kubernetes 环境下如何优雅扩缩容 Pulsar
背景
在整个大环境的降本增效的熏陶下,我们也不得不做好应对方案。
根据对线上流量、存储以及系统资源的占用,发现我们的 Pulsar 集群有许多的冗余,所以考虑进行缩容从而减少资源浪费,最终也能省一些费用。
不过在缩容之前很有必要先聊聊扩容,Pulsar 一开始就是存算分离的架构(更多关于 P...[2024/3/29]
Redis高可用之战:主从架构 - Hello-Brand
★ Redis24篇集合
1 主从模式介绍
在笔者的另外两篇文章 《Redis系列:RDB内存快照提供持久化能力》、《Redis稳定性之战:AOF日志支撑数据持久化》中,我们介绍了Redis中的数据持久化技术,包括 RDB快照 和 AOF日志 。有了这两个利器,我们再也不用担心机器宕机,数据丢...[2024/3/29]
美团一面:项目中使用过Redis吗?我说用Redis做缓存。他对我哦了一声
引言
Redis,作为一种开源的、基于内存且支持持久化的键值存储系统,以其卓越的性能、丰富灵活的数据结构和高度可扩展性在全球范围内广受欢迎。Redis不仅提供了一种简单直观的方式来存储和检索数据,更因其支持数据结构如字符串、哈希、列表、集合、有序集合等多种类型,使得其在众多场景下表现出强大的适用...[2024/3/29]
探秘Kubernetes:在本地环境中玩转容器技术
在云计算时代,Kubernetes 已成为云原生技术的真正基石。它是应用程序容器的编排动力源,可跨多个集群自动部署、扩展和运行容器。Kubernetes 不仅仅是一个流行词,它还是一种模式转变,是现代软件可扩展性和敏捷性的基础。
虽然 Kubernetes 经常与云原生联系在一...[2024/3/29]
.NET开源免费、功能强大的 Windows 截图录屏神器
前言
今天大姚给大家分享一款.NET开源免费(基于GPL3.0开源协议)、功能强大、简洁灵活的 Windows 截图、录屏、Gif动图制作神器:ShareX。
功能特性
ShareX 是一个开源的屏幕捕捉工具,具有丰富的功能特性,包括但不限于:
屏幕截图:支持全屏、窗口、矩形区域等多种截图模...[2024/3/29]
京东二面:Redis为什么快?我说Redis是纯内存访问的,然后他对我笑了笑。。。。。。
引言
Redis是一个高性能的开源内存数据库,以其快速的读写速度和丰富的数据结构支持而闻名。作为一个轻量级、灵活的键值存储系统,Redis在各种应用场景下都展现出了惊人的性能优势。无论是作为缓存工具、会话管理组件、消息传递媒介,还是在实时数据处理任务和复杂的分布式系统架构中,Redis均扮演了至...[2024/3/29]
工作中总结的30个常用Linux指令,实在记不住就别硬记了,看这篇就够了
写在开头
最近发现自己记忆力严重下滑,很多sql命令,linux命令都记不住,特别是linux命令,很多命令参数很多,一段时间不用,再去使用就需要从网上重查了,很烦人,为此花了一些时间把之前笔记中的Linux命令给整理了一下,汇总出30个常用的分享出来,下次再想不起来直接看这篇文章就行了。
1、...[2024/3/27]
【虚幻引擎】DTWebSocketServer 蓝图创建WebSocket服务器插件使用说明
本插件可以使用蓝图创建WebSocket服务器,并监听响应数据。
下载地址在文章最后。
1. 节点说明
Create Web Socket Server – 创建WebSocket服务器对象并开启监听
创建一个WebSocket服务器对象,并监听相...[2024/3/27]
【VMware ESXi】HP Z4G4 Workstation安装ESXi停留在Shutting down firmware services...的解决办法。
家里有台HP Z4G4 Workstation工作站,底层安装运行了VMware的ESXi Hypervisor,作为Homelab的All in one环境。
之前安装ESXi 8的时候有个问题,在启动ESXi安装阶段,一直停留在“Shutting down firmware service...[2024/3/27]
ARM 和 龙芯上 Arch Linux 安装手记
背景
今天尝试安装龙芯版 Linux,本来希望能安装 Debian 版,但只找到一些文档,没找到可安装版的 ISO。
后来顺着这篇文章找到了Arch Linux,就尝试安装了一下。
安装后发现竟然不会配置网络 ??。而且龙芯版由于是在 QEMU 虚拟机里,运行速度也较慢。所以,我想我需要先学...[2024/3/26]
超高并发下,Redis热点数据风险破解 - Hello-Brand
★ Redis24篇集合
1 介绍
作者是互联网一线研发负责人,所在业务也是业内核心流量来源,经常参与 业务预定、积分竞拍、商品秒杀等工作。
近期参与多场新员工的面试工作,经常就 『超高并发场景下热点数据』 可用性保障与候选人进行讨论。
本文聚焦一些关键点技术进行讨论,并总结一些热点场景...[2024/3/25]
FFmpeg开发笔记(七)欧拉系统编译安装FFmpeg
FFmpeg支持Linux、macOS、Windows、Android等操作系统,其中Linux系列包括Ubuntu、Debian、Mint、CentOS、RHEL、Fedora等分支。FFmpeg官网的编译入口地址为https: trac.ffmpeg.org/wiki/CompilationG...[2024/3/25]
SpringBoot3集成PostgreSQL
标签:PostgreSQL.Druid.Mybatis.Plus;
一、简介
PostgreSQL是一个功能强大的开源数据库系统,具有可靠性、稳定性、数据一致性等特点,且可以运行在所有主流操作系统上,包括Linux、Unix、Windows等。
通过官方文档可以找到大量描述如何安装和使用...[2024/3/25]
Kubernetes客户端认证(三)—— Kubernetes使用CertificateSigningRequest方式签发客户端证书
1、概述
在《Kubernetes客户端认证(一)—— 基于CA证书的双向认证方式 》和《Kubernetes客户端认证(二)—— 基于ServiceAccount的JWTToken认证》两篇博文中详细介绍了Kubernetes客户端认证方式,包括以证书方式访问的普通用户或进程(运维...[2024/3/25]
重返ubuntu世界
一直对“重返”两个字充满了情怀感,因为会想起小时候看的一本龙珠同人的标题,它就唤作《重回龙珠世界》。最近这五年基本都是在MacOS下工作和学习的,也习惯用MacOS。就到最近一周,我正打算再买一台自用的Mac Pro的时候,我突然想到其实可以把自己一直吃灰的旧笔记重装成ubuntu系统,还能省下...[2024/3/25]
为什么延迟删除可以保证MYSQL 与redis的一致性?
看过很多保持MYSQL 与redis保持一致性的文章都提到了延迟删除,其实脱离任何业务场景的设计都是不切实际的,所以我会本着一个通用的读写场景去分析为什么延迟删除大概率可以保证MYSQL与redis的最终一致。
通常的读写场景
通常在使用redis作为读写缓存时,我们采用的是cache asi...[2024/3/22]
MYSQL 同步到ES 如何设计架构保持一致性
简单使用某个组件很容易,但是一旦要搬到生产上就要考虑各种各样的异常,保证你方案的可靠性,可恢复性就是我们需要思考的问题。今天来聊聊我们部门在 MYSQL 同步到ES的方案设计。
在面对复杂条件查询时,MYSQL往往显得力不从心,一般公司的做法会通过将mysql中的数据同步到ES,之后的查询...[2024/3/22]
Garnet发布 Redis不再是唯一选择
Garnet 是 Microsoft Research 的远程缓存存储,提供强大的性能(吞吐量和延迟)、可扩展性、存储、恢复、集群分片、密钥迁移和复制功能。
Garnet 可以与现有的 Redis 客户端配合使用。
Garnet 是 Microsoft Research 推出的一种新型远程...[2024/3/20]
GaussDB(分布式)实例故障处理
本文分享自华为云社区《Gau DB(分布式)实例故障处理》,作者:subverter。
一、说明
Gau DB Kernel实例出现故障时,可以按照本节的办法进行实例快速修复。
1、执行gs_om -t status --detail查看集群状态,cluster_state为Normal,b...[2024/3/20]
从 Linux 内核角度探秘 JDK MappedByteBuffer
本文涉及到的内核源码版本为: 5.4 ,JVM 源码为:OpenJDK17,RocketMQ 源码版本为:5.1.1
在之前的文章《一步一图带你深入剖析 JDK NIO ByteBuffer 在不同字节序下的设计与实现》 中,笔者为大家详细剖析了 JDK Buffer 的整个设计体系,从...[2024/3/20]
Garnet: 力压Redis的C#高性能分布式存储数据库Garnet: 力压Redis的C#高性能分布式存储数据库
今天看到微软研究院开源了一个新的C#项目,叫Garnet,它实现了Redis协议,可以直接将Redis替换为Garnet,客户端不需要任何修改。根据其官网的信息,简单的介绍一下它。
开源仓库地址:https: github.com/microsoft/garnet
文档地址:https: m...[2024/3/20]
RabbitMQ集群运维实践RabbitMQ集群运维实践
一、RabbitMQ的集群模式
主要有两种:普通集群模式和镜像队列模式。下面分别介绍这两种模式的原理:
1.普通集群模式:
在普通集群模式下,RabbitMQ的集群节点之间主要同步元数据,而不同步存储的消息数据。这意味着消息本身只存储在创建该消息队列的节点上,其他节点只保留队列的元数据信息...[2024/3/20]
.NET开源免费的Windows快速文件搜索和应用程序启动器
前言
今天大姚给大家分享一款.NET开源(MIT License)、免费、功能强大的Windows快速文件搜索和应用程序启动器:Flow Launcher。
工具介绍
Flow Launcher 是一款方便实用的 Windows 文件搜索和应用程序启动器,能够帮助你快速查找文件、启动应用程序和...[2024/3/20]
Redis集群模式和常用数据结构
一、Redis 支持三种主要的集群模式
主从复制模式(Master-Slave Replication):
在这种模式下,主节点(Master)负责处理写入操作,而从节点(Slave)则是主节点的副本,用于处理读取操作和提供数据冗余。这种模式通过复制主节点的数据到多个从节点来提高数据的可...[2024/3/20]
InfluxDB、Grafana、node_exporter、Prometheus搭建压测平台
InfluxDB、Grafana、node_exporter、Prometheus搭建压测平台
我们的压测平台的架构图如下:
配置docker环境
1)yum 包更新到最新
sudo yum update
如果有提示,直接输入y,回车。
2)安装需要的软件包, yum...[2024/3/19]
MySQL系列:索引失效场景总结 - Hello-Brand
相关文章
数据库系列:MySQL慢查询分析和性能优化
数据库系列:MySQL索引优化总结(综合版)
数据库系列:高并发下的数据字段变更
数据库系列:覆盖索引和规避回表
数据库系列:数据库高可用及无损扩容
数据库系列:使用高区分度索引列提升性能
数据库系列:前缀索引和索引长度的取舍 ...[2024/3/19]
mysql for update是锁表还是锁行
转载至我的博客 https: www.infrastack.cn ,公众号:架构成长指南
在并发一致性控制场景中,我们常常用for update悲观锁来进行一致性的保证,但是如果不了解它的机制,就进行使用,很容易出现事故,比如for update进行了锁表导致其他请求只能等待,从而拖垮系统...[2024/3/18]
系统渐渐沦为“屎山”,原因是..系统渐渐沦为“屎山”,原因是..
分享是最有效的学习方式。
博客:https: blog.ktdaddy.com/
背景
小猫维护现有的系统也有一段时间了,踩坑也不少,事故不少。感兴趣的小伙伴可以了解一下,往期的小猫踩坑记合集。
这天,小猫找到了商城系统的第一任开发老A开始聊天。
“你们这系统是真坑,我都吃过好多次亏...[2024/3/18]
捉虫日记 | MySQL 8.0从库某些情况下记录重放的CREATE TABLE、DROP TABLE语句到慢日志(slow log)
作者:卢文双 资深数据库内核研发
本文首发于 2023-11-30 20:47:35
https: dbkernel.com
问题描述
当主从复制采用 binlog 的行模式时,如果从库启用 slow_query_log、log_slow_replica_statements 且从库重...[2024/3/18]
开源推荐|简洁且强大的开源堡垒机OneTerm - ops-coffee
在运维的日常工作中,登陆服务器操作不可避免,为了更安全的管控服务器,但凡有点规模的公司都会上线堡垒机系统,堡垒机能够做到事前授权、事中监控、事后审计,同时也可以满足等保合规要求。提到堡垒机,大伙第一时间能够想到的可能是JumpServer,JumpServer经过了多年的发展已经十分的稳定和成熟...[2024/3/18]
掌握 Kubernetes 故障排除技巧:kubectl命令的基本指南
Kubernetes 彻底改变了容器编排,简化了应用程序的管理和扩展。然而,与任何复杂系统一样,Kubernetes 集群也会遇到问题,需要及时解决才能保持最佳性能和可靠性。在本文中,我们将深入探讨必要的 kubectl 命令,这些命令是诊断和排除 Kubernetes 集群问题不可或缺的工具。...[2024/3/15]
Asp .Net Core 系列:Asp .Net Core 集成 Hangfire+MySQLAsp .Net Core 系列:Asp .Net Core 集成 Hangfire+MySQL
简介
https: www.hangfire.io/
在 .NET 和 .NET Core 应用程序中执行后台处理的简单方法,无需 Windows 服务或单独的进程。
Hangfire 是一个开源的.NET 任务调度框架,它提供了内置集成化的控制台,允许用户直观明了地查看作业调度情况。Han...[2024/3/15]
MYSQL 主从不一致的原因分析
数据库作为存储数据的组件,数据的一致性一定是要保证的前提,今天给出两个场景来分析数据不一致的原因。
binlog同步模式导致主从不一致
在MYSQL 中主库向从库同步数据是利用binlog记录修改操作,然后将binlog传递给从库进行复制,binlog的格式有3种,
row 在对updat...[2024/3/15]
Kubernetes集群部署Node Feature Discovery组件用于检测集群节点特性Kubernetes集群部署Node Feature Discovery组件用于检测集群节点特性
1、概述
Node Feature Discovery(NFD)是由Intel创建的项目,能够帮助Kubernetes集群更智能地管理节点资源。它通过检测每个节点的特性能力(例如CPU型号、GPU型号、内存大小等)并将这些能力以标签的形式发送到Kubernetes集群的API服务器(...[2024/3/15]
Linux安装Nginx详细教程
一、下载Nginx安装包
Nginx官网下载地址
根据需求选择自己需要的版本下载后上传至服务器(路径自行决定)。
如果服务器有外网,可以直接在服务器上下载。
wget -c https: nginx.org/download/nginx-1.24.0.tar.gz
二、...[2024/3/13]
我为什么使用Linux做开发
系统选择
目前市面上主流的桌面操作系统在大多数人眼里只有Windows和MacOS,那为什么我没选择它们两呢?
首先,不选MacOS的原因,就是太贵。当然这是我的原因不是苹果的原因,我最早使用Linux写代码的时候是2018年,那时候刚毕业上班不久,根本买不起Mac(虽然现在也觉得有点贵)。...[2024/3/13]
利用Nginx正向代理实现局域网电脑访问外网
引言
在网络环境中,有时候我们需要让局域网内的电脑访问外网,但是由于网络策略或其他原因,直接访问外网是不可行的。这时候,可以借助 Nginx 来搭建一个正向代理服务器,实现局域网内电脑通过 Nginx 转发访问外网的需求。
在工作中我遇到了一个类似的情况:在公司网络中,由于管理要求,局域网内的...[2024/3/13]
从零开始学Spring Boot系列-集成mybatis
在Spring Boot的应用开发中,MyBatis是一个非常流行的持久层框架,它支持定制化SQL、存储过程以及高级映射。在本篇文章中,我们将学习如何在Spring Boot项目中集成MyBatis,以便通过MyBatis进行数据库操作。
添加MyBatis依赖
首先,我们需要在项目中添加My...[2024/3/11]
Redis 常见数据类型(对象类型)和应用案列
前言:
每次你在游戏中看到玩家排行榜,或者在音乐应用中浏览热门歌单,有没有想过这个排行榜是如何做到实时更新的?当然,依靠 Redis 即可做到。
在技术领域,我们经常听到「键值存储」 这个词。但在 Redis 的世界里,这只是冰山一角。Redis 的对象,不仅仅是简单的数据,它们是为各种任务...[2024/3/11]
告别os.path,拥抱pathlib
pathlib 模块是在Python3.4版本中首次被引入到标准库中的,作为一个可选模块。 从Python3.6开始,内置的 open 函数以及 os 、 shutil 和 os.path 模块中的各种函数都可以正确地使用 pathlib.Path 对象了。
最初,pathlib给人的感觉只是...[2024/3/11]
Redis系列:RDB内存快照提供持久化能力 - Hello-Brand
★ Redis24篇集合
1 介绍
从上一篇的 《深刻理解高性能Redis的本质》 中可以知道, 我们经常在数据库层上加一层缓存(如Redis),来保证数据的访问效率。
这样性能确实也有了大幅度的提升,因为从内存中取数远比从磁盘中快的多,但是本身Redis也是一层服务,也存在宕机、故障的可能...[2024/3/7]
用几张图实战讲解MySQL主从复制用几张图实战讲解MySQL主从复制
本文分享自华为云社区《结合实战,我为MySQL主从复制总结了几张图!》,作者: 冰 河。
MySQL官方文档
MySQL 主从复制官方文档链接地址如下所示:
http: dev.mysql.com/doc/refman/8.0/en/replication.html
MySQL 主从复制方式...[2024/3/7]
2024年,提升Windows开发和使用体验实践 - 终端&命令行篇
前言
经过前面的铺垫,终于继续更新了,这个大概率是本系列近期的最后一篇了。
同时之前有些内容更新,我也补充到这一篇里面。
关于 scoop 管理器的补充
scoop 常用命令
scoop help # 查看帮助
scoop help < 某个命令 > # 具体查看某个命令的帮助
...[2024/3/7]
Jmeter+Influxdb+Grafana搭建
背景
在无界面压测情况下,我们需要去额外搭建可视化观测平台。借助于Influxdb+Grafana,我们可以轻松让Jmeter的结果自动写入Influxdb,Influxdb实时存储运行结果,最后由Grafana作为展示
Jmeter
无界面运行需要修改配置(jmeter.properties)...[2024/3/7]
开源.NET8.0小项目伪微服务框架(分布式、EFCore、Redis、RabbitMQ、Mysql等)
1、前言
为什么说是伪微服务框架,常见微服务框架可能还包括服务容错、服务间的通信、服务追踪和监控、服务注册和发现等等,而我这里为了在使用中的更简单,将很多东西进行了简化或者省略了。
年前到现在在开发一个新的小项目,刚好项目最初的很多功能是比较通用的,所以就想着将这些功能抽离出来,然后做成一个通...[2024/3/7]
PostgreSQL、KingBase 数据库 ORDER BY LIMIT 查询缓慢案例
好久没写博客了,最近从人大金仓离职了,新公司入职了蚂蚁集团,正在全力学习 OcenaBase 数据库的体系结构中。
以后分享的案例知识基本上都是以 OcenaBase 分布式数据库为主了,呦西。??
昨天帮朋友看了个金仓KES数据库的 SQL 案例,废...[2024/3/4]
[Linux] Linux 自动挂载mount --bind 实现类似目录硬链的效果 (包含ZFS方案)
说明
这个命令用以将一个目录挂载到另一个目录,以实现类似于硬链的操作
但是这个命令只是在内存中建立了一个映射,重启系统之后挂载就消失了
而linux是不支持目录硬链的,具体原因见linux为什么不能硬链接目录? - 知乎 (zhihu.com)
手动挂载
mount --bind...[2024/3/4]
python部署项目为什么要用Nginx和uWSGI
一、测试运行python项目
1.1 Flask项目
说明1:当我们直接用编译器运行Flask项目的时候,会有一个提示:意思就是:这是开发环境的服务器,不能用于生产环境的部署,请使用WSGI的服务器替换
1.2 Django项目
说明2:当我们直...[2024/3/1]