WangShengJJのblog

【Linux存储系列教程】ceph的架构和原理一、ceph的介绍 Ceph是一个==统一==的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 二、ceph的特性 高性能 采用CRUSH算法实现数据均衡分布 支持上千存储节点，支持TB到PB级的数据 高可用性 高可扩展性 特性丰富 支持三种存储接口：==块存储==、==文件系统存储==、==对象存储== 支持==多种语言==驱动 三、ceph的核心概念 1. Monitor 一个ceph集群需要多个monitor集群，它们通过paxos同步数据用于保存OSD元数据 2. OSD Object Storage Device对象存储设备负责响应客户端请求、返回具体数据的进程 一个ceph集群一般都存在多个OSD 3. MDS Ceph Metadata Server是cephFS依赖的元数据服务 4. Object ceph最底层的存储单元每个object包含元数据和原始数据 5. P ...

【Linux存储系列教程】glusterfs分布式文件系统一、关于分布式文件系统 作用： 适用于海量数据 增加数据的处理速度 构建分布式文件存储系统常见的软件： hadoop, hdfs【大数据】 glusterfs【云平台】 ceph【现在比较流行】 1.gluster的特性 开源的 容量达到PB级、服务器的最多达到千台 提升数据读写速度、高用性 无元数据metadata的架构, 采用弹性hash定位数据 可以廉价的pc server上构建 2.gluster的结构 brick真实的存储空间，表现为磁盘挂载点volume虚拟的存储空间，用于前端业务挂载使用 二、安装gluster分布式文件系统集群 准备：5台虚拟机，master节点用于挂载后端node节点的volume，每台node节点添加4块虚拟硬盘master01.linux.com 192.168.140.10node1.linux.com 192.168.140.12node2.linux.com 192.168.140.13node3.linux.com 192.168.140.14node4.linu ...

【Linux存储系列教程】常见存储类型一、存储类型1.DAS 直接附加存储 存储设备通过数据总线连接到主板 优势：速度快 劣势: 不便于共享 常见磁盘接口: SCSI接口 320M/s SATA接口 6G/s SAS接口 6G/s M.2 PCI-E 2.NAS 网络附加存储 基于文件系统的共享 通过NFS协议、CIFS协议将存储空间进行共享 实现方式: 专业存储设备 NFS服务器(Linux) CIFS服务器(Windows) 3.SAN 存储区域网络 基于块设备的共享 实现方式: 专业的存储设备 SAN类型： FC SAN 光纤网络存储 SCSI协议 IP SAN 以太网络存储 iSCSI协议

Centos7部署SSPanel UIM前端教程 官方文档使用 RPM 包部署 SSPanel UIM 部署LNMP环境 Linux:Centos7 Nginx:1.20 MriaDB：10.6 PHP:8.1 一、关闭防火墙和SElinuxsystemctl stop firewalld systemctl disable firewalld systemctl mask firewalld vim /etc/selinux/config SELINUX=disabled setenforce 0 二、配置Yum源和Epel源(国内源) 如果没有wget命令，请安装yum install -y wget wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo wget -O /etc/yum.repos.d/epel.repo ...

【Linux集群系列教程】keepalived高可用集群一、keepalived介绍 keepalived基于vrrp(虚拟冗余路由)协议开发 二、案例1：keepalived高可用集群MySQL 上一期教程：HAProxy负载均衡集群 192.168.140.10作为Nginx服务器，反向代理到后台MySQL，并且作为主调度器192.168.140.11作为Nginx服务器，反向代理到后台MySQL，并且作为备用调度器192.168.140.12作为MySQL数据库，配置双主环境192.168.140.13作为MySQL数据库，配置双主环境 1.关闭防火墙和SElinux、配置时间同步(重要) 务必同步时间！否则会出现脑裂现象！ 2.配置MySQL双主复制环境 MySQL5.7安装教程：https://www.wsjj.top/archives/65MySQL5.7配置双主复制环境教程：https://www.wsjj.top/archives/76 3.查看MySQL数据库双主复制状态mysql> show slave status\G; ********** ...

【Linux集群系列教程】HAProxy负载均衡集群一、关于HAProxy HAProxy是一个开源的、高性能的、基于TCP和HTTP应用的负载均衡软件，借助HAProxy可快速、可靠地提供基于TCP和HTTP应用的负载均衡解决方案 1.调度器类型 四层调度 仅能根据IP地址、端口号进行调度 LVS, nginx 七层调度 根据应用数据HTTP协议进行调度 nginx 2.HAProxy特性 可靠性和稳定性非常好 最高可以同时维护40000—50000个并发连接，单位时间内处理的最大请求数为20000个，最大数据处理能力可达10Gbps 支持多于8种负载均衡算法 ，同时也支持session保持 支持虚拟主机功能 从HAProxy 1.3版本后开始支持连接拒绝、全透明代理等功能 HAProxy拥有一个功能强大的服务器状态监控页面 HAProxy拥有功能强大的ACL支持 3.HAProxy配置文件结构 global 全局配置、进程数、日志等 defaults 默认参数 frontend 定义虚拟服务、调度算法 backend 定义后端real server ...

【Linux集群系列教程】LB集群(keepalived结合LVS)+LAMP环境+WordPress博客 上一期教程LVS集群关于LAMP+WordPress博客教程：https://www.wsjj.top/archives/88 虚拟机工作安排：192.168.140.10主调度器192.168.140.11从调度器192.168.140.12负责web服务，安装httpd、PHP192.168.140.13负责web服务，安装httpd、PHP192.168.140.14负责NFS存储共享，存储网页数据，安装MySQL 一、配合keepalived管理LVS 实现调度器的高可用 自动生成LVS负载均衡规则 对后端real server进行健康状态检测 二、关闭防火墙SElinux和设置时间同步 过程省略，一定要配置时间同步！否则会出现脑裂问题！ 三、配置虚拟机网卡和静态IP 五台虚拟机都要修改网卡模式为NAT，默认NAT模式下使用VMnet8网卡 配置IP 过程省略配置网卡教程：https://www.wsjj.top/archives/50 四、配置后端NFS服 ...

【数据库系列教程】Mycat读写分离一、关于Mycat Mycat是一个开源数据库中间件；它可以管理你的所有数据库，并对他们进行读写分离，分库分表等。使用起来的话Mycat就是一个近似于MySQL的数据库服务器，你可以用连接MySQL的方式去连接Mycat(除了端口不同，默认的Mycat端口是8066而非MySQL的3306) 二、配置Mycat读写分离1.配置jdk环境[root@localhost ~]# wget https://mirrors.huaweicloud.com/java/jdk/8u191-b12/jdk-8u191-linux-x64.tar.gz 如果提示找不到wget命令请使用yum install -y wget安装！ [root@localhost ~]# tar xf jdk-8u191-linux-x64.tar.gz -C /usr/local [root@localhost ~]# ls /usr/local bin etc games ...

【Linux集群系列教程】LVS负载均衡集群一、关于集群1.集群的类型 负载均衡集群 全称：Load Balance 简称：LB 高可用集群 全称：High Avalibility 简称：HA 高性能计算集群 全称：High Performace Compute 简称：HPC A.负载均衡集群 作用：提高业务的并发能力 B.高可用集群 作用：解决单点故障、提高可用性 可用性：运行时间/(运行时间+故障修复时间) C.高性能计算集群 作用：提高数据的处理能力 二、关于LVS(Linux Virtual Service) lvs被集成在linux内核，速度快 ipvsadm管理工具 1.调度算法scheduler rr 全称：round robin 轮询 wrr基于权重的轮询weight 会话保持方案: a. 会话共享存储 b. 换调度算法 lc 全称：least connection 最少连接 wlc 基于权重的最少连接 默认 sh source hash 源hash 根据客户端IP计算hash值，相同hash值的请求转发到同一 ...

【Linux基础服务教程】memcached缓存服务器一、关于memcached 开源的 高性能的 分布式缓存服务器 基于内存存储数据、key-value 二、memcached内存分配方式 默认分配的内存大小为48Bytes，以1.25倍向上递僧 三、安装memcachedA.安装libevent依赖 自行准备安装包 [root@localhost ~]# tar xf libevent-2.1.8-stable.tar.gz [root@localhost ~]# cd libevent-2.1.8-stable/ [root@localhost libevent-2.1.8-stable]# ./configure --prefix=/usr/local/libevent [root@localhost libevent-2.1.8-stable]# make && make install B.安装memcached[root@localhost ~]# wget https:/ ...

【Linux基础服务教程】Redis分片集群一、关于分片集群 redis 3.x版本后开始支持1.提高缓存数据读写速度2.提高缓存数据的可用性、可靠性 1.工作原理 Redis集群使用哈希槽slot进行数据分片 Redis集群有16384个哈希槽, 每个key通过CRC16校验后对16384取模来决定放置哪个槽, 集群的每个节点负责一部分hash槽 举个例子：比如当前集群有3个节点。那么:节点 A包含0到5500号哈希槽。节点 B 包含5501到11000号哈希槽。节点 C包含11001到16384号哈希槽。数据究竟存放到哪个槽上？数据做hash运算除以16384除余 二、部署Redis分片集群1.环境描述 10.10.10.128 3个集群模式实例 端口：7001、7002、700310.10.10.129 3个集群模式实例 端口：7004、7005、7006 2.关闭防火墙、SElinux、同步时间 过程省略，时间一定要同步，否则会出现脑裂问题 3.二台服务器安装Redis点我跳转Redis的安装教程 4.在第一台服务器上创建3个实例[roo ...

【Linux基础服务教程】Redis多实例和主从复制一、Redis多实例 环境准备：redis实例:/opt/6380数据目录:/opt/6380/data日志:/var/log/redis_6380.logredis实例:/opt/6381数据目录:/opt/6381/data日志:/var/log/redis_6381.log 1.规划实例目录 如果没有tree命令，可以使用yum install -y tree安装 [root@master ~]# mkdir -p /opt/638{0,1}/{data,conf} [root@master ~]# tree /opt /opt ├── 6380 │   ├── conf │   └── data └── 6381 ├── conf └── data 2.修改配置文件[root@master ~]# cp /usr/local/redis/conf/redis.conf ...