Liarlee's Notebook

对于etcd的操作和备份 Etcd的操作 - EtcdctlEtcd的规划 最好用 固态盘， Pod数量比较多的情况下会非常非常慢， 内存要大. 类似于redis 或者 Zookeeper， KV的存储. 支持watch机制，可以通知给node节点的数据变化. etcd consul zookeeper 的区别 名称 优点 缺点 接口 一致性算法 zookeeper 1.功能强大，不仅仅只是服务发现2.提供watcher机制能实时获取服务提供者的状态3.dubbo等框架支持 1.没有健康检查2.需在服务中集成sdk，复杂度高3.不支持多数据中心 sdk Paxos consul 1.简单易用，不需要集成sdk2.自带健康检查3.支持多数据中心4.提供web管理界面 1.不能实时获取服务信息的变化通知 http/dns Raft etcd 1.简单易用，不需要集成sdk2.可配置性强 1.没有健康检查2.需配合第三方工具一起完成服务发现3.不支持多数据中心 http Raft Etcdctl 的命令 查看etcd的成员清单 1]...

Harbor的部署记录。 Harbor Info Harbor 项目地址 Harbor HTTP部署因为是临时使用， 所以直接给了HTTP的权限， 为的是不走公网部署 CEPH Cluster， CEPH在BootStrap之后会默认去公网的镜像仓库尝试Pull镜像并且校验镜像和服务，所以给一个私有的仓库， 直接去找私有仓库就免了公网访问卡集群的正常启动的步骤。 下载解压123~]$ wget https://github.com/goharbor/harbor/releases/download/v2.3.2/harbor-offline-installer-v2.3.2.tgz~]$ mv harbor-offline-installer-v2.3.2.tgz /opt ~]$ tar zxvf /opt/harbor-offline-installer-v2.3.2.tgz 复制修改配置文件1~]$ cp /opt/harbor/harbor.yml.tmpl /opt/harbor/harbor.yml 配置默认的存储位置123# 注释掉https的部分，如果需要...

云原生的定义 云原生一些概念十二因素应用 基准代码： 一份基准代码，多次部署（用同一个代码库进行版本控制） 依赖： 显式的声明和隔离相互之间的依赖 配置： 在环境中存储配置(配置中心，携程的apollo) 后端服务： 后端服务作为一个附加的资源，数据库，中间件等等 构建，发布，运行： 对程序执行构建或者打包，严格分离构建和运行,打镜像编译等等，构建和运行严格的分离 进程： 使用一个或者多个无状态进程运行应用 端口绑定： 通过端口绑定提供服务 并发： 通过进程模型进行扩展 易处理： 快速的启动，优雅的终止，最大程度的保持健壮性。 开发环境与线上环境等价： 尽可能保持Dev，Prelive，Live环境的一致性 日志： 将所有运行中的进程和后台服务的输出流按照的时间顺序统一收集存储和展示(ELK,Fluend,Logstash,Filebeat等等) 管理进程： 一次性管理类型的进程(Onetime Job)应该和正常的常驻进程使用同样的运行环境 Master - APIserverAPIserver提供了Kubernetes各类资源对象的CRUD以及Watch等等的HTTP RE...

Docker Container 基础 。 again ….. Docker使用的六个名称空间 MNT Namespace - 提供文件的挂载和文件系统的隔离 IPC Namespace - 提供进程间通信 UTS Namespace - 提供主机名隔离 PID Namespace - 提供进程以及进程号隔离 Net Namespace - 提供网络隔离 User Namespace - 提供用户以及用户id的隔离 容器的进程ID关系1234567Host -------------------------------- | container ------------------------|systemd -- containerd -- container-shim -- | nginx-master -- nginx-worker ` -- container-shim -- | nginx-master -- nginx-worker ` -- container-shim -- | mys...

ceph笔记04 修改CRUSH算法的分配方式基础概念：五种运行图： MON服务维护 Monitor Map - 监控的运行图 MON的状态 OSD Map - OSD的状态， 每隔六秒钟汇报一次状态 PG Map - PG的运行图， PG的状态和映射关系 CRUSH Map - 一致性hash算法，和数据块和osd的分配关系， 动态更新，当客户端请求一个文件的时候，会通过CRUSH算法会根据osd的map创建PG组合的来对文件的存储进行负载和分配。假如有20个osd，创建32重组合分配对应的pg和osd的对应关系，选主从，选分布方式和节点的同步关系，叫做CRUSH Map。 MDS Map - Metadata Map ，元数据和数据文件的映射关系。 5种算法对节点的选择方式 Uniform List Tree Straw - 早期的版本，分布不是特别的均衡，抽签算法 Straw2 - 目前已经发展中的版本， 抽签算法 （Default） 对PG的动态调整默认情况下是动态调整的，但是可以手动调整为给予权重，设置PG分配的倾向，例如1T权重是1，等等等等 查看状态以及调整方...

ranger 备忘 g/ Go root gh Go home gg Go to top G Go bottom # 文件操作 复制、剪切、删除、粘贴 （针对当前文件或则选择的内容） yy 复制 dd 剪切 pp 粘贴 F5 复制 F5 剪贴 F8 删除 Delete 删除 # 书签 mX 把当前目录做一个书签 (X 表示任何字符) 'X 跳到X书签代表的目录 # 标签 不同标签可以复制、粘贴、移动 gn 新建一个标签 Alt+N 跳转到N号标签 (代表一个数字) gt,gT 跳转到前个标签，后个标签 # 排序 对文件和目录列表进行排序，以便查看。 ot 根据后缀名进行排序 (Type) oa 根据访问时间进行排序 (Access Time 访问文件自身数据的时间) oc 根据改变时间进行排序 (Change Time 文件的权限组别和文件自身数据被修改的时间) om 根据修改进行排序 (Modify time 文件自身内容被修改的时间) ob 根据文件名进行排序 (basename) on 这个好像和basename差不多(natural) os 根据...

ceph笔记03 Cephfs的使用Cephfs的使用条件 当我们需要多个服务来挂载和实时的同步的时候， 使用到CEPHFS，可以实现文件系统的共享。内核里面现在这个时间已经内置cephfs的挂载模块， 可以直接挂载不需要安装。 cephfs运行需要MDS服务，用来存储缓存的文件信息。总体需要创建两个存储池，单独创建一个存储MDS信息的存储池， 同时需要创建一个数据池来提供存储空间。 启用mds的服务 1ceph orch mds 2 创建ceph的存储池 1234567891011121314151617181920212223242526ceph mds stat# 创建一个cephfs的metadata池ceph osd pool create metadata 32 32 # 创建一个cephfs的data池ceph osd pool create cephfsdata 64 64 # 创建ceph的状态ceph osd pool ls ceph -s # 创建cephfs的文件系统ceph fs new defaultfs metadata cephfsdata#...

Ceph的使用笔记。 创建存储池 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120# 创建一个PG为64 ，PGP为64的存储池。[ceph: root@ceph01 /]# ceph osd pool create test-64 64 64pool 'test-64' created# 创建一个自动识别的大小的存储池。[ceph: root@ceph01 /]# ceph osd pool create testpool 'test' created# 查看已经存在的存储池。[ceph: ...

Ceph 的学习笔记和记录。 开始部署信息OS Version: Fedora 34 ServerCEPH Version: v15.2.0 (Octopus) +DOCKER Version: 20.10.8 配置实例的 Hostname 和网络1234567891011121314151617181920212223vim /etc/hosts 192.168.122.121 ceph01 ceph01.liarlee.site 192.168.122.122 ceph02 ceph02.liarlee.site 192.168.122.123 ceph03 ceph03.liarlee.site 192.168.122.124 ceph04 ceph04.liarlee.site[root@ceph01 ~]$ ssh 192.168.122.121 echo "ceph01.liarlee.site" > /etc/hostname[root@ceph01 ~]$ ssh 192.168.122.122 echo "ceph02...

Ubuntu 18.04 上编译内核，生成deb安装包的过程和遇到的问题。使用工具： Linux-tkg系统版本： Ubuntu18.04内核版本： 5.12-muqss-6ms-skylake 背景说明看到B站大佬的教学视频， 使用Linuxtkg进行内核的编译打包和添加muqssCPU调度器， 想自己尝试一下， 同时熟悉一下Ubuntu常见的工具链，所以就开始做了这个事情。 首先是需要对系统进行初始化， 需要一些底层的工具包。 在Ubuntu上面还是有些问题的， 这个坑自己踩了。 1]$ sudo apt install zstd git wget sudo bc rsync kmod cpio libelf-dev build-essential fakeroot libncurse5-dev libssl-dev ccache bison flex qtbase5-dev kernel-package NOTE: 这里面我遇到少了pkg但是没有明确报错的是：zstd & kernel-package ，这两个如果没有正确的安装报错是比较模糊的， 完全不能定向到...