Liarlee's Notebook

这个最后基本上可以确认是一个兼容性问题，测试完成发现， 开启兼容模式的Opensearch+filebeat的组合， filebeat 还是会不定期重启。 背景需求是，使用ES + filebeat 模式在收集日志。使用Supervisor作为容器的主进程管理工具，启动后分别运行 应用（这里用nginx代替） + filebeat 现在想要用ECS Fargate， 然后依旧还是这个模式， 尽可能新的变动之前的架构， ES 替换成 OpenSearch。 按照这个路数测试。 创建Opensearch版本：OpenSearch 2.11 (latest)OpenSearch_2_11_R20231113-P1 (latest)Availability Zone(s)1-AZ without standby 构建Supervisor管理的容器创建 Dockerfile创建dockerfile的部分， 比较难的是 ， 需要找到合适的filebeat版本参考页面: Agents and ingestion tools其他的步骤就下载安装就可以. 1234567891011121...

windows 查看磁盘空间的使用情况: 1Get-PSDrive -Name C | Select-Object Name, Free windows 实例的磁盘空间扩容 1234diskpartlist volumeselect volume 0extend 从ecr下载镜像 12345$ecrCreds = (Get-ECRLoginCommand).passwordWrite-Host $ecrCredsctr -n k8s.io image pull -u AWS:$ecrCreds ecr link pull image 需要使用节点的C盘空间, 　在节点的磁盘空间不足的情况下，会报错。　 12rpc error: code = Unknown desc = failed to pull and unpack image failed to extract layer sha256:9ee7a25f1f619685e0c27cd1f08b34fd7a567f8f0fa789gf9aeb79c72169afa: hcsshim::ImportLayer faile...

我在日常的使用中， 如果是连续的文件，我其实感受不到磁盘性能的问题，一直都很好， 如果是小文件随机就非常的折磨。 这让我意识到自己还没有对磁盘进行基准测试 ，记录如下：TrueNAS 读取 和 写入的测试监控， 每次测试5mins，开始的时间是 9：55 ， 所有磁盘都有写入的原因是 ，fio 在创建测试文件来测试读取。 ada0 是一个 sata ssd。ada1 和 ada2 是两个 hdd。 吞吐量：IOPS： 读取测试这个是符合预期的 read 的所有请求都来自于内存。 12345678910111213141516171819202122232425262728root@haydentruenas[/mnt/root_pool]# fio --name=seqread --rw=read --bs=1M --size=1G --numjobs=1 --runtime=300 --time_based --group_reportingseqread: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB...

安装 TrueNas Scale 玩儿了一下， 劝退了有点。 TrueNAS Scale 作为 Linux Based 版本在使用内存上比较谨慎， ARC 并不会使用所有的内存， 这样的设计过于保守了。 内存当然是利用的越充分越好。 Config the ARC Memory to 75% Total Memory : 12$ echo 2995556352 > /sys/module/zfs/parameters/zfs_arc_max$ echo 268435456 > /sys/module/zfs/parameters/zfs_arc_sys_free 也可以使用一个这样的 shell 脚本来进行分析和配置。这个脚本会将 arc 的比例调整到 90% 的总内存。 1234567891011#!/bin/shPATH="/bin:/sbin:/usr/bin:/usr/sbin:${PATH}"export PATHARC_PCT="90"ARC_BYTES=$(grep '^MemTot...

使用Cloud-init提供读取Userdata的功能。 需要在Userdata中添加一个 MIME 的头部， 覆盖默认的行为。 https://cloudinit.readthedocs.io/en/latest/topics/format.html#mime-multi-part-archivehttps://repost.aws/zh-Hans/knowledge-center/execute-user-data-ec2 具体需要添加的MIME 部分： 123456789101112131415161718Content-Type: multipart/mixed; boundary="//"MIME-Version: 1.0--//Content-Type: text/cloud-config; charset="us-ascii"MIME-Version: 1.0Content-Transfer-Encoding: 7bitContent-Disposition: attachment; filename="cl...

查看 AWS LoadBalancer 证书的信息，检查证书的有效期： 1kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io aws-load-balancer-webhook -ojsonpath={.webhooks[0].clientConfig.caBundle} | base64 -d | openssl x509 -noout -text 使用 debug 容器： 12345# 给特定的容器附加一个Sidecar， 并启动shell。kubectl debug -it --image=public.ecr.aws/amazonlinux/amazonlinux:latest aws-node-cpmck# netshoot容器， 比较方便的用来进行网络部分的调试。# 项目仓库地址： https://github.com/nicolaka/netshootkubectl debug mypod -it --image=nicolaka/netsho...

所有这些不同的情绪及其结果，都来自于错误的理解，而这个误解来自一个源头，也就是所有无明的根源—-执着于自我。 自我只是另一个误解。当我们看着自己的身体（色）、感受（受）、想法（想）、行为（行）和意识（识）的时候，我们通常制造出一种自我的概念。人们受制约，把这种概念视为恒常而且真实的。 但是悉达多了悟到，不论是在身体里或外，都找不到一个独立存在的实体，足以被称为自我。如同火圈的视觉错幻一般，自我也是虚幻的。它是谬误的；基本上错误，而究竟上不存在。但是如同我们被火圈所迷惑一般，我们也全都被自我所迷惑了，执着于谬误的自我，是无明的荒谬行为。它不断地制造更多的无明，导致了各种痛苦和失望。 无明单纯的就是不了解事实，或对事实了解不正确，或认识得不完整。所有这些形式的无明，都导致误解和误判，高估和低估。假设你正在寻找一个朋友，忽然看到他在远方的田野中。一走近，却发现你误把一个稻草人当做是他了。你一定会感到失望。这并非有个恶作剧的稻草人或你的朋友试图偷偷摸摸误导你，而是你自己的无明背叛了你。任何源自无明所做的行为，都是冒险。我们在不了解或不完全了解的情况下行动，就不会有信心。我们根本的不安全感...

悉达多没有继续前行，决定留在当地禅修。他在附近的一棵毕钵罗树下找到一块平坦的石头，铺上吉祥草当坐垫。他静默地立下誓言，此身可烂，我可能化为尘土。但直到找到答案，我绝不起身（我今若不证，无上大菩提，宁可碎此身，终不起此座）。 问一个佛教徒“什么是人生的目的？”是不恰当的。因为这个问题暗喻在某一个地方，也许在一个洞穴之中或者在一人山岭之上，存在着一个究竟的目的。仿佛我们可以透过追随圣者，阅读书籍以及熟悉秘教修行，来解开这个秘密。如果这问题是假设在亿万年以前，有某个人或神设计了一个人生目的图表，那么它就是一个有神论的观点。佛教徒不相信有个全能的创造者，而且他们不信为生命的目的已经、或需被决定和定义。 即使在个人身上，痛苦和快乐的定义也时有变动。一个轻佻的调情时刻，可能因为其中一个人想要更认真的关系而突然变调，期待转为恐惧。当你是个小孩的时候，在沙滩上堆筑沙堡就是快乐。在青少年时期，看着穿比基尼的女孩，和赤裸上身的男孩冲浪是快乐。在中年，金钱和事业是快乐。当你八十多岁的时候，收集陶瓷盐罐是快乐。对许多人而言，不断调适于这些无尽而又经常变化的快乐定义，即是“人生的目的”。 我们人类在追求快...

EBS性能优化Agenda 磁盘调优方法论 常用的磁盘调优方法 磁盘压测工具 磁盘性能检测工具 目前比较常用的是 GP3。 方法论应用程序 –》 操作系统 –》 虚拟机 –》 EBS 服务器 应用程序IO请求下发的路径。 三个方向， iops， 带宽， 延迟，按照这三个方面来观察这个EBS本身的性能。 使用新版本的内核： 3.8 以上内核使用的Indirect descriptors 突破 I/O size 44kiB限制， 可以一次请求下发 128KiB的IO大小。 建议使用 amazonlinux 2023 （悲 uname -r 查看内核的版本。 使用 Raid0使用 Raid0 可以提高带宽， 并且节省成本。 能更换磁盘类型达到性能， 可以使用Raid0 不建议在EBS 做 Raid1 5 6 三种， 校验的方式会降低性能。 推荐使用 mdadm ， 不一定要用LVM。 关注队列长度SSD： 每 1000iops 队列长度是 1 ， SSD是合适的吧 ​ 观察队列长度， 如果能达到 IOPS 的情况下， 队列越低越好。 HDD： 1Mi...

Ssh 转发 X1112345sudo yum install xorg-x11-xauth xorg-x11-fonts-* xorg-x11-font-utils xorg-x11-fonts-Type1 xclockvim /etc/ssh/sshd_config X11Forwarding yes X11UseLocalhost no 运行图形化的命令 , 自动捕获请求， 查看mobexterm是否已经正常的启动了一个临时的窗口来进行数据的转发即可 。 Ssh 转发连接到远端12ssh -L local-port:target-host:target-port tunnel-hostssh -vvv -f -N -D 0.0.0.0:30890 hayden@localhost Ssh 转发命令参数说明123456789-L listen-port:host:port 指派本地的 port 到达端机器地址上的 port 建立本地SSH隧道(本地客户端建立监听端口) 将本地机(客户机)的某个端口转发到远端指定机器的指定端口.-R listen-port:ho...