Filebeat 输出日志到 Opensearch

这个最后基本上可以确认是一个兼容性问题，测试完成发现，开启兼容模式的Opensearch+filebeat的组合， filebeat 还是会不定期重启。

背景

需求是，使用ES + filebeat 模式在收集日志。
使用Supervisor作为容器的主进程管理工具，启动后分别运行应用（这里用nginx代替） + filebeat

现在想要用ECS Fargate，然后依旧还是这个模式，尽可能新的变动之前的架构， ES 替换成 OpenSearch。

按照这个路数测试。

创建Opensearch

版本：
OpenSearch 2.11 (latest)
OpenSearch_2_11_R20231113-P1 (latest)
Availability Zone(s)
1-AZ without standby

构建Supervisor管理的容器

创建 Dockerfile

创建dockerfile的部分，比较难的是，需要找到合适的filebeat版本
参考页面: Agents and ingestion tools
其他的步骤就下载安装就可以.

# 使用官方Nginx作为基础镜像
FROM reg.liarlee.site/docker.io/nginx

# 安装Supervisor
RUN apt-get update && apt-get install -y supervisor
RUN mkdir -p /var/log/supervisor
RUN mkdir -p /etc/filebeat/
#RUN curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.3-amd64.deb && dpkg -i filebeat-8.11.3-amd64.deb
RUN curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.12.1-amd64.deb && dpkg -i filebeat-oss-7.12.1-amd64.deb


COPY filebeat.yml /etc/filebeat/filebeat.yml
COPY nginx.conf /etc/nginx/nginx.conf

# 将Supervisor配置文件复制到容器中
COPY supervisord.conf /etc/supervisor/conf.d/supervisord.conf

# 启动Supervisor来管理Nginx进程
CMD [ "/usr/bin/supervisord", "-n" ]

准备配置文件

需要准备的配置文件一共3个：

supervisord.conf supervisor的管理配置，决定了那些进程被管理。

> cat ./supervisord.conf
[unix_http_server]
file=/var/run/supervisor.sock   ; (the path to the socket file)
chmod=0700                       ; socket file mode (default 0700)
chown=nobody:nogroup             ; socket file uid:gid owner

[supervisord]
logfile_maxbytes=50MB                          ; 日志文件的最大大小
logfile_backups=10                             ; 日志文件的备份数
loglevel=info                                  ; 日志级别
nodaemon=false                                 ; 是否以守护进程模式启动Supervisor
minfds=1024                                    ; 可以打开的文件描述符的最小数量
minprocs=200                                   ; 可以创建的进程的最小数量

[program:nginx]
command=/usr/sbin/nginx -g "daemon off;"  ; 启动Nginx的命令
autostart=true                             ; 在Supervisor启动时自动启动
autorestart=true                           ; 程序异常退出后自动重启
stderr_logfile=/var/log/nginx/error.log    ; 错误日志文件路径
stdout_logfile=/var/log/access.log   ; 访问日志文件路径

[program:filebeat]
command=/usr/bin/filebeat -e -c /etc/filebeat/filebeat.yml  ; 启动Filebeat的命令
autostart=true
autorestart=true
stderr_logfile=/var/log/filebeat.err.log
stdout_logfile=/var/log/filebeat.out.log

filebeat.yml filebeat的配置文件。这配置文件 GPT 会直接写出一个可以用 output.opensearch:，其实还是不能的，只能使用原本的配置文件。 (也许是我选择的filebeats版本不正确, 所以不行吧

filebeat本身是es序列里面的产品，不支持opensearch也合理，如果写成opensearch 会找不到output 的定义，也说明并不支持这个字段。

2023-12-14T12:03:12.560Z INFO [publisher_pipeline_output] pipeline/output.go:145 Attempting to reconnect to backoff(elasticsearch(https://vpc-ecs-nginx-opensearch-qt7m5rmhddggkiuapyybcmz5oe.cn-north-1.es.amazonaws.com.cn:443)) with 7 reconnect attempt(s)

```shell
> cat ./filebeat.yml
filebeat.inputs:
- type: filestream
  id: nginxaccesslog
  paths:
    - /var/log/access.log
  fields:
    log_type: access

seccomp.enabled: false # 这个不关闭的话可能会是一个干扰。
logging.level: debug # 由于调试方便设置了DEBUG。 

# 这个配置段是关闭 xpack， xpack功能只在es里面提供， 商业版本。
ilm.enabled: false
setup.ilm.enabled: false
setup.pack.security.enabled: false
setup.xpack.graph.enabled: false
setup.xpack.watcher.enabled: false
setup.xpack.monitoring.enabled: false
setup.xpack.reporting.enabled: false

# output就是还用es
output.elasticsearch:
  enable: true
  hosts: ["vpc-ecs-nginx-opensearch-qt7m5rmhddggkiuapyybcmz5oe.cn-north-1.es.amazonaws.com.cn:443"] # 这个部分需要手动指定443, 因为是es的默认配置, 所以直接去 9200,就会连接不上.
  protocol: "https"

xpack 报错的日志大概是这样的：

2023-12-14T12:03:12.560Z ERROR [publisher_pipeline_output] pipeline/output.go:154 Failed to connect to backoff(elasticsearch(https://vpc-ecs-nginx-opensearch-qt7m5rmhddggkiuapyybcmz5oe.cn-north-1.es.amazonaws.com.cn:443)): Connection marked as failed because the onConnect callback failed: request checking for ILM availability failed: 401 Unauthorized: {“Message”:”Your request: ‘/_xpack’ is not allowed.”}
2023-12-14T12:03:12.560Z INFO [publisher_pipeline_output] pipeline/output.go:145 Attempting to reconnect to backoff(elasticsearch(https://vpc-ecs-nginx-opensearch-qt7m5rmhddggkiuapyybcmz5oe.cn-north-1.es.amazonaws.com.cn:443)) with 7 reconnect attempt(s)

nginx.conf 这个是nginx 应用文件，模拟一个应用程序，提供webserver服务。配置文件就是标准的配置文件, 修改一下日志输出的路径.

1	access_log /var/log/access.log main;

由于baseimage用的是nginx的，所以nginx 的日志输出会软链接到/dev/stdout, filebeat 不收软链接的文件, 开了DEBUG会看到跳过这个文件的日志.

Buildstage

接下来就可以Build镜像然后进行测试了。

1
2
3

> dive build -t reg.liarlee.site/library/superv-nginx:v31 .
> docker push reg.liarlee.site/library/superv-nginx:v31
> docker run -it --name superv-nginx --rm  reg.liarlee.site/library/superv-nginx:v31

运行启动之后可以看到输出的日志是：

1
2

2023-12-14 14:03:31,093 INFO success: filebeat entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)
2023-12-14 14:03:31,093 INFO success: nginx entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)

然后查看Opensearch 创建了默认index，名称是filebeat-7.12.1-2023.12.14

放到 Ecs 里面去

我直接使用我自己的仓库里面拉取了，创建ecs service然后curl请求发送到 alb ，转给 task。
观察opensearch中收集的访问日志。