使用Kibana访问SLS

场景

现在通过SLS的ES兼容能力，可以很方便地实现用Kibana来查询和可视化SLS的数据。对于从ES迁移到SLS的用户可以继续保留原来的Kibana使用习惯。下面来演示如何通过Kibana来访问SLS

使用方法

部署架构

这里蓝色部分是需要客户端部署的组件

Kibana 就是用来可视化的
Proxy用来区分Kibana的请求，将SLS相关的转发到SLS的ES兼容接口
Elasticsearch 用来存Kibana的Meta

等等，为什么这里还需要一个ES？

原因是SLS的Logstore不支持更新，很多Meta类的数据不适合存在SLS。

而Kibana有很多元数据要存储，比如Kibana的图表配置、Index Pattern配置等

因此需要部署一个ES实例，这个ES实例只会存Kibana的元数据，所以它的资源占用非常小。

部署过程

部署es 7

sudo mkdir /data # Elasticsearch数据的存储目录, 请根据实际情况修改。
sudo chmod 777 /data # 配置权限。

sudo docker run -d --name es -p 9200:9200 \
-e "discovery.type=single-node" \
-e "ES_JAVA_OPTS=-Xms6G -Xmx8G" \
-e ELASTIC_USERNAME=elastic \
-e ELASTIC_PASSWORD=密码 \
-e xpack.security.enabled=true \
-v /data:/usr/share/elasticsearch/data \
elasticsearch:7.17.3

部署完成后可以通过下面命令

curl -u elastic:密码 http://${Elasticsearch所在机器的IP地址}:9200

验证是否work，正常应该是返回200

部署proxy

sudo docker run -d --name proxy \
-e ES_ENDPOINT=${Elasticsearch所在机器的IP地址}:9200 \
-e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
-e SLS_PROJECT=prjA \
-e SLS_ACCESS_KEY_ID=${aliyunAccessId} \
-e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \
-p 9201:9201 \
-ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:1.9d

SLS_ENDPOINT 各位是 https://${project}.${sls endpoint}

如果有第二个project的话，可以再加环境变量SLS_PROJECT2=prjB 如果第二个project对应的endpoint和SLS_ENDPOINT不同的话，可以设置对应SLS_ENDPOINT2值。同理可最多加32个project

部署完成后可以通过下面命令

curl -u elastic:密码 http://${Proxy所在机器的IP地址}:92001

验证是否work，正常应该是返回200

部署Kibana

sudo docker run -d --name kibana \
-e ELASTICSEARCH_HOSTS=http://${Proxy所在机器的IP地址}:9201 \
-e ELASTICSEARCH_USERNAME=elastic \
-e ELASTICSEARCH_PASSWORD=密码 \
-e XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true \
-p 5601:5601 \
kibana:7.17.3

访问Kibana

浏览器访问 http://${部署Kibaba的IP地址}:5601 输入账号密码登录Kibana

配置Index Pattern

选择Stack Managment

点击Index Pattern Tab，在Index pattern列表中看不到数据是正常的，日志服务的logstore映射到Kibana中的Index patterns需要手动创建。在提示框中单击create an index pattern against hidden or system indices.