AWS / CloudWatch — ETAPA 4 / Integrando com ElasticSearch
Aprenda a integrar logs do CloudWatch ao Elasticsearch para uma melhor organização e análise
Ola Gente
Este é o último artigo relativo a gravação e tratamentos de logs.
Armazenar os logs no CloudWatch é super eficiente, mas chega um ponto que fazer uma busca em meio ao log se torna bagunçado, ruim, não fica fácil e claro.
Mas tem uma solução, o ElasticSearch, basicamente ele vai tornar a visualização/tratamento dos logs algo limpo e super rápido.
Primeiros iremos criar o domínio no Elasticsearch
1. Entre no gerenciamento do Elasticsearch:
https://console.aws.amazon.com/es/home?region=us-east-1
2. Clique em “Create a new domain”
3. No campo “Elasticsearch domain name” preencha o campo “testebase1”
4. Clique em “Next”
5. No campo “Instance type” selecione “t2.small.elasticsearch” que esta incluso no tempo grátis
6. Clique em “Next”
7. No campo “Network configuration” selecione “Public Access”
8. No campo “Set the domain access policy to” selecione “ Allow open access to the domain” (Isto ira abrir o acesso a qualquer usuário)
9. Clique em “I accept the risk”
10. Clique em “Ok”
11. Clique em “Next”
12. Clique em “Clique em “Confirm”
Pronto!
O domínio do Elasticsearch começou a ser criado, veja que esta sendo exibido “Domain status: Loading”:
Aguarde até aparecer “Active” conforme a imagem abaixo (Isto pode demorar uns minutos em):
Agora iremos conectar nossos logs do CloudWatch com nosso domínio no Elasticsearch
1. Acesse o CloudWatch (https://console.aws.amazon.com/cloudwatch/home?region=us-east-1)
2. Clique em “Logs”
3. Selecione o “TesteGrupo1”
4. Clique em “Actions -> Stream to Amazon ElasticSearch Service”
5. No campo “Amazon ES cluster” selecione o domínio criado anteriormente
6. Em “Lambda IAM Execution Role” selecione “Create New IAM Role”
7. Na janela que sera aberta apenas cloque em “Allow”
8. Ira voltar automaticamente para a janela anterior, clique em “Next”
9. Em “Log Format” selecione “Json”
10. Clique em “Next”
11. Clique em “Next” novamente
12. Clique em “Start Sreaming”
Oba, agora todas NOVAS informações inseridas no log serão enviadas ao nosso domínio no “Elasticsearch”!
Mas calma, antes de continuarmos insira algumas informações de teste no log (Via php, conforme vimos no primeiro tutorial).
1. Depois de inserir algumas informações no log abra Elasticsearch (https://console.aws.amazon.com/es/home?region=us-east-1)
2. Clique em “testebase1”
3. Clique em “Indices” e veja se já esta aparecendo informações:
4. Se já tiver, continue este tutorial, se não estiver, aguarde um pouco mais
5. Após ter aparecido os primeiros registros, precisamos configurar o Kibana (Painel para gerenciar os dados armazenados no Elasticsearch)
6. Clique em “Overview” e clique no link ao lado de Kibana:
7. Ao abrir o painel do Kibana, precisamos criar o index de nossos logs, clique em “Set up index patterns”
8. No campo “index pattern” preencha com “cwl-*”
9. Clique em “Next step”
10. No campo “Time filter field name” selecione “@timestamp”
11. Clique em “Create index pattern” e aguarde, pode demorar um pouco
12. Quando terminar será exibido uma janela semelhante a esta:
13. Agora podemos explorar os logs já disponíveis, clique em “Discover”
14. No canto direito clique em “Last 15 minutes” e selecione “Today” e veja todos os logs do dia:
Show em!
O Kibana é lindo, comece a explorar e descubra esta lindeza!
E assim terminamos a série de artigos sobre Logs!
Por hoje é isto, queridos desenvolvedores! 👩💼
Até logo! 👋