elastic stack ๋ก๊ทธ ๋ชจ๋ํฐ๋ง ์์คํ ๊ตฌ์ฑ
๋๊ธฐ?
์ง๊ธ ํ์ฌ์์๋ ์ดํ๋ฆฌ์ผ์ด์ ๋ก๊ทธ๋ฅผ ํ์ธํ๋ ค๋ฉด, ์๋ฒ์ ๋ค์ด๊ฐ์ vi๋ก ๋ก๊ทธ ํ์ผ์ ์ด์ด์ ํ์ธํด์ผํ๋ค. ๊ฐ๋ฐ ์ฅ๋น๋, ๋ฐฑ์คํผ์ค๋ ์ธ์คํด์ค ํ๋๋ก ์๋น์ค๋๊ณ ์์ด์ ๋น๊ต์ ๋ก๊ทธ ํ์ธ์ด ์ฝ..๋ค. ๊ทธ๋ฌ๋ ์์ฉ ์๋น์ค๋ ์๋ฒ๋ ์ฌ๋ฌ ๋, ์ธ์คํด์ค๋ ์ฌ๋ฌ๊ฐ๋ก ์ด์๋๊ณ ์์ด์ ๋ก๊ทธ๋ฅผ ํ์ธํ๊ธฐ๊ฐ ์ฝ๋ค๊ณ ํ ์ ์๋ค. ๊ทธ๋ฆฌ๊ณ ๋ณดํต ๋ก๊ทธ๋ฅผ ํ์ธํ๋ ๊ฒฝ์ฐ๋, ์๋ฌ๊ฐ ๋ฐ์ํ๊ณ ์๊ฑฐ๋ ์ฅ์ ์์ธ์ ๋ํด ํ์ธํ๊ธฐ ์ํ ๋ค์ ๊ธ๋ฐํ ์ํฉ์ด๋ค ^^ ์ฌ๋ฌ ์ฅ๋น, ์ฌ๋ฌ ์๋น์ค์ ๋ก๊ทธ๋ฅผ ํ๊ณณ์์ ํ์ธํ ์ ์๋ ๋์๋ณด๋๋ฅผ ๋ง๋ค๊ณ ์ถ์๋ค.ย
๋๋ถ๋ถ์ ์คํํธ์ ์์ ๋ก๊ทธ ๋ชจ๋ํฐ๋ง ์์คํ ์ผ๋ก ELK๋ฅผ ์ฌ์ฉํ๋ค. ELK๋ก ๋์ถฉ ์ด๋ป๊ฒ ๊ตฌ์ฑํ๋ค๋ผ๋ ๊ฒ์ ์ฌ๊ธฐ์ ๊ธฐ์ ์ฃผ์๋ค์ด์ ์๊ณ ์์์ง๋ง ์ง์ ๊ตฌ์ฑํด๋ณธ์ ์ ์ด๋ฒ์ด ์ฒ์์ด๋ผ ๋ํ ์ผํ ๋ถ๋ถ์์ ๋๊ด์ด ์์๋ค.ย
ย ์์ ํ ๋ด์ฉ๋ค์ ์ ๋ฆฌํ๋ ค๊ณ ํ๋ค.
Elastic Stack
ELK๋ผ๊ณ ๋ถ๋ฅด๋ (E elasticsearchย L logstash K kibana) ์ย ย ์๋ฒ์ ์์ด๋ ๋ก๊ทธ๋ฅผ ์ ์กํด์ค Filebeat ๊น์ง๋ฅผ Elastic stack ์ผ๋ก ๋ณธ๋ค. ๊ทธ๋ฆฌ๊ณ ์ฌ๊ธฐ์ ๊ธฐ ์๋ฒ์์ ๋ก๊ทธ๊ฐ ๋ง์ด ๋ชฐ๋ฆด๊ฒ์ ์์ํด์, ์ค๊ฐ ๋ฒํผ๋ก Kafka๋ฅผ ์ฌ์ฉํ๋ค.
(์ผ๋ฐ์ ์ธ)ย ๊ตฌ์ฑ
Filebeat
๋ก๊ทธ ๋ฐ์ดํฐ๋ฅผ ์ ๋ฌํ๊ณ ์ค์ํํ๊ธฐ ์ํ ๊ฒฝ๋์ Producer.
์๋ฒ์ ์์ด์ ํธ๋ก ์ค์น๋๋ Filebeat๋ ์ง์ ํ ๋ก๊ทธ ํ์ผ ๋๋ ์์น๋ฅผ ๋ชจ๋ํฐ๋งํ๊ณ ๋ก๊ทธ ์ด๋ฒคํธ๋ฅผ ์์งํ ๋ค์ ์ธ๋ฑ์ฑ์ ์ํด Elasticsearch ๋๋ Logstash๋ก ์ ๋ฌํ๋ค.
Filebeat๋ฅผ ์์ํ๋ฉด ์ค์ ์์ ์ง์ ํ ๋ก๊ทธ๋ฐ์ดํฐ๋ฅผ ๋ฐ๋ผ๋ณด๋ ํ๋์ด์์ inputs์ ๊ฐ์ง๋ค. ์ง์ ํ ๋ก๊ทธ ํ์ผ์์ ์ด๋ฒคํธ(๋ฐ์ดํฐ๋ฐ์)๊ฐ ๋ฐ์ํ ๋๋ง๋ค Filebeat๋ ๋ฐ์ดํฐ ์ํ๊ธฐ(harvester)๋ฅผ ์์ํ๋ค. ํ๋์ ๋ก๊ทธ ํ์ผ์ ๋ฐ๋ผ๋ณด๋ ๊ฐ havester๋ ์ ๋ก๊ทธ ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ณ libbeat์ ๋ณด๋ธ๋ค. ๊ทธ๋ฆฌ๊ณ libbeat๋ ์ด๋ฒคํธ๋ฅผ ์ง๊ณํ๊ณ ์ง๊ณ๋ ๋ฐ์ดํฐ๋ฅผ Filebeat ์ค์ ์ ๊ตฌ์ฑ๋ ์ถ๋ ฅ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ๋ณด๋ธ๋ค.
Kafka
๋ก๊ทธ ๋ชจ๋ํฐ๋ง ์์คํ ์์, ์์ฐ์๋ filebeat
๋ก๊ทธ ๋ชจ๋ํฐ๋ง ์์คํ ์์ ์๋น์๋ logstashย
Kafka์ ๋ํ ํฌ์คํธ
https://leeilly.tumblr.com/post/189185876586/kafka-%EC%B9%B4%ED%94%84%EC%B9%B4
Elasticsearch
๋ฐ์ดํฐ๋ฅผ ์ ์ฅํ๊ณ ๋ถ์ํ๋ ์์ง ์ญํ ์ ์ํํ๋ ํต์ฌ ๋ชจ๋
Kibana
ElasticSearch์ ์๋ ๋ฐ์ดํฐ๋ฅผ ์๊ฐํ ํ ์ ์๋ GUI ๋ถ์ ํด
















