ที่บริษัทใช้ ELK (Elasticsearch, Logstash, Kibana) ทำระบบ centralize log และผมกำลังสนใจว่าอยากจะใช้ Elasticsearch ในการทำ time-series สำหรับ monitor ระบบไปด้วย เลยขอลงมาดูรายละเอียดงานด้วยตัวเองบ้าง

อันดับแรกคือทำอย่างไรให้ระบบ centralize log มีความเร็วเพียงพอต่อการ ingest log เข้าไป และจากนั้นค่อยดูว่าทำอย่างไรให้ query log/aggregate log data ได้รวดเร็ว

ตัวเลข stats ปัจจุบันที่ ELK แสดงมีดังนี้

• 1,000,000 log lines in each minute (from Kibana)
• 100,000 average ingest rate per minute (from AWS)
• 9,200,000,000 searchable document (from AWS)