จากบทความของ Elastic เรื่อง Pruning incoming log volumes with Elasticอธิบายถึงการเก็บข้อมูลใน Elastic stack ว่าข้อมูลที่จัดเก็บนั้นมีจำนวนที่เยอะ รูปแบบที่หลากหลายส่งผลให้ระบบมีปัญหาในการจัดเก็บ การประมวลผล หรือ ใช้งานดังนั้น สิ่งหนึ่งที่เราควรทำก่อนคือรู้ว่าข้อมูลอะไรบ้างที่ใช้ และ ไม่ใช้งานบ้างเพื่อที่จะเก็บเท่าที่ใช้งานเท่านั้น มิใช่เก็บไปเสียทุกอย่าง
ปัญหา จากการใช้งาน Logstash 8 นั้น พบว่าไม่สามารถใช้งานได้เนื่องจากตัวมันเอง พยายามจะทำการตรวจสอบ licence จาก elasticsearch เสมอซึ่งจากที่ไปดูเป็นค่า default ด้วยดังนั้น ถ้าไม่ติดตั้ง elasticsearch ด้วย จะทำให้ Logstash มัน start ไม่ขึ้น
เพิ่งกลับมา upgrade และใช้งาน Logstash อีกรอบพบว่า Elasticsearch output plugin มีการเปลี่ยนแปลงนิดหน่อยทั้งต้องเชื่อมต่อไปยัง Elasticsearch ที่เปิด security by defaultซึ่งการ configuration ใน output ก็ต้องเพิ่มอีก เช่น user/password ssl ssl verification mode cacert
คำถามถ้าต้องเก็บข้อมูลสำหรับการค้นหาและวิเคราะห์ไว้ใน Elasticsearch โดยข้อมูลต้นทางจะถูกเก็บไว้ใน RDBMS เช่น MySQL และ PostgreSQL เป็นต้น ถ้ามีการแก้ไขข้อมูลที่ RDBMS แล้ว จะทำการ sync หรือ update ข้อมูลใน Elasticsearch อย่างไรได้บ้าง
ช่วงปลายปีมีโอกาสไปสอนและแบ่งปันความรู้เรื่อง ELK stack สำหรับ Big Data Analytic เป็นเวลา 3 วัน ที่สำนักวิทยบริการ มหาวิทยาลัยราชภัฏยะลา โดยครั้งนี้มีเวลา 3 วัน จึงทำให้ได้เนื้อหาที่เข้มข้นและลงรายละเอียดเยอะ เลยทำการสรุปไว้นิดหน่อย ไว้ปีหน้าหาเวลามาแบ่งปันกันนิดหน่อย เนื่องจาก ELK stack มันเปลี่ยนบ่อยเหลือเกิน มาเริ่มกันเลย
หลังจากที่มีโอกาสแบ่งปันเรื่องของ Elastic Stack ไปพอสมควร จึงทำการสรุปสิ่งที่แบ่งปันไว้นิดหน่อย ซึ่งเป็นอีกมุมมองที่คนใช้งานหรือคนที่สนใจควรรู้ไว้บ้าง มาเริ่มกันเลย
จาก Repository ใน Github ที่สรุปข้อมูลจังหวัด อำเภอ และ ตำบลต่าง ๆ ในประเทศไทย ที่สำคัญมี location ของแต่ละตำบลอีกด้วย สามารถนำไปใช้ได้เลย แจ่มมาก ๆ แต่เห็นว่ายังไม่มีการนำเข้า Elasticsearch เพื่อให้ง่ายต่อการใช้งาน เช่นการค้นหาและหาระยะทางต่าง ๆ เป็นต้น จึงทำการสรุปขั้นตอนไว้นิดหน่อย
หลังจากที่อธิบายเกี่ยวกับการสร้าง Dashboard ใน Kibana ไปแล้ว ซึ่งมีการพูดถึง ELK stack นิดหน่อย โดยมันใช้สำหรับการจัดการข้อมูลต่างๆ ด้วย Logstash ข้อมูลที่จะนำมาใช้งานก็คือ log message จากระบบ ที่เขียน log message ด้วย log4j มาจากระบบงานที่พัฒนาด้วยภาษา Java มาดูกันว่าสามารถนำ ELK stack มาใช้อย่างไรกัน