ช่วงปลายปีมีโอกาสไปสอนและแบ่งปันความรู้เรื่อง ELK stack สำหรับ Big Data Analytic เป็นเวลา 3 วัน ที่สำนักวิทยบริการ มหาวิทยาลัยราชภัฏยะลา โดยครั้งนี้มีเวลา 3 วัน จึงทำให้ได้เนื้อหาที่เข้มข้นและลงรายละเอียดเยอะ เลยทำการสรุปไว้นิดหน่อย ไว้ปีหน้าหาเวลามาแบ่งปันกันนิดหน่อย เนื่องจาก ELK stack มันเปลี่ยนบ่อยเหลือเกิน มาเริ่มกันเลย
หลังจากที่มีโอกาสแบ่งปันเรื่องของ Elastic Stack ไปพอสมควร จึงทำการสรุปสิ่งที่แบ่งปันไว้นิดหน่อย ซึ่งเป็นอีกมุมมองที่คนใช้งานหรือคนที่สนใจควรรู้ไว้บ้าง มาเริ่มกันเลย
และแล้ว Elastic Stack 7.0 ตัวเต็มก็ถูกปล่อยออกมา หลังจากที่ปล่อยให้ทดลองใช้งานมาสักพัก ซึ่งมี pull request มากกว่า 10,000 เรื่อง จาก 861 คนที่ร่วมกัน contribute โดยสิ่งที่เปลี่ยนแปลงเยอะ ๆ และเห็นได้ชัดคือ Elasticsearch นั่นเอง ตัวรองมาคือ Kibana ที่สามารถเปลี่ยนเป็น Dark Mode ได้ด้วย (ใช้ได้ตั้งแต่ 6.7) รวมทั้งการปรับปรุงเรื่องการแสดงข้อมูลแผนที่ด้วย Elastic Map Service ใน Kibana นั่นเอง
เมื่อ Kibana 5.0.0 ถูกปล่อยออกมา เรามาดูกันหน่อยว่า มี feature อะไรที่น่าสนใจกันบ้าง ทั้งการออกแบบ User Interface ใหม่ ทั้งการจัดการข้อมูลแบบ time serie ด้วย Timelion ทั้ง DevTool ที่ติดตั้ง sense มาให้ใช้กันเลย มาลองใช้งานกันเลย
ระบบของ Yelp นั้นมี service ให้บริการข้อมูลกับ partner รายใหญ่ ๆ เช่น Apple, Microsoft และ Yahoo เป็นต้น ซึ่งผู้ใช้งานสามารถทำการจัดการข้อมูลต่าง ๆ ได้เอง ดังนั้นสิ่งที่ทางทีมพัฒนาของ Yelp ต้องสร้างมา คือ ระบบที่มีความน่าเชื่อถือ สามารถรองรับข้อมูลจำนวนมากได้ โดยในตอนนี้มีข้อมูลมากกว่า 50 ล้าน และยังเพิ่มขึ้นอย่างต่อเนื่อง รวมทั้งดูสถิติต่าง ๆ ของข้อมูลได้ นี่คือปัญหาที่ทีมพัฒนาได้รับมา ดังนั้นมาดูว่ามีวิธีการแก้ไขปัญหาเหล่านี้อย่างไร
ในวันอาทิตย์ที่ 9 สิงหาคม ได้ทำการแบ่งปันเรื่อง Elasticsearch + Kibana แบบสั้นๆ ซึ่งใช้เวลาประมาณ 5-6 ชั่วโมง เป้าหมายเพื่อแบ่งปันความรู้ให้กับน้อง ๆ ในทีม จึงถือโอกาสนี้ เปิดให้คนอื่น ๆ ที่สนใจด้วยก็แล้วกัน มาดูว่า มีอะไรที่ได้แบ่งปันไปกันบ้าง
เมื่อวันที่ 12 กุมภาพันธ์ 2558 ทีมพัฒนา Kibana ได้เปิดตัว Kibana 4 RC1 หลังจากที่ปล่อยให้ใช้ beta version มาพอสมควร (ถูกด่าไปเยอะเลย) ซึ่งใน RC (Release Candidate) แรกนี้ ได้เน้นเรื่องของ ความเสถียร ประสิทธิภาพของการทำงาน และ feature ใหม่ๆ ด้วย ดังนั้น มาดูกันว่ามีอะไรเปลี่ยนแปลงในทางที่ดีบ้าง
หลังจากที่อธิบายเกี่ยวกับการสร้าง Dashboard ใน Kibana ไปแล้ว ซึ่งมีการพูดถึง ELK stack นิดหน่อย โดยมันใช้สำหรับการจัดการข้อมูลต่างๆ ด้วย Logstash ข้อมูลที่จะนำมาใช้งานก็คือ log message จากระบบ ที่เขียน log message ด้วย log4j มาจากระบบงานที่พัฒนาด้วยภาษา Java มาดูกันว่าสามารถนำ ELK stack มาใช้อย่างไรกัน
Kibana เป็นเครื่องมือที่ถูกใช้มากๆ สำหรับการแสดงผลข้อมูลจาก Elasticsearch ให้อยู่ในรูปแบบต่างๆ ตามที่ต้องการ ดังนั้น มาดูกันว่าเราจะทำการสร้าง dashboard ของ kibana ใช้เองอย่างไร ไม่แน่ว่า คุณอาจจะเลิกพัฒนาระบบแบบนี้เองก็เป็นได้