ใน Spring Boot 4.0 ที่กำลังจะปล่อยมานั้นหนึ่งในความสามารถที่ค่อย ๆ ปล่อยออกมาคือการใช้งาน Share Consumer Support (Kafka Queues) ใน Apache Kafkaใน Spring for Apache Kafka 4.1 (preview version) และ 4.2 ที่เป็น stable version ต่อไปทำให้การใช้งานร่วมกับ Spring Boot 4.0 ง่ายและสะดวกขึ้น
ทาง Apache Kafka 4.0 เพิ่งปล่อยออกมาซึ่งเพิ่ม Queue เข้ามาให้ลองใช้ด้วย (early access เท่านั้น)เคยเขียนอธิบายไว้แล้วที่ น่าสนใจสำหรับ KIP-932: Queues for Kafkaดังนั้นเรามาลองใช้งานกันหน่อยว่าเป็นอย่างไรมาเริ่มกันเลย
Apache Kafka 4.0 ถูกปล่อยออกมาให้ใช้งานแล้วโดยเป็น version แรกที่ไม่มี Apache Zookeeper แล้วนั่นคือจะมีค่าเริ่มต้นเป็น KRaft ที่มีเป้าหมายเพื่อลด operation cost/time รวมทั้ง performanceและการ scaling เช่น จำนวน partition มาก ๆ และการ recovery ที่รวดเร็วขึ้น
หลังจากที่ Kafka 3.8 ปล่อยมาให้ใช้งานนั้นมี JBOD (Just a Bunch Of Disks) ซึ่งสนับสนุน KRaft-based cluster นั้นเปลี่ยนสถานะมาเป็น production mode แล้วทำให้สามารถแยก log ของแต่ละ broker ออกจากกันได้แล้วไม่ต้องเก็บ log ไว้ที่เดียวกันอีกต่อไปและยังแยก storage ให้เหมาะกับแต่ละ broker ในแต่ละเครื่องได้อีกด้วย
ใน course Microservices ที่ Skooldio นั้นมีคำถามเรื่องเกี่ยวกับรูปแบบของการแลกเปลี่ยนข้อมูลระหว่าง serviceว่า CDC (Change Data Capture) และ Outbox pattern มันเป็นอย่างไรจึงทำการอธิบายพร้อมตัวอย่าง code และเครื่องมือที่ผมมีโอกาสใช้งานในงานมาบ้างเลยทำการสรุปและบันทึกแนวทางไว้นิดหน่อย
น่าสนใจดีกับ KIP-932: Queues for KafkaKIP (Kafka Improvement Proposal) นี้ทำการใช้งาน queue ใน Kafka นั่นเองโดยปกติถ้าต้องจัดการ message ที่เข้า Topic ให้ตามรูปแบบของ Queue คือ ที่สำคัญก็ยังต้อง scale ได้ง่าย
วันนี้นั่งอ่านบทความเรื่อง Postgres: a better message queue than Kafka?ทำการอธิบายการสร้างระบบ loggingซึ่งทำงานอยู่บน PostgreSQLว่ามีข้อดีและข้อเสียอย่างไร รวมทั้งการปรับปรุงในอนาคตทำไมถึงใช้งาน PostgreSQL แทนที่จะเป็น Apache Kafka สำหรับ message queue
จากที่ได้แบ่งปันเรื่องเกี่ยวกับ Microservices มานั้นมีคำถามที่น่าสนใจเกี่ยวกับการ tracing ข้อมูลของ message ที่ส่งเข้าไปยัง Apache Kafka ว่าส่งไปไหม ผลการทำงานเป็นอย่างไรรวมทั้งดูแบบ end-to-end ด้วยว่าเกิดอะไรขึ้นบ้างเนื่องจาก message นั้น ๆ อาจจะก่อให้เกิดการทำงาน หรือ event อื่น ๆ มากมายตามแนวคิดของ Event-based Architecture
จากงาน meetup IN PERSON! Apache Kafka® Meetup Bangkok- June 2022ซึ่งจัดที่ตึก True Digital Park นั้น มี 2 หัวข้อ ประกอบไปด้วย Speedtest: Benchmark Your Apache Kafka® How We Applied Apache Kafka® in Sunday โดยทำการสรุปความรู้ที่ได้รับไว้ดังนี้
ตั้งแตก Apache Kafka 2.8 นั้นมี configuration ของ KRaft มาให้ช่วยทำให้เราสามารถติดตั้ง cluster ของ Apache Kafka โดยไม่มี Zookeeper ได้แต่ยังไม่แนะนำสำหรับบน production นะ ในวันว่าง ๆ มาลองติดตั้งเล่นกันหน่อยเพื่อทำความรู้จักในเบื้องต้น