Apache Kafka 4.0 ถูกปล่อยออกมาให้ใช้งานแล้วโดยเป็น version แรกที่ไม่มี Apache Zookeeper แล้วนั่นคือจะมีค่าเริ่มต้นเป็น KRaft ที่มีเป้าหมายเพื่อลด operation cost/time รวมทั้ง performanceและการ scaling เช่น จำนวน partition มาก ๆ และการ recovery ที่รวดเร็วขึ้น
หลังจากที่ Kafka 3.8 ปล่อยมาให้ใช้งานนั้นมี JBOD (Just a Bunch Of Disks) ซึ่งสนับสนุน KRaft-based cluster นั้นเปลี่ยนสถานะมาเป็น production mode แล้วทำให้สามารถแยก log ของแต่ละ broker ออกจากกันได้แล้วไม่ต้องเก็บ log ไว้ที่เดียวกันอีกต่อไปและยังแยก storage ให้เหมาะกับแต่ละ broker ในแต่ละเครื่องได้อีกด้วย
ใน course Microservices ที่ Skooldio นั้นมีคำถามเรื่องเกี่ยวกับรูปแบบของการแลกเปลี่ยนข้อมูลระหว่าง serviceว่า CDC (Change Data Capture) และ Outbox pattern มันเป็นอย่างไรจึงทำการอธิบายพร้อมตัวอย่าง code และเครื่องมือที่ผมมีโอกาสใช้งานในงานมาบ้างเลยทำการสรุปและบันทึกแนวทางไว้นิดหน่อย
น่าสนใจดีกับ KIP-932: Queues for KafkaKIP (Kafka Improvement Proposal) นี้ทำการใช้งาน queue ใน Kafka นั่นเองโดยปกติถ้าต้องจัดการ message ที่เข้า Topic ให้ตามรูปแบบของ Queue คือ ที่สำคัญก็ยังต้อง scale ได้ง่าย
วันนี้นั่งอ่านบทความเรื่อง Postgres: a better message queue than Kafka?ทำการอธิบายการสร้างระบบ loggingซึ่งทำงานอยู่บน PostgreSQLว่ามีข้อดีและข้อเสียอย่างไร รวมทั้งการปรับปรุงในอนาคตทำไมถึงใช้งาน PostgreSQL แทนที่จะเป็น Apache Kafka สำหรับ message queue
จากที่ได้แบ่งปันเรื่องเกี่ยวกับ Microservices มานั้นมีคำถามที่น่าสนใจเกี่ยวกับการ tracing ข้อมูลของ message ที่ส่งเข้าไปยัง Apache Kafka ว่าส่งไปไหม ผลการทำงานเป็นอย่างไรรวมทั้งดูแบบ end-to-end ด้วยว่าเกิดอะไรขึ้นบ้างเนื่องจาก message นั้น ๆ อาจจะก่อให้เกิดการทำงาน หรือ event อื่น ๆ มากมายตามแนวคิดของ Event-based Architecture
จากงาน meetup IN PERSON! Apache Kafka® Meetup Bangkok- June 2022ซึ่งจัดที่ตึก True Digital Park นั้น มี 2 หัวข้อ ประกอบไปด้วย Speedtest: Benchmark Your Apache Kafka® How We Applied Apache Kafka® in Sunday โดยทำการสรุปความรู้ที่ได้รับไว้ดังนี้
ตั้งแตก Apache Kafka 2.8 นั้นมี configuration ของ KRaft มาให้ช่วยทำให้เราสามารถติดตั้ง cluster ของ Apache Kafka โดยไม่มี Zookeeper ได้แต่ยังไม่แนะนำสำหรับบน production นะ ในวันว่าง ๆ มาลองติดตั้งเล่นกันหน่อยเพื่อทำความรู้จักในเบื้องต้น
สัปดาห์ผ่านมานั้น Apache Kafka 3.0 ถูกปล่อยออกมาซึ่งมีทั้ง feature ใหม่ ๆ การปรับปรุง รวมทั้ง breaking change ต่าง ๆโดยสิ่งที่สำคัญคือ การเปลี่ยนจาก Apache Zookeeper มาใช้ตัว Kafka-buildin เองหรือที่เรียกว่า Kraft แต่ก็ยังไม่แนะนำสำหรับ production
เห็นคำถามและการพูดคุยที่น่าสนใจ ในกลุ่ม Golang Thailand เกี่ยวกับ Messaging vs gRPC ว่าแบบไหนที่ performance ดีกว่ากัน ?รวมทั้งข้อดีและข้อเสีย จึงทำการสรุปการตอบต่าง ๆ ไว้นิดหน่อย