kafka Archive

บันทึกเรื่อง CDC (Change Data Capture) และ Outbox pattern

ใน course Microservices ที่ Skooldio นั้นมีคำถามเรื่องเกี่ยวกับรูปแบบของการแลกเปลี่ยนข้อมูลระหว่าง serviceว่า CDC (Change Data Capture) และ Outbox pattern มันเป็นอย่างไรจึงทำการอธิบายพร้อมตัวอย่าง code และเครื่องมือที่ผมมีโอกาสใช้งานในงานมาบ้างเลยทำการสรุปและบันทึกแนวทางไว้นิดหน่อย

Read More…

น่าสนใจสำหรับ KIP-932: Queues for Kafka

น่าสนใจดีกับ KIP-932: Queues for KafkaKIP (Kafka Improvement Proposal) นี้ทำการใช้งาน queue ใน Kafka นั่นเองโดยปกติถ้าต้องจัดการ message ที่เข้า Topic ให้ตามรูปแบบของ Queue คือ ที่สำคัญก็ยังต้อง scale ได้ง่าย

Read More…

เรื่องที่น่าสนใจจากบทความเรื่อง Postgres: a better message queue than Kafka?

วันนี้นั่งอ่านบทความเรื่อง Postgres: a better message queue than Kafka?ทำการอธิบายการสร้างระบบ loggingซึ่งทำงานอยู่บน PostgreSQLว่ามีข้อดีและข้อเสียอย่างไร รวมทั้งการปรับปรุงในอนาคตทำไมถึงใช้งาน PostgreSQL แทนที่จะเป็น Apache Kafka สำหรับ message queue

Read More…

ตอบคำถามเรื่อง การ tracing ข้อมูล message ที่ส่งเข้า Apache Kafka

จากที่ได้แบ่งปันเรื่องเกี่ยวกับ Microservices มานั้นมีคำถามที่น่าสนใจเกี่ยวกับการ tracing ข้อมูลของ message ที่ส่งเข้าไปยัง Apache Kafka ว่าส่งไปไหม ผลการทำงานเป็นอย่างไรรวมทั้งดูแบบ end-to-end ด้วยว่าเกิดอะไรขึ้นบ้างเนื่องจาก message นั้น ๆ อาจจะก่อให้เกิดการทำงาน หรือ event อื่น ๆ มากมายตามแนวคิดของ Event-based Architecture

Read More…

สรุปสิ่งที่ได้จากงาน IN PERSON! Apache Kafka® Meetup Bangkok- June 2022

จากงาน meetup IN PERSON! Apache Kafka® Meetup Bangkok- June 2022ซึ่งจัดที่ตึก True Digital Park นั้น มี 2 หัวข้อ ประกอบไปด้วย Speedtest: Benchmark Your Apache Kafka® How We Applied Apache Kafka® in Sunday โดยทำการสรุปความรู้ที่ได้รับไว้ดังนี้

Read More…

ว่าง ๆ มาติดตั้ง Apache Kafka แบบไม่มี zookeeper แก้เบื่อกัน (KRaft)

ตั้งแตก Apache Kafka 2.8 นั้นมี configuration ของ KRaft มาให้ช่วยทำให้เราสามารถติดตั้ง cluster ของ Apache Kafka โดยไม่มี Zookeeper ได้แต่ยังไม่แนะนำสำหรับบน production นะ ในวันว่าง ๆ มาลองติดตั้งเล่นกันหน่อยเพื่อทำความรู้จักในเบื้องต้น

Read More…

มาแล้วสำหรับ Apache Kafka 3.0

สัปดาห์ผ่านมานั้น Apache Kafka 3.0 ถูกปล่อยออกมาซึ่งมีทั้ง feature ใหม่ ๆ การปรับปรุง รวมทั้ง breaking change ต่าง ๆโดยสิ่งที่สำคัญคือ การเปลี่ยนจาก Apache Zookeeper มาใช้ตัว Kafka-buildin เองหรือที่เรียกว่า Kraft แต่ก็ยังไม่แนะนำสำหรับ production

Read More…

คำถามที่น่าสนใจเรื่อง gRPC และ Messaging

เห็นคำถามและการพูดคุยที่น่าสนใจ ในกลุ่ม Golang Thailand เกี่ยวกับ Messaging vs gRPC ว่าแบบไหนที่ performance ดีกว่ากัน ?รวมทั้งข้อดีและข้อเสีย จึงทำการสรุปการตอบต่าง ๆ ไว้นิดหน่อย

Read More…

Part 2 :: ว่าด้วยเรื่องความรู้พื้นฐานของ Kafka

หลังจากที่ใน part 1 นั้นได้ทำการสรุปเรื่องของ Messaging system จากการไปเรียนมา มาใน blog นี้จะทำการสรุปเกี่ยวกับความรู้พื้นฐานของ Kafka ว่ามีที่มาที่ไปอย่างไร ? ว่ามี architecture อย่างไร ? ว่าการทำงานในแต่ละส่วนมีอะไร ที่ทำหน้าที่อะไร ? รวมไปถึง ecosystem ของ Kafka ว่าเป็นอย่างไร ? ไปดูกันเลย

Read More…

บันทึกการเรียน Kafka 101 :: Part 1 เรื่อง Messaging system

วันนี้ได้เข้าเรียน Kafka 101 ที่ SCK Dojo ซึ่งสอนโดย Surasit Neng Liangpornrattana ซึ่งหัวข้อต่าง ๆ ที่ได้เรียนประกอบไปด้วย เรื่องของ Messaging system ทำไมต้องใช้งาน Kafka ด้วย RabbitMQ vs Kafka Ecosystem ของ Kafka เช่น Producer, Consumer, Zookeeper เป็นต้น ความรู้พื้นฐานเกี่ยวกับ Kafka เช่น Topics, Partition, Broker เป็นต้น Message Delivery Semantic Workshop ทำงานร่วมกับ Line Chat Bot เนื่องจากว่าเนื้อหาเยอะมาก ๆ จึงทำการสรุปไว้เป็นหลาย ๆ ส่วน ในส่วนแรกนี้จะเน้นเรื่องของ Messaging system กันนิดหน่อย มาเริ่มกันเลย

Read More…