ปัญหาที่น่าสนใจเกี่ยวกับการเก็บข้อมูลการค้นหาว่าในแต่ละวันมีการค้นหาคำไหน จำนวนเท่าไรจึงลองฝึกออกแบบ key-value ใน redis ดูหน่อย ว่าต้องทำอย่างไรบ้าง ?โดยมีเป้าหมายเพื่อ มาเริ่มออกแบบเล่น ๆ กันหน่อย
BigData Archive
มาลองใช้งาน PostgreSQL สำหรับเก็บ data caching ด้วย Unlogged table
เห็นบทความต่าง ๆ เกี่ยวกับ PostgreSQL ว่า เอามาจัดการเรื่อง caching ได้เลยซึ่งเอามาแทนที่ Memcached หรือ Redis ได้เลยแถมไม่ต้องไปจัดการข้อมูลแยกระบบ หรือ คนละ software ด้วยดังนั้น จึงมาลองใช้งานกันดูหน่อยว่าเป็นอย่างไร
มาลองใช้งาน Queue ใน Apache Kafka 4.0
ทาง Apache Kafka 4.0 เพิ่งปล่อยออกมาซึ่งเพิ่ม Queue เข้ามาให้ลองใช้ด้วย (early access เท่านั้น)เคยเขียนอธิบายไว้แล้วที่ น่าสนใจสำหรับ KIP-932: Queues for Kafkaดังนั้นเรามาลองใช้งานกันหน่อยว่าเป็นอย่างไรมาเริ่มกันเลย
ความสามารถใหม่ ๆ ใน Apache Airflow 3.0
พอดีต้องไปแบ่งปันความรู้เรื่องการใช้งาน Apache Airflow ขั้นพื้นฐานเลยไปเห็น roadmap ของความสามารถต่าง ๆ ใน Apache Airflow 3.0จึงทำการสรุปความสามารถที่น่าสนใจไว้นิดหน่อยมาดูกัน
ความสามารถที่น่าสนใจของ Apache Airflow 2.10
มาดูความสามารถที่น่าสนใจใน Apache Airflow 2.10 ที่เพิ่งปล่อยออกมาประกอบไปด้วย มาดูรายละเอียดกันนิดหน่อย
ตอบคำถาม การ generate data ใน PostgreSQL database
คำถามเกี่ยวกับการสร้าง data ใน PostgreSQL database จำนวนเยอะ ๆ ในแต่ละ table อย่างไรดี ? คำตอบง่าย ๆ สามารถใช้งานเขียน code และใช้งาน fake library ได้เลยแต่ถ้าต้องการเขียนคำสั่ง SQL ทำเลยก็สามารถทำได้ด้วยการใช้งาน GENERATE_SERIES ของ PostgreSQL นั่นเองหรือเขียนด้วย pgSQL ก็ได้ แล้วแต่ความชอบ
สรุปจากการดู SQL Query Optimization!
เห็นใน feed มีการ share เรื่อง SQL Query Optimization! กันเยอะซึ่งอธิบายการปรับปรุงประสิทธิภาพการทำงานของ SQL กันยกตัวอย่างเช่น
สรุปจากการอ่านบทความ How Quora scaled MySQL to 100k+ Queries Per Second ?
เห็นใน feed มีการ share บทความเรื่อง How Quora scaled MySQL to 100k+ Queries Per Secondเป็นการ scale MySQL database ของระบบ Quoraซึ่งเป็นระบบถามตอบปัญหาต่าง ๆ นั่นเองโดยมีการใช้งานคร่าว ๆ คือ ข้อมูลต่าง ๆ จะเก็บไว้ใน MySQL นั่นเองดังนั้นมาดูกันว่าทางระบบทำการ scale กันอย่างไร
บันทึกการ pre-processing ข้อมูลก่อนจัดเก็บใน Elasticsearch
จากบทความของ Elastic เรื่อง Pruning incoming log volumes with Elasticอธิบายถึงการเก็บข้อมูลใน Elastic stack ว่าข้อมูลที่จัดเก็บนั้นมีจำนวนที่เยอะ รูปแบบที่หลากหลายส่งผลให้ระบบมีปัญหาในการจัดเก็บ การประมวลผล หรือ ใช้งานดังนั้น สิ่งหนึ่งที่เราควรทำก่อนคือรู้ว่าข้อมูลอะไรบ้างที่ใช้ และ ไม่ใช้งานบ้างเพื่อที่จะเก็บเท่าที่ใช้งานเท่านั้น มิใช่เก็บไปเสียทุกอย่าง
น่าสนใจสำหรับ KIP-932: Queues for Kafka
น่าสนใจดีกับ KIP-932: Queues for KafkaKIP (Kafka Improvement Proposal) นี้ทำการใช้งาน queue ใน Kafka นั่นเองโดยปกติถ้าต้องจัดการ message ที่เข้า Topic ให้ตามรูปแบบของ Queue คือ ที่สำคัญก็ยังต้อง scale ได้ง่าย