BigData Archive

สรุปการสอนและแบ่งปันเรื่อง ELK stack ช่วงปลายปีที่มหาวิทยาลัยราชภัฏยะลา

ช่วงปลายปีมีโอกาสไปสอนและแบ่งปันความรู้เรื่อง ELK stack สำหรับ Big Data Analytic เป็นเวลา 3 วัน ที่สำนักวิทยบริการ มหาวิทยาลัยราชภัฏยะลา โดยครั้งนี้มีเวลา 3 วัน จึงทำให้ได้เนื้อหาที่เข้มข้นและลงรายละเอียดเยอะ เลยทำการสรุปไว้นิดหน่อย ไว้ปีหน้าหาเวลามาแบ่งปันกันนิดหน่อย เนื่องจาก ELK stack มันเปลี่ยนบ่อยเหลือเกิน มาเริ่มกันเลย

Read More…

สรุปเรื่องการตรวจจับ Bot ด้วย Machine Leaning จากงาน Code Mania 1010

หัวข้อสุดท้ายที่เข้าฟังในงาน Code Mania 1010 :: All about passion คือ Real-time Bot Detection using Machine Learning จาก Agoda ส่วนที่น่าสนใจคือ ขั้นตอนของการสร้าง model เพื่อนำมามาตรวจสอบ ในแต่ละ request ที่เข้ามายังระบบว่า เป็น Bot ที่เราไม่ต้องการหรือไม่ ตลอดจนการนำไปใช้งาน ซึ่งจะมี feature จำนวนมาก แน่นอนว่า feature ต่าง ๆ ไม่สามารถเปิดเผยได้ มิเช่นนั้น จะโดนเล่นงานแน่นอน !! มาเริ่มกันเลย

Read More…

สิ่งที่น่าสนใจสำหรับการย้ายฐานข้อมูลออกจาก Oracle ของ Amazon

จากการอ่านบทความเรื่อง Migration Complete – Amazon’s Consumer Business Just Turned off its Final Oracle Database นั้น มีเรื่องที่น่าสนใจเยอะมาก ๆ ทั้งจำนวนทีมและ product ที่ต้องทำการย้าย จากบทความบอกว่ามีมากกว่า 100 ทีมที่ต้องทำการย้าย ทั้งปัญหาและประโยชน์ที่ได้รับจากการย้ายครั้งนี้

Read More…

ว่าด้วยเรื่องที่ควรรู้และเข้าใจเกี่ยวกับ Elasticsearch

หลังจากที่มีโอกาสแบ่งปันเรื่องของ Elastic Stack ไปพอสมควร จึงทำการสรุปสิ่งที่แบ่งปันไว้นิดหน่อย ซึ่งเป็นอีกมุมมองที่คนใช้งานหรือคนที่สนใจควรรู้ไว้บ้าง มาเริ่มกันเลย

Read More…

สรุปจาก Infographic เรื่อง The Top 10 Big Data Challenges

จากกลุ่ม Data Science Thailand ทำการ share บทความ เรื่อง The Top 10 Big Data Challenges  ซึ่งเป็น infographic สรุปเรื่อง 10 อันดับในความท้ายของการนำ Big Data มาใช้ในองค์กร ทำการสร้างไว้ตั้งแต่ปี 2015 เห็นว่าน่าสนใจ เลยนำมาสรุปไว้นิดหน่อย

Read More…

ว่าด้วยเรื่อง 8V สำหรับ Big Data

วันนี้อ่านเจอเอกสารที่น่าสนใจว่าด้วยเรื่อง Big Data Technology with 8V ซึ่งทำการอธิบายคุณสมบัติของ Big Data เพื่อกำหนดว่าในแต่ละส่วนต้องทำอะไร นำพาไปสู่การเลือก process และ technology ที่เหมาะสม โดยแบ่งออกเป็น 8 กลุ่มดังนี้ Volume Value Veracity Visualization Variety Velocity Viscosity Virality

Read More…

ว่าด้วยเรื่องของ Fast Data

โดยปกตินั้นข้อมูลมีการเปลี่ยนแปลงอยู่เสมอ ยิ่งในปัจจุบันอัตราการเปลี่ยนแปลงสูงมาก ๆ ทั้ง Volume, Velocity และ Variety ทำให้เครื่องมือต่าง ๆ ที่มีอยู่อาจจะไม่เพียงพอต่อความต้องการ ทั้งการจัดเก็บ ทั้งการรวบรวม ทั้งการวิเคราะห์ ประมวลผล ซึ่งมีความซับซ้อน และต้องการให้ทำงานแบบ realtime ดังนั้นเราต้องการวิธีการใหม่ เครื่องมือใหม่ ๆ architecture ใหม่

Read More…

สรุปแนวโน้มที่น่าสนใจการจัดการข้อมูลในปี 2017 จาก Oreilly

ข้อมูลจาก Data community ของ Oreilly ทำการสรุปแนวโน้มในปี 2017 ออกมาได้อย่างน่าสนใจ ทั้งเรื่องของ Data scientist ทั้งเรื่องของ Data engineering ทั้งเรื่องของ Data stroage ทั้งเรื่องของเครื่องมือต่าง ๆ จึงทำการแปลและสรุปไว้นิดหน่อยดังนี้

Read More…

ว่าด้วยเรื่องของ Data Intelligence (Data IQ)

จากหนังสือ The Big Data Revolution ได้อธิบายถึงที่ไปที่มาของ Big Data ได้อย่างน่าสนใจ โดยหนึ่งในนั้นคือ เรื่อง Data Intelligence ซึ่งเรียกสั้น ๆ ว่า Data IQ ดังนั้นจึงทำการสรุปไว้นิดหน่อย

Read More…

YAHOO! เปิดให้ download ฐานข้อมูลขนาดใหญ่กันแล้ว

วันนี้เพิ่งเห็นว่าทาง Yahoo ได้เปิดเผยฐานข้อมูลขนาดใหญ่ให้ใช้งานกันได้แล้ว ตามจริงประกาศออกมาตั้งแต่เดือนมกราคมแล้วนะ !! ตกข่าวสุด ๆ ดังนั้นจึงนำมาสรุปกันนิดหน่อย ทาง Yahoo ได้เปิดฐานข้อมูล Webscope ให้ทุกคนทำการ download เพื่อไปใช้งานกันฟรี ๆ แล้ว ซึ่งข้อมูลมีขนาดถึง 13.5 TB (Terabyte) โดยเป็นข้อมูลของผู้ใช้งานของ Yahoo กว่า 20 ล้านคน ที่เข้ามาอ่านข่าวสาร และ ข้อมูลต่าง ๆ นั่นเอง

Read More…