Book

หนังสือที่ได้อ่าน

Bada : Overview

Submitted by joezine on Sat, 05/15/2010 - 20:17

อ่าน Bada แบบ Big Picture นิดหน่อย เผื่อได้ใช้ประโยชน์วันข้างหน้า

What is bada ?

  • คือ Smartphone Platform ขออง Samsung
  • ในเรืองของ User-Interactive รองรับ Touch, Vibration, Face Detection, Flash Player, Webkit Internet Browser, Bada Map Control
  • เรื่องของ Service จะเน้นเรื่อง Social Networking, Content Management, Location-Based Service, และ Commercial Services เช่น ขาย Game, Item บน Application
  • Open (คล้าย Android) — เชื่อมกับ Device
  • ใช้ Linux Kernel และใช้ Eclipse ในการ Development
  • Architecture มี 4 Layer
Tags: | »

Hadoop : Hadoop I/O

Submitted by joezine on Tue, 04/20/2010 - 03:06

Data Integrity

  • การเช็คว่า Data corrupt หรือไม่ทำได้โดย checksum เมื่อเป็นข้อมูลแรกที่เข้าสู่ระบบ
  • แต่สำหรับ HDFS จะ checksum โดย Default ทุกครั้งเมื่อทำงานอ่าน Data
  • Datanode จะทำหน้าที่ Verify ข้อมูลก่อนที่จะเก็บข้อมูลและ checksum ซึ่งเป็นข้อมูลที่รับจาก client และจาก Datanode อื่นๆ
  • ข้อมูลที่กำลังเขียน จะส่งไปยัง Datanode อื่นๆ ผ่าน Pipeline และ datanode สุดท้ายจะ verfiy ข้อมูลโดย checksum ถ้า Error, client จะรับ ChecksumException
  • เมื่อเสร็จสิ้นกระบวนการแล้ว แต่ละ Datanode จะเก็บ log ของการ checksum
  • เมื่อ client อ่านข้อมูลจาก Datanode, Datanode จะ verify checksum และเปรียบเทียบกับข้อมูลที่เก็บอยู่ใน Datanode และเก็[ log ของการ verify checksum ไว้ ทำให้รู้ว่า verify ครั้งสุดท้ายของ block ในแต่ละ Datanode เมื่อไหร่ (เก็บสถิติทำให้รู้เรื่องของ Bad disk ด้วย)
Tags: | »

Hadoop : HDFS

Submitted by joezine on Sat, 04/17/2010 - 14:37

เมื่อ Storage ของ Single Machine โตขึ้น กลายเป็นว่าจำเป็นอย่างยิ่งที่ต้องกระจาย Machine File System ต้องเข้ามาช่วยจัดการ Storage ข้าม Network (เรียกว่า Distributed File Systems)

การออกแบบของ HDFS มีรายละเอียดตามนี้

  • รองรับ File ขนาดใหญ่มาก (หลาย 100 GB, TB, PB)
  • รองรับการใช้งาน Data อย่างมีประสิทธิภาพ (ทั้งรูปแบบการเขียนครั้งเดียว หรือ การอ่านหลายครั้ง)
  • รองรับ Hardware ได้หลาย vendor และถูกออกแบบมาโดยให้สามารถทำงานได้ตลอดเวลา ปราศจาก Interrupt
Tags: | »