Big Data คืออะไร?
ความสามารถของเครื่องจักรมีขีดจำกัด ระหว่างข้อจำกัดด้านประสิทธิภาพ คือขนาดข้อมูลที่ประมวลผลได้ แม้เครื่องจักรปัจจุบันจัดการข้อมูลขนาดใหญ่ได้ แต่การเพิ่มขึ้นแบบ Exponential (ลำดับเรขาคณิต) ยังคงเป็นปัญหาใหญ่
ข้อมูลปัจจุบันใหญ่โตและเพิ่มขึ้นแบบ Exponential วิธีเก็บและประมวลผลแบบดั้งเดิมล้มเหลว
ต้องมีระบบ/กระบวนการจัดการข้อมูลปริมาณมหาศาล Big Data คือกระบวนการใช้ Processing Units แบบ Real-time และ Hardware พร้อมใช้งานที่จัดการข้อมูลมหาศาลได้

ข้อมูลไม่เหมือนเดิมอีกต่อไป ข้อมูลเก่าเป็น Transactional หลัก ตอนนี้ผสม Transactional และ Unstructured Data (ข้อมูลไม่มีโครงสร้าง) รวบรวมส่วนตัวแต่เข้าถึงสาธารณะได้
ข้อมูลประเภทนี้สร้างสถาปัตยกรรมใหม่สำหรับ Data Centers สาธารณะและส่วนตัว ทำให้เกิดความท้าทายมากมายสำหรับ Big Data ต้องเอาชนะเพื่อคุณภาพและความถูกต้องของข้อมูล
อ่านเพิ่มเติม: What Could Possibly Go Wrong With Big Data?
ความท้าทายของ Big Data ที่ต้องเอาชนะ:
1. ปัญหาการรวมข้อมูล (Data Integration):
Big Data จัดการและรวมข้อมูลปริมาณมาก ข้อผิดพลาดในการเก็บ/ประมวลผลนำไปสู่ผลลัพธ์ผิดปกติ การ Monitor ประสิทธิภาพการรวมข้อมูลยาก เพราะข้อมูลมหาศาลที่องค์กรเก็บรวบรวม
เกิดจากความเข้าใจผิดเกี่ยวกับวิธีเก็บ ตรวจสอบ จัดเก็บ และใช้ข้อมูล นำไปสู่ผลลัพธ์ไม่ถูกต้อง
2. ความซับซ้อนของข้อมูล (Data Complexity):
ความซับซ้อนเพิ่มขึ้นแบบ Exponential ตามเวลา ระบบ Big Data ต้องทันสมัยและแม่นยำกว่าเดิม ต้องพิจารณาข้อจำกัดและด้านต่างๆ มากขึ้น
Raw Data ผ่านหลายขั้นตอนและแหล่งที่มา: Operations, Consumers ฯลฯ เทคโนโลยีที่ใช้ประมวลผลแต่ละขั้นตอนเพิ่มความซับซ้อน
3. ความท้าทายด้านความปลอดภัยข้อมูล (Data Security):

ข้อมูลจากแหล่งมากมายไม่สามารถเก็บได้ทุกที่ ความปลอดภัยเป็นข้อต้องการสำคัญ องค์กรใช้ Cloud Services เพราะเข้าถึงง่าย แต่อยู่ในความเสี่ยง
ปัญหาเหล่านี้หลีกเลี่ยงได้หากมีมาตรการตั้งแต่ระดับพื้นฐาน หาก Big Data ผ่านพ้นไป กระบวนการประมวลผลและรวมข้อมูลจะลื่นไหล
4. คุณค่าของข้อมูล (Data Value):
ปรัชญาเก่าเกี่ยวกับการเก็บข้อมูลเปลี่ยนไป เพราะคุณค่าข้อมูล ข้อมูลที่เกี่ยวข้องสำคัญต่อองค์กร ความมีประโยชน์เพิ่มขึ้น
ปัจจุบันต้องการเก็บข้อมูลนาน และเข้าถึงได้ง่าย ข้อมูลที่ถูกต้องและยาวนาน ช่วยวิเคราะห์และผลลัพธ์ที่ต้องการ
ความท้าทาย Big Data: ปัญหาจะคงอยู่ต่อไป
แม้ความท้าทายมากมาย องค์กรต้องหาวิธีทำให้การค้นหา ดึงข้อมูล จัดเรียง และเก็บข้อมูลง่ายขึ้น ด้วยปริมาณข้อมูลมหาศาล ความท้าทาย Big Data ไม่คาดว่าจะหมดเร็ว