สำรวจ 26 เทคนิควิเคราะห์ Big Data ขั้นสูง – ภาค 1

'Big Data' คือการประยุกต์ใช้เทคนิคและเทคโนโลยีเฉพาะเพื่อประมวลผลชุดข้อมูลขนาดใหญ่มาก ชุดข้อมูลเหล่านี้มักใหญ่และซับซ้อนมากจนประมวลผลด้วยเครื่องมือจัดการฐานข้อมูลที่มีอยู่ไม่ได้

การเติบโตอย่างรวดเร็วของ Information Technology นำไปสู่เงื่อนไขที่สนับสนุนกันหลายอย่างในอุตสาหกรรม หนึ่งในผลลัพธ์ที่ peristently และ arguably มากที่สุด คือ การมีอยู่ของ Big Data คำว่า Big Data เป็น catch-phrase ที่สร้างขึ้นเพื่ออธิบายการมีอยู่ของข้อมูลปริมาณมหาศาล ผลลัพธ์ที่ตามมาจากการมีข้อมูลปริมาณมหาศาลอย่างนั้นคือ Data Analytics

Data Analytics คือกระบวนการจัดโครงสร้าง Big Data ภายใน Big Data มีรูปแบบและความสัมพันธ์ต่างๆ ที่ทำให้ data analytics สามารถทำการลक्षणอุปกรณ์ที่คำนวณได้ดีขึ้นของข้อมูลได้ นี่ทำให้ data analytics กลายเป็นหนึ่งในส่วนสำคัญที่สุดของ information technology

ดังนั้น ที่นี่ผมจัดรายการ 26 big data analytics techniques รายการนี้ไม่ได้หมายถึง exhaustive โดยเด็ดขาด

1. A/B testing

A/B Testing เป็นเครื่องมือประเมินสำหรับระบุว่าเวอร์ชันใดของเว็บเพจหรือแอปช่วยให้องค์กรหรือบุคคลบรรลุเป้าหมายทางธุรกิจได้อย่างมีประสิทธิภาพมากกว่า การตัดสินใจนี้ทำโดยการเปรียบเทียบว่าเวอร์ชันไหนทำงานได้ดีกว่า A/B testing มักใช้ในการพัฒนาเว็บเพื่อให้แน่ใจว่าการเปลี่ยนแปลงเว็บเพจหรือคอมโพเนนต์ของหน้าเว็บถูกขับเคลื่อนโดยข้อมูล ไม่ใช่ความคิดเห็นส่วนตัว

มันยังเรียกว่า spilt testing หรือ bucket testing

2. Association Rule learning

ชุดเทคนิคสำหรับค้นพบความสัมพันธ์ที่น่าสนใจ คือ "association rules," ระหว่างตัวแปรในฐานข้อมูลขนาดใหญ่ เทคนิคเหล่านี้ประกอบด้วยอัลกอริทึมหลากหลายเพื่อสร้างและทดสอบกฎที่เป็นไปได้

การประยุกต์ใช้หนึ่งคือ market basket analysis ซึ่งผู้ค้าปลีกสามารถกำหนดได้ว่าผลิตภัณฑ์ไหนมักถูกซื้อร่วมกัน และใช้ข้อมูลนี้สำหรับการตลาด (ตัวอย่างที่มักถูกอ้างอิงคือ การค้นพบว่าผู้ช็อปซูเปอร์มาร์เก็ตหลายคนที่ซื้อ nachos ก็ซื้อเบียร์ด้วย)

3. Classification Tree Analysis

Statistical Classification เป็นวิธีการระบุหมวดหมู่ที่การสังเกตใหม่เป็นของ มันต้องการ training set ของการสังเกตที่ระบุถูกต้อง – ข้อมูลทางประวัติศาสตร์ในคำอื่น

Statistical classification ถูกใช้เพื่อ:

• จัดสรรเอกสารไปยังหมวดหมู่โดยอัตโนมัติ
• จัดกลุ่มออร์แกนิซึมเข้ากับกลุ่ม
• พัฒนาโปรไฟล์ของนักศึกษาที่เรียนคอร์สออนไลน์

4. Cluster Analysis

วิธีสถิติสำหรับจัดประเภทวัตถุที่แยกกลุ่มที่หลากหลายออกเป็นกลุ่มย่อยของวัตถุที่คล้ายกัน คุณลักษณะของความคล้ายคลึงไม่ได้ทราบล่วงหน้า ตัวอย่างของ cluster analysis คือการแบ่งผู้บริโภคเป็นกลุ่ม self-similar สำหรับการตลาดเป้าหมาย ใช้สำหรับ Data Mining

5. Crowdsourcing

ใน crowdsourcing จุดประสงค์คือ งานหรือหน้าที่ถูก outsourcing แต่ไม่ใช่ให้กับมืออาชีพหรือองค์กรที่กำหนด แต่ให้กับสาธารณะในรูปแบบของ open call Crowdsourcing เป็นเทคนิคที่สามารถปรับใช้เพื่อรวบรวมข้อมูลจากแหล่งต่างๆ เช่น ข้อความ สถานะโซเชียลมีเดีย บล็อก ฯลฯ นี่เป็นประเภทหนึ่งของ mass collaboration และ instance ของการใช้ Web

6. Data fusion and data integration

กระบวนการหลายระดับที่จัดการกับการเชื่อมโยง ความสัมพันธ์ การรวมข้อมูลและข้อมูลจากแหล่งเดียวและหลายแหล่ง เพื่อให้ได้ตำแหน่งที่ปรับปรุงแล้ว ระบุประมาณการ และการประเมินสถานการณ์ ภัยคุกคาม และความสำคัญของพวกมันอย่างสมบูรณ์และทันเวลา

เทคนิค Data fusion รวมข้อมูลจากเซ็นเซอร์หลายตัวและข้อมูลที่เกี่ยวข้องจากฐานข้อมูลที่เกี่ยวข้อง เพื่อให้ได้ความแม่นยำที่ดีขึ้นและการอนุมานที่เฉพาะเจาะจงมากกว่าที่จะบรรลุได้โดยการใช้เซ็นเซอร์ตัวเดียว

7. Data Mining

Data mining คือการคัดแยกข้อมูลเพื่อระบุลายแบบและสร้างความสัมพันธ์ Data mining ถูกอ้างถึงเทคนิคการแยกข้อมูลร่วมกันที่ดำเนินการบนปริมาณข้อมูลมาก พารามิเตอร์ Data mining รวมถึง Association, Sequence analysis, classification, Clustering และ Forecasting

การประยุกต์ใช้รวมถึง การทำเหมืองข้อมูลลูกค้าเพื่อกำหนด segment ที่มีแนวโน้มตอบสนองต่อข้อเสนอ การทำเหมืองข้อมูลทรัพยากรบุคคลเพื่อระบุลักษณะเฉพาะของพนักงานที่ประสบความสำเร็จมากที่สุด หรือ market basket analysis เพื่อสร้างแบบจำลองพฤติกรรมการซื้อของลูกค้า

8. Ensemble learning

มันเป็นศิลปะของการรวมชุดอัลกอริทึมการเรียนรู้ที่หลากหลายเข้าด้วยกันเพื่อปรับปรุงความเสถียรและ predictive power ของโมเดล นี่เป็นประเภทหนึ่งของ supervised learning

9. Genetic Algorithms

เทคนิคการเพิ่มประสิทธิภาพที่ใช้กระบวนการเช่น การรวมพันธุกรรม การกลายพันธุ์ และการคัดเลือกตามธรรมชาติ ในการออกแบบที่อิงจากแนวคิดของ natural evolution Genetic algorithms เป็นเทคนิคที่ใช้ระบุวิดีโอ โทรทัศน์ และรูปแบบสื่ออื่นๆ ที่มีโอกาสถูกดูมากที่สุด มี evolutionary pattern ที่สามารถทำได้โดยการใช้ genetic algorithms Video และ media analytics สามารถทำได้โดยการใช้ genetic algorithms

10. Machine Learning

Machine Learning เป็นเทคนิคอีกอย่างที่สามารถใช้จัดประเภทและกำหนดผลลัพธ์ที่เป็นไปได้ของชุดข้อมูลเฉพาะ Machine Learning กำหนดซอฟต์แวร์ที่สามารถกำหนดผลลัพธ์ที่เป็นไปได้ของชุดเหตุการณ์บางชุด มันจึงถูกใช้ใน predictive analytics ตัวอย่างของ predictive analytics คือ ความน่าจะเป็นในการชนะคดีหรือความสำเร็จของการผลิตบางอย่าง

11. Natural Language Processing

ชุดเทคนิคจากสาขาเฉพาะของ computer science (ภายในสาขาที่เรียกว่า "artificial Intelligence" ตามประวัติ) และภาษาศาสตร์ ที่ใช้อัลกอริทึมคอมพิวเตอร์วิเคราะห์ภาษามนุษย์ (natural) หลายเทคนิค NLP เป็นประเภทของ machine learning การประยุกต์ใช้ NLP หนึ่งคือ การใช้ sentiment analysis บนโซเชียลมีเดียเพื่อกำหนดว่าลูกค้าที่เป็นไปได้ตอบสนองต่อแคมเปญแบรนด์อย่างไร

12. Neural Networks

Non-linear predictive models ที่เรียนรู้ผ่านการฝึกและคล้าย neural networks ทางชีววิทยาในโครงสร้าง พวกมันสามารถใช้สำหรับ pattern recognition และ optimization บาง neural network applications เกี่ยวข้องกับ supervised learning และบางอย่างเกี่ยวข้องกับ unsupervised learning ตัวอย่างการประยุกต์ใช้รวมถึง การระบุลูกค้าที่มีค่าสูงที่เสี่ยงต่อการออกจากบริษัทเฉพาะ และการระบุ claims ประกันภัยที่เป็นการฉ้อโกง

13. Optimization

พอร์ตโฟลิโอของเทคนิคตัวเลขที่ใช้ในการออกแบบใหม่ระบบและกระบวนการที่ซับซ้อน เพื่อปรับปรุงประสิทธิภาพของพวกเขาตามหนึ่งหรือหลายเกณฑ์วัตถุประสงค์ (เช่น ต้นทุน ความเร็ว หรือความน่าเชื่อถือ) ตัวอย่างการประยุกต์ใช้รวมถึง การปรับปรุงกระบวนการดำเนินงาน เช่น การจัดตารางเวลา การเส้นทาง และการจัดวางพื้นที่ และการตัดสินใจเชิงกลยุทธ์ เช่น กลยุทธ์ช่วงผลิตภัณฑ์ การวิเคราะห์การลงทุนที่เชื่อมโยง และ R&D portfolio strategy Genetic algorithms เป็นตัวอย่างของเทคนิค optimization

ในบล็อกถัดไป ผมจะอธิบาย 13 Big Data Analytics Techniques ที่เหลือ