ถ้า Copy-paste จาก Webpages ใส่ Spreadsheets ด้วยมือ = ไม่รู้ Data Scraping (Web Scraping) หรือ รู้แต่ไม่อยากเรียน Code แค่เพื่อ Save Hours ของ Clicking
มี No-code Data Scraping Tools เยอะ Data Miner Chrome Extension = Intuitive Options ถ้าดีโชค Task ที่ทำอยู่ใน Recipe Book แล้ว ไม่ต้อง Point-and-click Steps สร้างเอง
Data Miner ทำงานอย่างไร?
Data Miner ดึง Data จาก Webpages ใส่ Excel/CSV Files เรียบร้อย โดย Scan Text ของ Pages ที่ Loaded ต้อง Comfortable กับ HTML รู้จัก Patterns เล็กน้อย แตไม่ Extensive Advanced HTML/JS Skills ช่วยบาง Tasks แตไม่จำเป็น Basic Spreadsheet Skills ต้องมี เพื่อ Output Clean/Organized
1. Setup Data Miner
Chrome/Chromium Browser Install Extension Pickaxe Icon Toolbar Click > Setup Account Free Version: 500 Scrapes/Month พอสำหรับไม่ใช่ Daily
2. Load Data
ไป Page ที่อยาก Extract Data Multiple Pages หรือ Hidden Behind Buttons OK มีวิธีจัดการ ตอนนี้แค่ Representative Sample ให้ Program รู้ว่าหาอะไร
3. เช็ค Recipe สำเร็จรูป
Open Data Miner > "Public" Tab Existing Recipes Popular Sites (Google, Amazon, Twitter) มี Recipes เยอะ Download Links, Prices, Text ทันที Test "Run" Preview Spreadsheet "Edit" Tweak ให้เข้ากับความต้องการ
4. Page Type
No Premade Recipes Work OK สร้างเอง Click "New Recipe"
Choice: "List Page" หรือ "Detail Page"
List Page: Multiple Rows Data จาก Single Page เช่น Search Results (Title, URL, Description) หรือ Feed Posts (Date, Content) Common ที่สุด Demo ใช้นี้ (Detail Page Steps คล้ายกัน)
Detail Page: Info เยอะเกี่ยวกับ 1 Thing บน Single Page เช่น Product Page (Price, Description, Link, Rating) ใส่ Single Row
5. Make Your Rows
Hit "Find" Move Mouse จน Yellow Selection Box ครอบ Data ทั้งหมด Single Entry สำหรับ Spreadsheet เช่น Search Results Highlight ใหญ่พอครอบ Title, URL, Description (แยก Columns ถัดไป) กด Shift Select ไม่ต้องกังวล Click ผิด Data Miner Save Progress แม้ Navigate Away
Check Box ใน "Element's Classes" หรือ "HTML Element Type" อย่างน้อย 1 ตัว Ideally Selector Replicate ครอบทุก Element Category เดียวกับที่ Select
Selector ไม่ครอบทั้งหมด? Select Single Element > "Select Parent" Box ใหญ่ขึ้น จับได้หมด ถ้าไม่ ใช้ HTML Knowledge ระบุ Classes/Types "View Element's HTML" Option และ Custom Selectors เช่น a.product Grab Links Class "product" HTML/CSS Knowledge Basic ช่วยมาก
Back to Row Menu: "Row Count" = Entries ใน Spreadsheet ไม่ครอบทั้งหมด Double-check Row Selection
6. Split Data เป็น Columns
Rows Selected แล้ว Subdivide เป็น Column Categories ทุก Selection = Subsection ของ Row Box
Make Column: Type Name > Find Button Select Extract (เหมือน Rows) Common: Text, URL, Image URL URLs จาก Text Links Tricky: Press "Select Parent" จน Element Type = <a> (HTML Tag Links)
Check Data Type ใน Column: Press Eye Icon ข้าง Column Name Preview ทุก Row Entry ผิดไป Tweak Tags/Types เปิด HTML Viewer เช็ค Patterns
7. บอก Data Miner ไป Next Page ยังไง
Multiple Pages Data ไม่อยาก Click ทุก Page Run Recipe ซ้ำ บอก Data Miner Navigation Button ที่ต้อง Click ไป Next Page ห้ามบอก "Page 2" ไม่งั้นไป Page 2 ติด Select <a> Element Test Navigation ให้ Works
8. บอก Data Miner Click/Scroll โหลด Data
Pages บางอย่าง Load Data แค่ Click/Scroll Data Miner ทำได้! "Find" Tool Select Element ที่ต้อง Manipulate Put Selector ใน Box ทดสอบ Works
Selector ที่ Activate Element/Infinite Scrollbar Tricky แต HTML Knowledge + Trial/Error ได้ไกล JavaScript-based แต่ Data Miner ต้อง CSS Selector เท่านั้น ไม่ต้อง Mess With Code
Next Step: Custom JS Advanced ไปกว่า Basic Scraping
9. Save และ Run Recipe
Congratulations! Run Recipe บน Page Check Preview Rows/Columns ทำงานถูกไหม ไม่ Edit Recipe กลับไป
OK: "Next Page" Button บอก Crawl กี่ Pages Speed ไป (Too Fast = Flagged as Bot)
Data ครบ: Choose File Format Download
มีปัญหา? มีทางง่ายกว่านี้ไหม?
Data Miner ไม่ Work: Tools อื่นเยอะ ParseHub, Scraper, Octoparse, Import.io, VisualScraper บางตัว Intuitive/Automation มากกว่า แตยังต้อง HTML Basics และ Web Organization Data Miner โดดเด่น: Crowdsourced Recipe Library หลีกเลี่ย Code เลยทีเดียว + Free Monthly Scrapes Generous = Decent Tool สำหรับ Most Needs
