การดึงข้อมูลเว็บ (Web Scraping) ด้วย lxml ใน Python

ในบทความนี้ เราจะเรียนรู้เทคนิคการดึงข้อมูลเว็บ (web scraping) โดยใช้โมดูล lxml ที่มีใน Python

Web Scraping คืออะไร?

Web scraping ใช้เพื่อดึงข้อมูลจากเว็บไซต์ด้วยความช่วยเหลือของโปรแกรมรวบรวมข้อมูล (crawler/scanner) Web scraping มีประโยชน์ในการดึงข้อมูลจากหน้าเว็บที่ไม่มีฟังก์ชัน API ใน Python สามารถทำ web scraping ได้ด้วยโมดูลต่างๆ เช่น Beautiful Soup, Scrapy และ lxml

ในที่นี้เราจะพูดถึง web scraping โดยใช้โมดูล lxml

ก่อนอื่น เราต้อง ติดตั้ง lxml

พิมพ์ในเทอร์มินัลหรือคอมมานด์พรอมป์ท −

>>> pip install lxml

ในที่นี้ใช้ xpath เพื่อเข้าถึงข้อมูล

ในบทความนี้ เราจะดึงข้อมูลจากเว็บไซต์ Steam ที่มีข้อมูลเกี่ยวกับเกมต่างๆ

https://store.steampowered.com/genre/Free%20to%20Play/

ในหน้านั้น เราจะลองดึงข้อมูลจากส่วน "Popular New Releases" เราจะดึงชื่อ, ราคา, แท็กที่เกี่ยวข้อง และแพลตฟอร์มเป้าหมาย

ในหน้าเว็บ ให้ดูโค้ด HTML ของแท็บ New Releases โดยใช้ฟีเจอร์ Inspect Element ใน Chrome เราจะได้รู้ว่าแท็กใดจัดเก็บข้อมูลที่ต้องการ

ในเว็บไซต์นี้ ทุกรายการในลิสต์ถูกห่อหุ้มในแท็ก div ที่มี id="tab_content" ซึ่งต่อมาถูกห่อหุ้มใน

แท็ก div ที่มี id="tab_select_newreleases"

มาดูการนำไปใช้งานกันเลย