Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

Focused Web Crawlers คืออะไร? หลักการทำงานและกระบวนการ


Focused Web Crawler เป็นระบบ Hypertext ที่สำรวจ (Investigates) ได้มา (Acquires) จัดทำดัชนี (Indexes) และสนับสนุนหน้าบนชุดหัวข้อเฉพาะ (Definite Set of Topics) ที่กำหนด Segment ที่ค่อนข้างแคบ (Relatively Narrow Segment) ของเว็บ ต้องการการลงทุน Hardware และ Web Resources น้อยมาก และยังจัดการ Coverage ที่นับถือได้ในอัตราเร็ว เพียงแค่เพราะมีสิ่งที่ต้องทำค่อนข้างน้อย

Focused Web Crawler ถูกดำเนินการโดย Classifier ที่เรียนรู้ระบุ Relevance จาก Examples ที่ฝังอยู่ใน Topic Taxonomy และ Distiller ซึ่งรับรู้ Topical Vantage Points บนอินเทอร์เน็ต

Focused Web Crawlers ใช้ Vertical Search Engines เพื่อ Crawl หน้าเว็บเฉพาะเจาะจงต่อ Target Topic แต่ละหน้าที่ดึงมาถูกจัดประเภทเข้า Predefined Target Topic(s) หากหน้าถูกทำนายว่า On-topic แล้ว Links ของมันจะถูกแยกและ Append เข้า URL Queue

มิฉะนั้น กระบวนการ Crawling จะไม่ดำเนินต่อจากหน้านี้ ประเภท Focused Web Crawler นี้รู้จักว่า "Full-page Focused Web Crawler" เพราะจัดประเภท Full Page Content ในอีกนัยหนึ่ง Context ของ Links ทั้งหมดบนหน้า คือ Full Page Content เอง

ประเภท Web Crawler นี้ทำให้ Indexing มีประสิทธิภาพมากขึ้น โดยตรงช่วยเราบรรลุความต้องการพื้นฐานของการดึงข้อมูลที่เร็วกว่าและเกี่ยวข้องมากกว่าจาก Repository มหาศาลของ World Wide Web มี Search Engines หลายตัวเริ่มใช้วิธีนี้เพื่อให้ผู้ใช้ประสบการณ์ที่รวยขึ้น (Richer Experience) ขณะสร้าง Web Content โดยตรงเพิ่ม Hit Counts

Crawler Manager เป็นองค์ประกอบสำคัญของระบบหลัง Hypertext Analyzer องค์ประกอบดาวน์โหลดไฟล์จาก Global Web URLs ใน URL Repository ถูก Recovered และสร้างไป Buffer ใน Crawler Manager

URL Buffer เป็น Priority Queue ขึ้นอยู่กับขนาด URL Buffer Crawler Manager สร้าง Instance สำหรับ Crawlers แบบไดนามิก ซึ่งจะดาวน์โหลดไฟล์ สำหรับประสิทธิภาพมากขึ้น Crawler Manager สร้าง Crawler Pool Manager ยังตอบรับผิดชอบจำกัดความเร็ว Crawlers และ Balance Load ระหว่างพวกเขา ทำได้โดย Inspecting Crawlers

Crawler เป็น Multi-thread Java Code เพียงพอสำหรับดาวน์โหลด Web Pages จาก Internet และบันทึกไฟล์ใน Document Repository ทุก Crawler มี Queue ของตัวเอง ซึ่งมีผลต่อ File ของ URLs ที่จะ Crawl Crawler Recovered URL จาก Queue

Crawlers ต่างๆ จะมี Shared Request ไป Server เดียวกัน หากเป็นเช่นนั้น การส่ง Request ไป Server เดียวกันจะผลลัพธ์ Overloading Server Server ทำงานเสร็จสิ้น Request ที่ต้องมาจาก Crawlers ที่ Share Request และมองไปข้างหน้า Response