การเลือกตัวประมวลผลงานพื้นหลังที่เหมาะสม:อธิบายงานล่าช้าเทียบกับ Sidekiq

UI บนเว็บเป็นอีกคุณสมบัติหนึ่งที่มาพร้อมกับ Sidekiq ซึ่งให้สถิติในอดีตเกี่ยวกับงานและข้อมูลเกี่ยวกับคนงาน งานที่เข้าคิวอยู่ในปัจจุบันและงานที่ไม่ทำงาน คุณสามารถดำเนินการต่างๆ เช่น การลบหรือรันงานได้ทันทีโดยไม่ต้องผ่านคอนโซล

งานล่าช้าไม่มี Web UI ในตัว แต่เป็น 102 ให้สิทธิ์การเข้าถึงเว็บ UI พื้นฐานพร้อมคุณสมบัติคล้ายกับ Sidekiq's

Sidekiq ชนะอย่างมีประสิทธิภาพ

ในด้านประสิทธิภาพ Sidekiq เอาชนะ Delayed Job ได้ค่อนข้างน่าเชื่อ ตามเกณฑ์มาตรฐานโอเพ่นซอร์สของ Sidekiq นั้นเร็วกว่า Delayed Job ประมาณ 30 เท่า มีเหตุผลหลักสองประการสำหรับสิ่งนี้:

1. Redis สืบค้นข้อมูลได้เร็วกว่าฐานข้อมูลแบบเดิมอย่าง Postgres มาก เนื่องจากจะเก็บข้อมูลไว้ในหน่วยความจำแทนที่จะเป็นดิสก์
2. งานล่าช้าจะเรียกใช้เธรดเดียวเพื่อประมวลผลงาน เปรียบเทียบกับ Sidekiq ซึ่งใช้หลายเธรด

แม้ว่าทั้งหมดนี้ดูดีบนกระดาษ แต่ความแตกต่างนั้นไม่สำคัญมากนักเว้นแต่คุณจะทำงานในปริมาณมาก (เช่น งาน 10,000 งานต่อนาที) จำนวนที่แน่นอนยังขึ้นอยู่กับระยะเวลาทำงานโดยเฉลี่ยของงานด้วย ยิ่งรันไทม์นานขึ้น ค่าใช้จ่ายในการดำเนินงานของงานที่ล่าช้าก็จะยิ่งน้อยลง

หากคุณกังวลเกี่ยวกับประสิทธิภาพของงานที่ล่าช้า คุณสามารถเพิ่มประสิทธิภาพการทำงานได้ ดัชนีที่แน่นอนที่จะใช้จะขึ้นอยู่กับสถิติของระบบงานของคุณ ตัวอย่างเช่น หากคุณใช้หลายคิวและมีเพียงคิวเดียวเท่านั้นที่ได้รับงานชิ้นใหญ่ ดัชนีอย่างง่ายบนคอลัมน์คิว (114 ) สามารถปรับปรุงประสิทธิภาพได้อย่างมาก

ใน AppSignal แดชบอร์ดเวทย์มนตร์ Sidekiq จะถูกสร้างขึ้นโดยอัตโนมัติ และช่วยให้คุณสามารถตรวจสอบความยาวของคิว เวลาแฝงของคิว ระยะเวลางาน สถานะงาน การใช้หน่วยความจำ ฯลฯ

การปรับใช้

ทั้ง Delayed Job และ Sidekiq มีกลยุทธ์การปรับใช้ที่คล้ายกันสำหรับคนทำงาน เมื่อใช้ Heroku คุณเพียงแค่ต้องเพิ่มรายการภายใน 127 ของคุณ เพื่อเริ่มตัวประมวลผลงานและรันผู้ปฏิบัติงาน

สำหรับซิเดคิค:

สำหรับงานล่าช้า:

หน่วยความจำ

นี่คือจุดที่สิ่งต่าง ๆ เริ่มน่าสนใจยิ่งขึ้น Sidekiq มีตัวเลือกการทำงานพร้อมกันเพื่อควบคุมจำนวนเธรดที่รัน เกณฑ์มาตรฐาน Sidekiq กับงานที่ล่าช้าส่วนใหญ่กล่าวถึงการทำงานพร้อมกันที่สูงมากของ Sidekiq มากถึง 25 เธรด ซึ่งมีส่วนทำให้ประสิทธิภาพการทำงานรวดเร็วเป็นพิเศษ

แต่ในสภาพแวดล้อมจริง คุณต้องจำกัดเธรดให้อยู่ในรูปแบบที่อนุรักษ์นิยมมากกว่า จำนวนที่แท้จริงขึ้นอยู่กับว่าแอปพลิเคชันของคุณหนักแค่ไหนและงานประเภทใดที่คุณทำ สิ่งที่ฉันได้เห็นในทางปฏิบัติคือ หากคุณใช้งานพนักงานบนหน่วยความจำ 512MB (เทียบเท่ากับ 133 บน Heroku) จำนวนเธรดอยู่ระหว่าง 2 ถึง 5 แทนที่จะเป็น 25

'Taming Rails memory bloat' โดย Mike Perham ผู้สร้าง Sidekiq อภิปรายการปัญหาเกี่ยวกับหน่วยความจำโดยละเอียดและคุ้มค่าที่จะอ่าน ฉันจะไม่ข้ามไปสู่การสนทนาทั้งหมด แต่เขาแนะนำให้คุณตั้งค่า 147 กับพนักงานทุกคนที่ทำงาน Sidekiq

ใช้ 154 แทนที่จะเป็น 165 ปกติ ช่วยด้วย วิธีที่แน่นอนในการทำเช่นนี้ขึ้นอยู่กับแพลตฟอร์มที่คุณใช้ แต่ Heroku นั้นค่อนข้างง่าย เพียงตั้งค่า heroku-buildpack-jemalloc เป็น buildpack แรก (นำหน้า 170 buildpack).

งานล่าช้าใช้ทรัพยากรที่ง่ายกว่า

ดังที่เราได้พูดคุยไปแล้ว งานล่าช้าจะทำงานบนอินสแตนซ์ฐานข้อมูลที่มีอยู่ของคุณ คุณอาจต้องเพิ่ม:

• หน่วยความจำที่มีอยู่
• พื้นที่ดิสก์
• การเชื่อมต่อสูงสุด

ขึ้นอยู่กับปริมาณงานหรือจำนวนพนักงานที่คุณทำงาน แต่ทรัพยากรเดียวที่คุณต้องการคือตัวประมวลผลงาน

ในทางกลับกัน Sidekiq ต้องการอินสแตนซ์ Redis เพื่อจัดการงาน หากคุณใช้ Redis เป็นที่จัดเก็บแคชด้วย ขอแนะนำให้คุณใช้อินสแตนซ์แยกต่างหากที่กำหนดค่าเป็น "ร้านค้าถาวร" สำหรับงาน Sidekiq

เนื่องจาก Redis ทำงานได้ดีที่สุดเมื่อทุกอย่างพอดีกับหน่วยความจำ หากคุณมีงานมากเกินไป (เช่น หาก Sidekiq หยุดประมวลผลงานเหล่านั้นเป็นระยะเวลาหนึ่งเนื่องจากปัญหาในแอป) อาจต้องใช้เวลาหยุดทำงานบ้างเพื่อเคลียร์ทุกอย่างให้หมด นี่จะยุ่งยากเป็นพิเศษหากคุณมี Redis บนเซิร์ฟเวอร์เดียวกับแอปของคุณ งานเหล่านี้จะเริ่มแข่งขันกันเพื่อแย่งชิงหน่วยความจำ ซึ่งนำไปสู่การสลับและทำลายประสิทธิภาพของแอปของคุณในที่สุด

ประเด็นสำคัญประการหนึ่งที่ควรทราบเกี่ยวกับ Redis คือต้องกำหนดค่าด้วย 187 เพื่อหลีกเลี่ยงไม่ให้ข้อมูลของ Sidekiq ลดลงอย่างเงียบ ๆ มิฉะนั้นคุณจะพบว่าตัวเองขาดงานที่ต้องดำเนินการอย่างไร้ร่องรอย

หมายเหตุด้านข้าง:การอัปเกรดแบบชำระเงินใน Sidekiq

หากคุณต้องการคุณสมบัติพิเศษ Sidekiq จะมาพร้อมกับ 197 และ 206 เวอร์ชัน