การเรียนรู้คิวข้อความด้วย Node.js และ Redis:เพิ่มประสิทธิภาพเว็บแอป

เมื่อคุณสร้างเว็บแอปพลิเคชันขนาดใหญ่ ความเร็วคือสิ่งสำคัญอันดับแรก ผู้ใช้ไม่ต้องการรอการตอบกลับเป็นเวลานานอีกต่อไป และพวกเขาก็ไม่ควรต้องรอ แต่กระบวนการบางอย่างต้องใช้เวลา และไม่สามารถทำให้เร็วขึ้นหรือกำจัดออกไปได้

คิวข้อความช่วยแก้ปัญหานี้โดยจัดเตรียมสาขาเพิ่มเติมให้กับเส้นทางการตอบกลับคำขอตามปกติ สาขาเพิ่มเติมนี้ช่วยให้แน่ใจว่าผู้ใช้จะได้รับการตอบสนองทันที และกระบวนการที่ใช้เวลานานสามารถทำได้ที่ด้านข้าง ทุกคนกลับบ้านอย่างมีความสุข

บทความนี้จะเน้นไปที่การอธิบายว่าคิวข้อความคืออะไร และจะเริ่มต้นใช้งานคิวข้อความเหล่านี้ได้อย่างไรโดยการสร้างแอปพลิเคชันที่เรียบง่าย คุณควรคุ้นเคยกับพื้นฐานของ Node.js และคุณควรติดตั้ง Redis ภายในเครื่องหรือบนอินสแตนซ์ระบบคลาวด์ เรียนรู้วิธีติดตั้ง Redis ที่นี่

คิวคืออะไร

คิวคือโครงสร้างข้อมูลที่ช่วยให้คุณจัดเก็บเอนทิตีในคำสั่งซื้อได้ การเข้าคิวใช้หลักการเข้าก่อนออกก่อน (FIFO)

แนวคิดเรื่องคิวในวิทยาการคอมพิวเตอร์ก็เหมือนกับแนวคิดเรื่องคิวในชีวิตประจำวันที่ผู้คนเข้าแถวเพื่อรับสิ่งของ คุณเข้าร่วมคิวจากด้านหลัง รอจนกว่าจะถึงตาคุณ จากนั้นออกจากคิวจากด้านหน้าหลังจากที่คุณได้เข้าร่วมแล้ว

ในวิทยาการคอมพิวเตอร์ เมื่อกระบวนการต่างๆ เช่น คำขอ API กำลังทำงานอยู่ และคุณจำเป็นต้องลบงานบางอย่าง (เช่น การส่งอีเมล) ออกจากโฟลว์ปัจจุบัน คุณจะพุชงานนั้นไปที่คิวและดำเนินการกระบวนการต่อไป

แผนภาพด้านล่างแสดงวงจรชีวิตของคิว:

วงจรชีวิตของคิว | https://optimalbits.github.io/bull/

งานคืออะไร?

งานคือชิ้นส่วนของข้อมูลใดๆ ที่ใช้ในคิว ซึ่งโดยปกติจะเป็นออบเจ็กต์ที่มีลักษณะคล้าย JSON

ดังที่แสดงไว้ในภาพหน้าปกของบทความนี้ คุณสามารถนึกถึงงานในฐานะที่แต่ละคนต้องต่อคิวที่สนามบิน แต่ละคนถือกระเป๋าเอกสารที่มีข้อมูลเฉพาะและคำแนะนำอื่นๆ (หนังสือเดินทางและเอกสารทางการแพทย์หากจำเป็น) ซึ่งจะช่วยได้เมื่อถึงตาพวกเขาที่ต้องดูแล

คนใหม่ที่เข้าคิวนี้จะเข้าจากด้านหลัง (เป็นคนสุดท้าย) และคนจะเข้าจากด้านหน้า นั่นคือวิธีการประมวลผลงาน แต่ละงานประกอบด้วยข้อมูลที่จะใช้สำหรับการประมวลผล งานใหม่จะถูกเพิ่มจากด้านหลัง ในขณะที่งานถูกนำออกจากด้านหน้า

ผู้ผลิตงานคืออะไร

ผู้ผลิตงานคือโค้ดใดๆ ที่เพิ่มงานลงในคิว ในชีวิตจริง นี่จะเป็นเจ้าหน้าที่รักษาความปลอดภัยที่สนามบินคอยบอกทิศทางให้ผู้คนทราบว่าต้องเข้าคิวไหนเพื่อจุดประสงค์ที่แตกต่างกัน

ผู้ผลิตงานสามารถดำรงอยู่ได้โดยอิสระจากผู้บริโภคงาน ซึ่งหมายความว่าในการตั้งค่าไมโครเซอร์วิส บริการเฉพาะอาจเกี่ยวข้องกับการเพิ่มงานลงในคิว แต่ไม่ใช่วิธีดำเนินการหลังจากนั้น

พนักงาน (ผู้บริโภคงาน) คืออะไร

ผู้ปฏิบัติงานหรือผู้บริโภคงานเป็นกระบวนการหรือฟังก์ชันที่สามารถดำเนินงานได้ ลองนึกถึงพนักงานในฐานะแคชเชียร์ของธนาคารที่คอยดูแลผู้คนที่ต่อคิวอยู่ที่ธนาคาร เมื่อคนแรกเข้ามาก็จะเข้าคิวเป็นคนเดียวในคิว แคชเชียร์ก็โทรมาเรียกคิวก็ว่าง

แคชเชียร์ขอรายละเอียดเฉพาะเพื่อใช้ในการประมวลผลธุรกรรมจากบุคคลนั้น ขณะที่แคชเชียร์ดูแลลูกค้ารายนั้น ลูกค้าอีกสี่คนก็อาจเข้าแถวรอ พวกเขาจะยังคงอยู่ในคิวจนกว่าแคชเชียร์จะเสร็จสิ้นกับลูกค้ารายแรกก่อนที่จะเรียกลูกค้ารายต่อไป นี่เป็นกระบวนการเดียวกันกับผู้ปฏิบัติงานคิว โดยพวกเขาจะเลือกงานแรกในคิวและดำเนินการ

งานที่ล้มเหลวคืออะไร

บ่อยครั้ง งานบางอย่างอาจล้มเหลวในระหว่างการประมวลผล

นี่คือสาเหตุบางประการที่ทำให้งานล้มเหลว:

• ข้อมูลอินพุตไม่ถูกต้องหรือขาดหายไป:เมื่อข้อมูลที่จำเป็นสำหรับงานที่ประมวลผลหายไป งานจะล้มเหลว ตัวอย่างเช่น งานส่งอีเมลจะล้มเหลวหากไม่มีที่อยู่อีเมลของผู้รับ
• หมดเวลา:งานอาจล้มเหลวโดยกลไกคิวหากใช้เวลานานกว่าปกติ นี่อาจเป็นเพราะปัญหาเกี่ยวกับการพึ่งพางานหรืออย่างอื่น แต่โดยปกติแล้วคุณไม่ต้องการให้งานเดียวดำเนินไปตลอดกาล
• ปัญหาเครือข่ายหรือโครงสร้างพื้นฐาน:ปัญหาเหล่านี้เกือบจะอยู่นอกเหนือการควบคุมของคุณ แต่ก็เกิดขึ้นได้ ข้อผิดพลาดในการเชื่อมต่อฐานข้อมูลอาจทำให้งานล้มเหลว
• ปัญหาการพึ่งพา:บางครั้งงานต้องอาศัยทรัพยากรภายนอกเพื่อให้ทำงานได้ดี เมื่อใดก็ตามที่ทรัพยากรอื่นๆ เหล่านี้ไม่พร้อมใช้งานหรือไม่สำเร็จ งานก็จะล้มเหลว

เมื่องานล้มเหลว คุณสามารถกำหนดค่ากลไกคิวของคุณเพื่อลองใหม่ได้ คุณสามารถลองงานใหม่ได้ทันทีหรือหลังจากระยะเวลาที่คำนวณได้ คุณสามารถกำหนดจำนวนครั้งสูงสุดได้ ซึ่งแนะนำ ถ้าไม่เช่นนั้น คุณจะจบลงด้วยการทำงานที่จะล้มเหลวอย่างไม่มีที่สิ้นสุด

คิวมีประโยชน์สำหรับการสร้างช่องทางการสื่อสารที่มีประสิทธิภาพระหว่างไมโครเซอร์วิส บริการหลายอย่างสามารถใช้คิวเดียวกันได้ บริการที่แตกต่างกันอาจได้รับมอบหมายให้แก้ไขปัญหาที่แตกต่างกัน เมื่อบริการเสร็จสิ้นงานแล้ว บริการสามารถส่งงานไปยังบริการอื่นที่มีผู้ปฏิบัติงานรองานนั้นได้ บริการนั้นจะรับและทำทุกอย่างที่จำเป็นกับข้อมูล

คิวยังมีประโยชน์สำหรับการถ่ายงานหนักออกจากกระบวนการอีกด้วย ดังที่คุณจะเห็นในบทความนี้ งานที่ต้องใช้เวลามาก เช่น การส่งอีเมล อาจต้องอยู่ในคิวเพื่อหลีกเลี่ยงการชะลอเวลาตอบสนอง

คิวช่วยหลีกเลี่ยงจุดล้มเหลวเพียงจุดเดียว กระบวนการที่มีความสามารถในการล้มเหลวและสามารถลองใหม่ได้นั้นดีที่สุดในการประมวลผลโดยใช้คิวซึ่งสามารถลองใหม่ได้ในภายหลัง

วิธีสร้างแอปพลิเคชันอย่างง่ายที่ใช้คิว

ในบทความนี้ เราจะสร้างโปรเจ็กต์ง่ายๆ โดยใช้ Node.js และ Redis เราจะใช้ไลบรารี Bull เนื่องจากช่วยลดความซับซ้อนมากมายที่เกี่ยวข้องกับการสร้างระบบคิว โปรเจ็กต์จะมีปลายทางเดียวในการส่งอีเมล

สร้างโครงการ Node.js ใหม่

mkdir nodejs-queue-project
cd nodejs-queue-project
npm init -y

คำสั่งด้านบนจะสร้างโฟลเดอร์ใหม่ชื่อ 09 และ 16 ไฟล์ในนั้น 29 ไฟล์ควรมีลักษณะดังนี้:

{
 "name": "nodejs-queue-project",
 "version": "1.0.0",
 "description": "",
 "main": "index.js",
 "scripts": {
 "test": "echo \"Error: no test specified\" && exit 1"
 },
 "keywords": [],
 "author": "",
 "license": "ISC"
}

npm i express @types/express @types/node body-parser ts-node ts-lint typescript nodemon nodemailer @types/nodemailer

{
 "name": "nodejs-queue-project",
 "version": "1.0.0",
 "description": "",
 "main": "index.js",
 "scripts": {
 "dev": "nodemon src/app.ts"
 },
 "keywords": [],
 "author": "",
 "license": "ISC",
 "dependencies": {
 "@types/express": "^4.17.17",
 "@types/node": "^20.3.3",
 "@types/nodemailer": "^6.4.8",
 "body-parser": "^1.20.2",
 "express": "^4.18.2",
 "nodemailer": "^6.9.3",
 "nodemon": "^2.0.22",
 "ts-lint": "^4.5.1",
 "ts-node": "^10.9.1",
 "typescript": "^5.1.6"
 }
}

import express from "express";
import bodyParser from "body-parser";
import nodemailer from "nodemailer";
const app = express();
app.use(bodyParser.json());
app.post("/send-email", async (req, res) => {
 const { from, to, subject, text } = req.body;
 // Use a test account as this is a tutorial
 const testAccount = await nodemailer.createTestAccount();
 const transporter = nodemailer.createTransport({
 host: "smtp.ethereal.email",
 port: 587,
 secure: false,
 auth: {
 user: testAccount.user,
 pass: testAccount.pass,
 },
 tls: {
 rejectUnauthorized: false,
 },
 });
 console.log("Sending mail to %s", to);
 let info = await transporter.sendMail({
 from,
 to,
 subject,
 text,
 html: `<strong>${text}</strong>`,
 });
 console.log("Message sent: %s", info.messageId);
 console.log("Preview URL: %s", nodemailer.getTestMessageUrl(info));
 res.json({
 message: "Email Sent",
 });
});
app.listen(4300, () => {
 console.log("Server started at http://localhost:4300");
});

npm i bull @types/bull

// This goes at the top of your file
import Bull from 'bull';
const emailQueue = new Bull("email");

const emailQueue = new Bull("email", {
 redis: "localhost:6379",
});

type EmailType = {
 from: string;
 to: string;
 subject: string;
 text: string;
};
const sendNewEmail = async (email: EmailType) => {
 emailQueue.add({ ...email });
};

app.post("/send-email", async (req, res) => {
 const { from, to, subject, text } = req.body;
 await sendNewEmail({ from, to, subject, text });
 console.log("Added to queue");
 res.json({
 message: "Email Sent",
 });
});

const processEmailQueue = async (job: Job) => {
 // Use a test account as this is a tutorial
 const testAccount = await nodemailer.createTestAccount();
 const transporter = nodemailer.createTransport({
 host: "smtp.ethereal.email",
 port: 587,
 secure: false,
 auth: {
 user: testAccount.user,
 pass: testAccount.pass,
 },
 tls: {
 rejectUnauthorized: false,
 },
 });
 const { from, to, subject, text } = job.data;
 console.log("Sending mail to %s", to);
 let info = await transporter.sendMail({
 from,
 to,
 subject,
 text,
 html: `<strong>${text}</strong>`,
 });
 console.log("Message sent: %s", info.messageId);
 console.log("Preview URL: %s", nodemailer.getTestMessageUrl(info));
 return nodemailer.getTestMessageUrl(info);
};

LRANGE bull:email:wait 0 -1

emailQueue.process(processEmailQueue);

import express from "express";
import bodyParser from "body-parser";
import nodemailer from "nodemailer";
import Bull, { Job } from "bull";
const app = express();
app.use(bodyParser.json());
const emailQueue = new Bull("email", {
 redis: "localhost:6379",
});
type EmailType = {
 from: string;
 to: string;
 subject: string;
 text: string;
};
const sendNewEmail = async (email: EmailType) => {
 emailQueue.add({ ...email });
};
const processEmailQueue = async (job: Job) => {
 // Use a test account as this is a tutorial
 const testAccount = await nodemailer.createTestAccount();
 const transporter = nodemailer.createTransport({
 host: "smtp.ethereal.email",
 port: 587,
 secure: false,
 auth: {
 user: testAccount.user,
 pass: testAccount.pass,
 },
 tls: {
 rejectUnauthorized: false,
 },
 });
 const { from, to, subject, text } = job.data;
 console.log("Sending mail to %s", to);
 let info = await transporter.sendMail({
 from,
 to,
 subject,
 text,
 html: `<strong>${text}</strong>`,
 });
 console.log("Message sent: %s", info.messageId);
 console.log("Preview URL: %s", nodemailer.getTestMessageUrl(info));
};
emailQueue.process(processEmailQueue);
app.post("/send-email", async (req, res) => {
 const { from, to, subject, text } = req.body;
 await sendNewEmail({ from, to, subject, text });
 console.log("Added to queue");
 res.json({
 message: "Email Sent",
 });
});
app.listen(4300, () => {
 console.log("Server started at http://localhost:4300");
});