เพิ่มประสิทธิภาพและลดค่าใช้จ่าย:การตอบสนองของแคช OpenAI API ด้วย Upstash Redis

หากคุณใช้ OpenAI API คุณอาจสังเกตเห็นว่ามันค่อนข้างช้าและบางครั้งก็ไม่ตอบสนองด้วยซ้ำ โดยเฉพาะรุ่น GPT-4 มีแนวโน้มที่จะตอบสนองความล่าช้าสูง นอกจากนี้คุณยังจ่ายเงินสำหรับทุกคำตอบที่คุณได้รับ ทั้งหมดนี้คือเหตุผลในการหลีกเลี่ยงการตอบกลับโดยตรง

คุณสามารถจัดเก็บคำตอบไว้ใน Upstash Redis เพื่อแก้ไขปัญหาเหล่านี้ หากคุณให้บริการลูกค้าจำนวนมากด้วยการตอบสนองแบบเดียวกัน วิธีนี้จะช่วยให้คุณประหยัดเงินได้พอสมควร และด้วยการปรับใช้ทั่วโลก คุณจะมั่นใจได้ว่าผู้ใช้จะได้รับข้อมูลโดยเร็วที่สุด

บทความนี้จะแนะนำคุณเกี่ยวกับการแคชการตอบสนองของ OpenAI API ไปยังฐานข้อมูล Upstash Redis

คุณสมบัติ

เราจะสร้างแอปพลิเคชันเว็บเพื่อแสดงรายการตลกประวัติศาสตร์แก่ผู้เยี่ยมชม

1. ค้นหา OpenAI API ทุกวันเพื่อรับเรื่องตลกเกี่ยวกับประวัติศาสตร์ที่เกี่ยวข้องกับวันที่ปัจจุบัน
2. แคชเรื่องตลกสำหรับการจัดส่งในอนาคต
3. แสดงเรื่องตลกทั้งหมด

เทคโนโลยี

เราจะใช้เทคโนโลยีต่อไปนี้เพื่อสร้างแอป:

• Node.js เป็นเซิร์ฟเวอร์ HTTP
• OpenAI API เพื่อสร้างเรื่องตลกในอดีต
• ปรับปรุง QStash เพื่อทริกเกอร์คำขอตลกใหม่จากเซิร์ฟเวอร์ HTTP ไปยัง OpenAI API
• Upstash Redis เพื่อจัดเก็บเรื่องตลกเพื่อใช้ในภายหลัง

ข้อกำหนดเบื้องต้น

• บัญชี OpenAI พร้อมการเข้าถึง API เพื่อเข้าถึง AI
• บัญชี Upstash เพื่อส่งคำขอไปยัง OpenAI API และแคชการตอบสนองของ AI ใน Upstash Redis
• การติดตั้ง Node.js เพื่อเรียกใช้ OpenAI และ Upstash API

การใช้งาน

เริ่มต้นด้วยการสร้างเซิร์ฟเวอร์ HTTP เพื่อดึงเรื่องตลก เก็บไว้ใน Upstash Redis และแสดงให้ผู้เยี่ยมชมเห็น

การตั้งค่าโครงการ

ขั้นแรก เราสร้างโปรเจ็กต์ Node.js ใหม่และติดตั้งการขึ้นต่อกัน

 $ mkdir history-jokes & cd history-jokes
 $ npm init -y
 $ npm i dotenv express axios @upstash/redis @upstash/qstash

การใช้งานเซิร์ฟเวอร์

หากต้องการใช้งานเซิร์ฟเวอร์ ให้สร้าง 08 ไฟล์และคัดลอกโค้ดต่อไปนี้ลงไป:

require("dotenv").config();
 
const axios = require("axios");
const express = require("express");
const { Redis } = require("@upstash/redis");
const { Receiver } = require("@upstash/qstash");
 
const redisClient = new Redis({
 url: process.env.UPSTASH_REDIS_URL,
 token: process.env.UPSTASH_REDIS_TOKEN,
});
 
const qstashReceiver = new Receiver({
 currentSigningKey: process.env.UPSTASH_QSTASH_CURRENT_SIGNING_KEY,
 nextSigningKey: process.env.UPSTASH_QSTASH_CURRENT_NEXT_KEY,
});
 
const openaiApiClient = axios.create({
 baseURL: "https://api.openai.com/v1",
 headers: {
 Authorization: "Bearer " + process.env.OPENAI_TOKEN,
 "Content-Type": "application/json",
 },
});
 
const server = express();
 
server.use("/generate", async (request, response, next) => {
 // return next()
 let validRequest = false;
 try {
 validRequest = await qstashReceiver.verify({
 signature: request.headers["upstash-signature"],
 body: "",
 });
 } catch (e) {}
 if (!validRequest) return response.status(403).end("Forbidden");
 
 return next();
});
 
server.post("/generate", async (_request, response) => {
 const today = new Date();
 const month = today.toLocaleString("default", { month: "long" });
 let day = today.toLocaleString("default", { day: "numeric" });
 day = day == 1 ? "1st" : day == 2 ? "2nd" : day == "3" ? "3rd" : day + "th";
 
 const { data } = await openaiApiClient.post("/chat/completions", {
 model: "gpt-3.5-turbo",
 messages: [
 {
 role: "system",
 content: "You are a comedian that tells short history jokes.",
 },
 {
 role: "user",
 content: `Please tell me a joke for ${month} the ${day}.`,
 },
 ],
 });
 
 const joke = JSON.stringify({
 date: month + " the " + day,
 text: data.choices[0].message.content,
 });
 
 await redisClient.lpush("jokes", joke);
 
 response.end();
});
 
server.get("/", async (_request, response) => {
 let html = "<h1>History Jokes for Every Day</h1>";
 
 const jokes = await redisClient.lrange("jokes", 0, -1);
 
 html +=
 "<ul>" +
 jokes
 .map(({ date, text }) => `<li><b>${date}</b><br><pre>${text}</pre></li>`)
 .join("") +
 "</ul>";
 
 response.setHeader("Content-Type", "text/html");
 response.end(html);
});
 
server.listen(3000);

มาดูส่วนสำคัญของโค้ดนี้กันดีกว่า

เราใช้ 10 เพื่อบันทึกคำตอบของเราลงใน Upstash Redis และโหลดเพื่อแสดงผล

26 มีหน้าที่ตรวจสอบการโทรรายวันจาก Upstash QStash ด้วยวิธีนี้ เรามั่นใจว่ามีเพียง QStash เท่านั้นที่เรียก 36 ของเรา จุดสิ้นสุด

OPENAI_TOKEN=""
UPSTASH_REDIS_REST_URL=""
UPSTASH_REDIS_REST_TOKEN=""
UPSTASH_QSTASH_CURRENT_SIGNING_KEY=""
UPSTASH_QSTASH_NEXT_SIGNING_KEY=""

 $ node .

 $ curl -X POST http://localhost/generate