ระบบฐานข้อมูลมัลติมีเดียจัดเก็บและจัดการชุดข้อมูลมัลติมีเดียขนาดใหญ่ เช่น เสียง, วิดีโอ, ภาพ, グラフィックス, พูด, ข้อความ, เอกสาร, และข้อมูลไฮเปอร์เท็กซ์ ซึ่งมีข้อความ, มาร์กอัปข้อความ, และการเชื่อมโยง ระบบฐานข้อมูลมัลติมีเดียมีการใช้งานมากขึ้นเรื่อยๆ เนื่องจากการใช้งานอุปกรณ์เสียง-ภาพ, กล้องดิจิทัล, CD-ROM, และอินเทอร์เน็ตอย่างแพร่หลาย มีระบบฐานข้อมูลมัลติมีเดียรวมถึง EOS (Earth Observation System) ของ NASA, ฐานข้อมูลภาพและเสียง-วิดีโอหลายประเภท, และฐานข้อมูลอินเทอร์เน็ต
มีสองกลุ่มหลักของระบบจัดทำดัชนีและดึงข้อมูลมัลติมีเดีย ดังนี้:
ระบบดึงข้อมูลแบบอิงคำอธิบาย (Description-based retrieval systems) — ใช้สร้างดัชนีและดึงวัตถุจากคำอธิบายภาพ เช่น คีย์เวิร์ด, คำบรรยาย, ขนาด, และเวลาสร้าง การดึงข้อมูลแบบอิงคำอธิบายใช้แรงงานมากหากทำด้วยมือ หากทำอัตโนมัติ ผลลัพธ์มักมีคุณภาพต่ำ ตัวอย่าง การกำหนดคีย์เวิร์ดให้ภาพอาจเป็นงานที่ยากและ恣意 (arbitrary) การพัฒนาเทคนิคการจัดกลุ่มและจัดประเภทภาพบนเว็บล่าสุดได้ปรับปรุงคุณภาพการดึงข้อมูลภาพเว็บแบบอิงคำอธิบาย เนื่องจากข้อมูลข้อความรอบภาพและข้อมูลลิงก์เว็บสามารถใช้สกัดคำอธิบายที่เหมาะสมและจัดกลุ่มภาพที่อธิบายธีมเดียวกันรวมกัน
ระบบดึงข้อมูลแบบอิงเนื้อหา (Content-based retrieval systems) — รองรับการดึงข้อมูลจากเนื้อหาภาพ เช่น histogram สี, ทекстуรา, รูปแบบ, โครงสร้างภาพ (image topology), และรูปร่างของวัตถุและการจัดวางและตำแหน่งภายในภาพ การดึงข้อมูลแบบอิงเนื้อหาใช้ลักษณะภาพเพื่อจัดทำดัชนีภาพ และปรับปรุงการดึงวัตถุจากความคล้ายคลึงของคุณลักษณะ ซึ่งเป็นที่พึงประสงค์อย่างยิ่งในหลายแอปพลิเคชัน
ในระบบดึงข้อมูลภาพแบบอิงเนื้อหา มักมีสองประเภทคิวรี — คิวรีแบบตัวอย่างภาพ (image sample-based queries) และ คิวรีระบุคุณลักษณะภาพ (image feature specification queries) คิวรีแบบตัวอย่างภาพค้นหาภาพทั้งหมดที่คล้ายกับตัวอย่างภาพที่ให้มา การค้นหานี้วิเคราะห์ feature vector (หรือ signature) ที่สกัดจากตัวอย่าง กับ feature vectors ของภาพที่สกัดและจัดเรียงไว้ในฐานข้อมูลภาพ คิวรีระบุคุณลักษณะภาพ กำหนดหรือวาดคุณลักษณะภาพ เช่น สี, ทекстуรา, หรือรูปร่าง ซึ่งถูกแปลงเป็น feature vector เพื่อจับคู่กับ feature vectors ของภาพในฐานข้อมูล
การดึงข้อมูลแบบอิงเนื้อหามีการประยุกต์ใช้กว้างขวาง รวมถึงการวินิจฉัยทางการแพทย์, การทำนายพยากรณ์อากาศ, การผลิตทีวี, เครื่องมือค้นหาเว็บสำหรับภาพ, และอีคอมเมิร์ส บางระบบ เช่น QBIC (Query By Image Content) ให้คิวรีแบบตัวอย่างและระบุคุณลักษณะภาพทั้งคู่ มีระบบที่รองรับทั้ง content-based และ description-based retrieval
