ระบบฐานข้อมูลมัลติมีเดียจัดเก็บและจัดการชุดข้อมูลมัลติมีเดียจำนวนมาก เช่น เสียง วิดีโอ รูปภาพ กราฟิก คำพูด ข้อความ เอกสาร และไฮเปอร์เท็กซ์ดาต้า ซึ่งประกอบด้วยข้อความ มาร์กอัปข้อความ และความเชื่อมโยง ระบบฐานข้อมูลมัลติมีเดียมีมากขึ้นเรื่อยๆ อันเนื่องมาจากการใช้อุปกรณ์ภาพและเสียง กล้องดิจิตอล ซีดีรอม และอินเทอร์เน็ตที่ได้รับความนิยม มีระบบฐานข้อมูลมัลติมีเดีย ได้แก่ EOS ของ NASA (Earth Observation System) ฐานข้อมูลภาพและวิดีโอประเภทต่างๆ และฐานข้อมูลอินเทอร์เน็ต
ระบบสร้างดัชนีและดึงข้อมูลมัลติมีเดียมีสองกลุ่มหลักดังนี้ -
ระบบการดึงข้อมูลตามคำอธิบาย − ใช้เพื่อสร้างดัชนีและเรียกค้นวัตถุตามคำอธิบายภาพ เช่น คีย์เวิร์ด คำอธิบายภาพ ขนาด และเวลาที่สร้าง การดึงข้อมูลตามคำอธิบายนั้นใช้แรงงานมากหากดำเนินการด้วยตนเอง หากเป็นแบบอัตโนมัติ ผลลัพธ์ก็มักจะมีคุณภาพต่ำ
ตัวอย่างเช่น การกำหนดคีย์เวิร์ดให้กับรูปภาพอาจเป็นเรื่องยากและบริการโดยอำเภอใจ การพัฒนาล่าสุดของการจัดกลุ่มรูปภาพบนเว็บและเทคนิคการจำแนกประเภทได้ปรับปรุงคุณภาพของการดึงข้อมูลรูปภาพบนเว็บตามคำจำกัดความ เนื่องจากรูปภาพที่ล้อมรอบข้อมูลข้อความและข้อมูลการเชื่อมโยงเว็บสามารถใช้เพื่อแยกคำอธิบายที่เหมาะสมและรูปภาพกลุ่มที่อธิบายธีมที่คล้ายกันได้
ระบบดึงข้อมูลตามเนื้อหา − สามารถรองรับการดึงข้อมูลตามเนื้อหาของรูปภาพ เช่น ฮิสโทแกรมสี พื้นผิว รูปแบบ โทโพโลยีของรูปภาพ และรูปร่างของวัตถุ เลย์เอาต์และตำแหน่งภายในรูปภาพ การดึงข้อมูลตามเนื้อหาช่วยให้ลักษณะภาพง่ายขึ้นในการสร้างดัชนีภาพ และปรับปรุงการดึงวัตถุตามความคล้ายคลึงกันของคุณลักษณะ ซึ่งเป็นที่ต้องการอย่างมากในแอปพลิเคชันต่างๆ
ในระบบการดึงข้อมูลรูปภาพตามเนื้อหา มักจะมีการสืบค้นข้อมูลสองประเภท ได้แก่ การสืบค้นตามตัวอย่างรูปภาพ และการสืบค้นข้อมูลจำเพาะเกี่ยวกับคุณลักษณะของรูปภาพ ข้อความค้นหาตามตัวอย่างรูปภาพจะค้นหารูปภาพทั้งหมดที่คล้ายกับตัวอย่างรูปภาพที่ระบุ การค้นหานี้จะวิเคราะห์เวกเตอร์ของจุดสนใจ (หรือลายเซ็น) ที่ดึงมาจากตัวอย่างด้วยเวกเตอร์ฟีเจอร์ของภาพที่แยกและเรียงลำดับในฐานข้อมูลภาพ
ข้อความค้นหาข้อมูลจำเพาะเกี่ยวกับคุณลักษณะของรูปภาพจะกำหนดหรือวาดคุณลักษณะของรูปภาพ เช่น สี พื้นผิว หรือรูปร่าง ซึ่งแปลเป็นเวกเตอร์คุณลักษณะเพื่อเชื่อมต่อกับเวกเตอร์คุณลักษณะของรูปภาพในฐานข้อมูล
การดึงข้อมูลตามเนื้อหามีการใช้งานที่หลากหลาย รวมถึงการวินิจฉัยทางการแพทย์ การพยากรณ์อากาศ การผลิตรายการโทรทัศน์ เครื่องมือค้นหาเว็บสำหรับรูปภาพ และอีคอมเมิร์ซ ระบบบางระบบรวมถึง QBIC (การสืบค้นตามเนื้อหารูปภาพ) ให้ทั้งการสืบค้นตามข้อกำหนดของคุณสมบัติตัวอย่างและรูปภาพ นอกจากนี้ยังมีระบบที่รองรับทั้งการดึงข้อมูลตามเนื้อหาและตามคำอธิบาย
