ในการวิเคราะห์อัลกอริทึม นับ Operations และ Steps ถูกต้องเมื่อคอมพิวเตอร์ใช้เวลาทำ Operation มากกว่า Fetch Data แต่ปัจจุบัน Cost ของ Operation ต่ำกว่า Cost ของ Fetch Data จาก Memory มาก
Runtime ของอัลกอริทึมหลายตัว ขึ้นกับจำนวน Memory References (Cache Misses) มากกว่า Operations ดังนั้นต้องออกแบบอัลกอริทึมลดไม่แค่ Operations แต่มา Memory Accesses และซ่อน Memory Latency ด้วย
แบบจำลองคอมพิวเตอร์ง่ายๆ: Memory ประกอบด้วย L1 Cache, L2 Cache, Main Memory ทำ Arithmetic/Logical Operations ด้วย ALU บน Data ใน Registers (R)
จาก Diagram: Main Memory = ร้อย-พัน MB, L2 Cache = ส่วนของ MB, L1 Cache = กิโลไบต์, Register = บิต
เวลา: 1 Cycle = ADD ข้อมูลใน Register, Load L1→Register = 2 Cycles, L1 Miss แต่ L2 Hit = 10 Cycles, L2 Miss (Main Memory) = 100 Cycles, Write = 1 Cycle (ไม่รอ Write Complete)
