โทเค็นเป็นองค์ประกอบที่เล็กที่สุดของโปรแกรม C ++ ที่มีความหมายต่อคอมไพเลอร์ ตัวแยกวิเคราะห์ C++ จะรู้จักโทเค็นประเภทนี้:ตัวระบุ คีย์เวิร์ด ตัวอักษร ตัวดำเนินการ เครื่องหมายวรรคตอน และตัวคั่นอื่นๆ กระแสของโทเค็นเหล่านี้ประกอบขึ้นเป็นหน่วยการแปล โทเค็นมักจะคั่นด้วยช่องว่าง
โปรแกรมแยกวิเคราะห์จะรู้จักคีย์เวิร์ด ตัวระบุ ตัวดำเนินการ ตัวดำเนินการ และเครื่องหมายวรรคตอน โทเค็นการประมวลผลล่วงหน้า (เช่น #include, #define, #if_def เป็นต้น) ถูกใช้ในขั้นตอนการประมวลผลล่วงหน้าเพื่อสร้างสตรีมโทเค็นที่ส่งผ่านไปยังคอมไพเลอร์ หมวดหมู่โทเค็นการประมวลผลล่วงหน้า ได้แก่ ชื่อส่วนหัว ตัวระบุ หมายเลขการประมวลผลล่วงหน้า ตัวอักขระ ตัวอักขระสตริง ฯลฯ ที่ไม่ตรงกับหมวดหมู่อื่นๆ ตัวอักษรและสตริงตัวอักษรสามารถเป็นตัวอักษรที่กำหนดโดยผู้ใช้ โทเค็นการประมวลผลล่วงหน้าสามารถคั่นด้วยช่องว่างหรือความคิดเห็น
ตัวแยกวิเคราะห์แยกโทเค็นออกจากสตรีมอินพุตโดยสร้างโทเค็นที่ยาวที่สุดเท่าที่จะเป็นไปได้โดยใช้อักขระอินพุตในการสแกนจากซ้ายไปขวา
