โทเค็นไม่ได้เป็นเพียงแค่องค์ประกอบที่เล็กที่สุดของโปรแกรมซึ่งมีความหมายต่อคอมไพเลอร์ คอมไพเลอร์ที่แบ่งโปรแกรมออกเป็นหน่วยที่เล็กที่สุดเรียกว่าโทเค็น และโทเค็นเหล่านี้จะไปยังขั้นตอนต่างๆ ของการคอมไพล์
ประเภท
โทเค็นแบ่งออกเป็นประเภทต่าง ๆ ซึ่งระบุไว้ด้านล่าง -
- คำหลัก
- ตัวระบุ
- ค่าคงที่
- สตริง
- สัญลักษณ์พิเศษ
- ตัวดำเนินการ

ตัวอย่าง
ด้านล่างนี้คือโปรแกรม C การใช้ตัวระบุ คำหลัก ตัวแปร ฯลฯ .
#include <stdio.h>
int main(){
int a,b,c;
printf("enter a and b values: \n");
scanf("%d%d",&a,&b);
c=a*b;
printf("value of c=%d",c);
return 0;
} ผลลัพธ์
เมื่อโปรแกรมข้างต้นทำงาน มันจะให้ผลลัพธ์ดังต่อไปนี้ −
enter a and b values:4 5 value of c=20
ในโปรแกรมข้างต้น
- หลักคือตัวระบุ
- int คือคีย์เวิร์ด
- { } เป็นตัวคั่น
- a,b,c คือตัวแปร
รวมกันเรียกว่าเป็นสัญญาณ