โปรแกรมตาม ctokenizer.sf.net

CTokenizer ยอมรับไวยากรณ์ C++ เป็นข้อมูลป้อนเข้าและแสดงผลเวกเตอร์ของวัตถุ CToken ซึ่งมีสตริงโทเค็นและชนิดโทเค็น (n ที่ระบุ) ซึ่งสามารถใช้เพื่อแยกวิเคราะห์อินพุตได้