โปรแกรมตาม lionheart

หุ่นยนต์นี้.txt เครื่องมือวิเคราะห์สามารถตรวจสอบเนื้อหาของ & quot;robots.txt" ของเว็บเซิร์ฟเวอร์โดยพลการ (ไฟล์ที่ระบุพฤติกรรมบนเซิร์ฟเวอร์สําหรับหุ่นยนต์ของเครื่องมือค้นหา ฯลฯ ) จากออนไลน์