Proiectul contine cod scris in ani '90 si vine sa ajuta pe cei care scriu robots.txt vine si cu un tool de testare pentru robots.txt, cred ca e bun pentru SEO.
Ideea din spate este ca vrea sa propuna niste standarde care sa fie aprobate de asociatiile de standardizare.