robots.txt, ಕ್ರಾಲರ್ ಗುಂಪುಗಳನ್ನು ಪಾರ್ಸ್ ಮಾಡಲು, ಸೈಟ್ಮ್ಯಾಪ್ ನಿರ್ದೇಶನಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ಲಿಂಕ್ ಮಾಡಿದ ಸೈಟ್ಮ್ಯಾಪ್ XML ಫೈಲ್ಗಳನ್ನು ಮೌಲ್ಯೀಕರಿಸಲು ವೆಬ್ಸೈಟ್ URL ಅನ್ನು ನಮೂದಿಸಿ.
ಪ್ರಮುಖ ಬಾಟ್ಗಳು ಮೂಲ ಮಾರ್ಗವನ್ನು ಕ್ರಾಲ್ ಮಾಡಬಹುದೇ ಎಂದು ವಿಶ್ಲೇಷಕವು ಪರಿಶೀಲಿಸುತ್ತದೆ, ಸೈಟ್ಮ್ಯಾಪ್ URL ಗಳನ್ನು ಎಣಿಸುತ್ತದೆ, ನಕಲಿ ಅಥವಾ ಬಾಹ್ಯ URL ಗಳನ್ನು ಹುಡುಕುತ್ತದೆ ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ ನಮೂದುಗಳಿಗಾಗಿ ಮಾದರಿ ಮುರಿದ ಲಿಂಕ್ ಪರಿಶೀಲನೆಯನ್ನು ಮಾಡುತ್ತದೆ.