Robots.txt dosyası, web tarayıcılarına hangi sayfaların taranıp taranmayacağını belirtmek için kullanılan bir metin dosyasıdır. SEO stratejilerinin bir parçası olarak, arama motoru botlarının belirli içeriklere erişimini kontrol etmek için kullanılır.