Co trzeba dodać do html zeby roboty google miały zabronione chodzenie po konkretnej stronie.
html i blokada przed robotami
- Rejestracja: dni
- Ostatnio: dni
0
- Rejestracja: dni
- Ostatnio: dni
- Rejestracja: dni
- Ostatnio: dni
- Postów: 15
0
Można to rozwiązać na kilka sposobów, albo korzystasz z meta tagów:
<meta name="robots" content="noindex"> - strona się nie zaindeksuje
<meta name="robots" content="noindex, nofollow"> - strona się nie zaindeksuje, a robot po urlach na stronie
Jeśli chcesz zablokować do konkretnego katalogu z plikiem/plikami, wtedy w pliku robots.txt wpisz:
User-agent: *
Disallow: /sciezka_do_katalogu