Критический для поисковых роботов файл robots.txt сделал СМС пользователей доступными для запросов пользователей. В результате произошла утечка более чем 8 тысяч коротких текстовых сообщений в Интернет.
«Яндекс» индексирует только открытую часть Интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля, - сообщила Life News официальный представитель «Яндекса» Татьяна Комарова.
Страницы, индексация которых запрещена администратором сайта в файле robots.txt, «Яндекс» не индексирует, даже если они находятся в открытой части Интернета. Это соответствует всем общепринятым нормам и правилам взаимодействия в Интернете.
Однако необходимого для блокировки файла на сайте оператора в момент, когда его «просматривал» робот «Яндекса» не было. Насколько известно, сейчас администраторы сайта «МегаФона» уже установили robots.txt и закрыли этот раздел для индексации.
Вычищать результаты скандального запроса пришлось в авральном и ручном режиме. - В максимально скором времени все страницы этого раздела будут недоступны в результатах поиска «Яндекса», - заверила Life News официальный представитель «Яндекса».
На большинстве сайтов есть особый файл - robots.txt. Он предназначен для роботов поисковых систем, а не для пользователей. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
СКР начал проверку по факту утечки личных данных клиентов «МегаФона»