В Яндексе сообщили, что их индексирующий робот при обходе некоторых веб-ресурсов будет использовать JavaScripts и CSS для получения большего количества данных о страницах. Также робот сможет увидеть содержимое сайтов в том виде, в каком оно отображается в современном браузере.
Если полученные таким способом данные позволят предоставить пользователям лучший ответ по какому-либо запросу, то в ранжировании будет использована версия, полученная с использованием JavaScripts и CSS. Сейчас индексация с использованием JavaScripts и CSS происходит для небольшого количества сайтов и отдельных страниц, которые известны роботу, но со временем данная технология будет применена ко всем сайтам, известным поиску.
В Яндексе настоятельно рекомендуют всем владельцам и разработчикам сайтов открыть в robots.txt файлы с JavaScripts и CSS для индексирующего робота, а также позаботиться, чтобы при его обращении за данными файлами не возникло проблем с нагрузкой на сервер ресурса. (Яндекс/NovostIT)