Яндекс.Поиск сообщил о новых правилах обработки директивы Allow текстового файла robots.txt, которая разрешает доступ поискового робота к некоторым частям или сайту целиком.