В апреле 2014 года журналисты провели мониторинг поисковой выдачи «Яндекса». Были просмотрены только первые 200 ресурсов по количеству переходов на них с анонсов службы, согласно статистике LiveInternet.ru. Оказалось, что у большинства изданий значительную долю посещаемости (часто более 50%, а нередко и 70%) составляют переходы именно из службы «Яндекс.Новостей». В отношении 51 ресурса можно сказать определенно, что в их выходных данных нет информации о регистрации в качестве СМИ. Исследователи делают вывод: «“Яндекс”, обладая монопольным положением на рынке поиска в России, создает иную медийную реальность, формируя новостные сюжеты из сообщений ресурсов, большинство из которых СМИ не являются».
«Яндекс» отвечает: «В выдаче “Яндекс.Новостей” появляются все источники, подключенные к сервису. Надеемся, вы не рекомендуете “давить” маленькие проекты и отдавать предпочтение большим или избранным».
После другого исследования — газеты «Труд» в отношении заголовков «Яндекса» — у сайта этого СМИ, по заявлениям работников, начались проблемы: они исчезли из поисковой выдачи. Их статьи либо совсем не появлялись на релевантные запросы, либо находились в конце списка. Тогда историю удалось замять, но спустя пять лет схожий сценарий изложил владелец медиапортала Pravda.ru Владимир Горшенин : «Проблемы у нашего портала начались давно — мы практически не попадали в поисковую выдачу “Яндекс.Новостей”. Я писал письма в компанию, но ситуация не менялась. Последней каплей стала ситуация с резонансной статьей американского сенатора Джона Маккейна, которую он написал эксклюзивно для нашего сайта в феврале этого года. Оказалось, что поиск “Яндекса” приводил читателя на дубликат этой статьи, перепечатанной какой-то татарской газетой. Мы, как первоисточник, не получили ни одного перехода от поисковика. И после этого прервали всякое сотрудничество с компанией “Яндекс”».
Каким образом популярный сайт не индексируется поисковой машиной? Как уникальное интервью не появляется в первых строках поиска, а дается лишь через ссылку на стороннем ресурсе? Почему многие авторитетные издания никогда не встретишь в списке первых адресатов выдачи?
Некоторые эксперты убеждены, что имеет место вмешательство сотрудников «Яндекса» в работу поисковых роботов. Тем более что для этого есть и техническая возможность, и практическая необходимость.
Любые алгоритмы выдают не более 95% качества работы, говорят специалисты. Остальное просто необходимо корректировать вручную. Это касается и борьбы со спамом, с нецензурными заголовками (вариации «русского матерного» безграничны и роботу неподвластны), с коммерческими манипуляциями, когда одну и ту же новость переписывают, чтобы снова и снова попадать в поисковую выдачу и зарабатывать рекламные деньги. То есть условно в 5% случаев поисковик просто обязан использовать ручной труд для корректировки поисковой выдачи.
Однако в компании уверяют: «Поскольку “Яндекс.Новости” работают полностью автоматически, с нецензурными заголовками, спамом и накрутками борются не редакторы, а алгоритмы ранжирования, которые мы постоянно улучшаем».
Тем не менее ряд специалистов считает, что работники поисковика обладают возможностью не только удалять проштрафившиеся ресурсы, но и определять частоту их ранжирования и место в поисковой выдаче. Этот механизм нам описали несколько не связанных друг с другом людей — бывшие работники «Яндекса», редакторы новостных порталов, айтишники.
После того как роботизированный алгоритм поиска проверяет сайт на соответствие заявленным условиям («принадлежность первоисточнику, оперативность, цитируемость, информативность»), ресурсу автоматически присваивается рейтинговый балл в диапазоне от плюс пяти до минус пяти. Этот показатель и определяет частоту, порядок и место в списке поисковой выдачи «Яндекса». Все абсолютно роботизировано. Однако существует техническая возможность вручную присвоить определенному сайту более высокий или более низкий рейтинг. Таким образом, получив рейтинг «минус пять», Pravda.ru исчезает из новостной выдачи. То есть напрямую попасть на сайт можно, но в «Яндексе» ссылок на него не обнаружишь. Таким же образом определенные издания могут получать преференции и подниматься в топ по новостным запросам. Доказать вмешательство человека очень сложно, кроме того, работники компании этим грешат нечасто. Зачем — поговорим ниже.
Можно лишь предполагать, что в некоторых случаях какие-то интернет-ресурсы или темы ненадолго получают привилегию в поисковой выдаче «Яндекс.Новостей» для актуализации определенной политической повестки. Однако есть мнение, что некоторые ресурсы на продолжительное время занимают «не свое» место в поисковой выдаче.