СЕРВИСЫ
Каталог IT 
Разработка сайтов
Интернет-провайдеры

Отправить новость

Сообщите новость, интересную читателям 42.TUT.BY


реклама

Когда белорусов наконец перестанут блокировать поисковики?

опубликовано: 
обновлено: 
Роман Савкив,

О проблеме блокировки белорусских пользователей интернета поисковиками уже много говорилось и писалось, но реальных шагов, исправивших бы ситуацию, так и не сделано. В лучшем случае белорусам предложат ввести капчу, в худшем - они не смогут воспользоваться поиском вообще.

Владимир Иванов. Изображение: tech.yandex.ru
Владимир Иванов. Изображение: tech.yandex.ru
О своем видении ситуации в Беларуси и возможных путях решения проблемы рассказал Владимир Иванов, заместитель руководителя департамента эксплуатации компании "Яндекс".

Почему "Яндекс" банит своих пользователей в Беларуси?

Прежде всего хочу подчеркнуть, что Яндекс никого не банит. В ряде случаев, прежде чем отправить пользователя на страничку поиска, мы просим его ввести так называемую капчу. Капча – это набор графически искаженных символов, значение которых может распознать человек, а компьютер самостоятельно, если алгоритм формирования капчи достаточно сложен, – не может. Пользователю нужно просто ввести символы в специальное поле, и он сможет продолжить пользоваться "Яндексом".

Зачем нужна эта капча?

Небольшой технический экскурс. Любой интернет-провайдер при подключении пользовательского компьютера в интернет, выдает ему IP-адрес. Такие же IP-адреса есть и у сайтов. В современном интернете IP-адрес состоит из четырех групп цифр, например, 213.180.204.11, и пользователь обращается к IP-адресу сайта со своего IP-адреса (это немножко похоже на звонок с одного номера телефона на другой). "Яндекс" "видит" IP-адрес пользователя и возвращает ему ответ на поисковый запрос.

Иногда наши алгоритмы фиксируют аномально высокий поток поисковых запросов, отправляемых с одного IP-адреса. В большинстве случаев их генерируют так называемые боты – компьютеры, которые в автоматическом режиме отправляют в "Яндекс" запросы, получают страницу ответов и скачивают ее - и так сотни запросов и страниц в минуту. Обычно этим промышляют так называемые "оптимизаторы", которые пытаются продвинуть разные сайты на верхние позиции на странице результатов поиска "Яндекса" по определенным темам запросов. Но иногда этим занимаются и обыкновенные вандалы и хулиганы, которые надеются перегрузить наши системы большим потоком бесполезных запросов. Сама по себе деятельность оптимизаторов не противозаконна, но у нас для таких специалистов есть отдельный сервис, на который мы им предлагаем перейти. Кроме того, бывает сложно отличить нагрузку, создаваемую оптимизаторами от потока мусора от злоумышленников, поскольку бывает, что первые берут у вторых бот-сети в аренду. Так или иначе, для того чтобы боты не мешали обычным пользователям, не нагружали наши серверы, не искажали статистику запросов и не замедляли получение ответов, мы показываем капчу. Бот ее не проходит.



На капчу жалуются не боты, а реальные пользователи. Разве они могут вручную генерировать огромное количество запросов?

В Беларуси сложилась довольно сложная ситуация. Дело в том, что ресурс IPv4-адресов - так они называются из-за четырех групп цифр - о которых я говорил, сам по себе ограничен, их всего 4 миллиарда на весь мир. Сейчас ресурс заканчивается, и провайдеры уже не могут снабдить отдельным адресом каждого пользователя интернета.

Существуют технологии, которые позволяют подключать к одному IP-адресу несколько десятков, сотен или даже тысяч пользователей, и белорусские провайдеры берут их на вооружение - такая технология называется NAT. Проблема в том, что если каждый пользователь NAT за короткий промежуток времени отправляет "Яндексу" хотя бы десяток запросов, то в сумме их активность становится похожей на активность бота, и алгоритм предлагает пользователям IP-адреса ввести капчу, чтобы вновь попасть на сервис. Иногда может случиться так, что среди сотен пользователей одного IP-адреса находится один-два, чьи машины заражены вирусами или являются частью какой-то бот-сети. Тогда от них могут пострадать все пользователи IP-адреса.

Как часто показывается капча белорусам?

По нашим измерениям, в Байнете она показывается для 5-15% поисков – в зависимости от активности. Абсолютное большинство этих запросов сделаны ботами, а реальные пользователи видят капчу значительно реже – всего в 0,2% случаев. Для России, Украины и Казахстана показатель примерно такой же, поскольку активность ботов и проблема с дефицитом IP-адресов актуальна для всех.

То есть нехватка адресов – это проблема не только Байнета?

Это проблема всего мира. IP-адреса из четырех групп цифр заканчиваются глобально, просто в каких-то регионах быстрее, в каких-то медленнее. В Азии, например, они закончились еще 2 года назад. В Европе за выделение IP-адресов отвечает организация RiPE. В сентябре 2012 года RiPE объявила, что перешла к делегированию адресов из последнего доступного в регионе блока размером около 16 миллионов адресов. Из этого блока каждый европейский провайдер, включая и белорусских, может получить не более 1000 адресов, что, конечно, крайне мало для сколько-нибудь крупных провайдеров.

Предположительно, в этом году закончится ресурс IPv4-адресов в Северной и Южной Америке. Таким образом, только африканский континент не будет испытывать трудностей еще некоторое время. Но глобально проблема будет только усугубляться.

Есть выход из этой ситуации?

О том, что IPv4 адреса заканчиваются, было известно еще несколько лет назад, и международные регулирующие органы – IANA, ICANN - об этом предупреждали и провайдеров, и интернет-сервисы, и мобильных операторов, всех. Первая версия статьи о проблеме в Википедии появилась аж в 2006 году. Те, кто вовремя оценил ситуацию, заранее начал переходить на новую систему адресации – IPv6. Это адреса, состоящие из восьми групп по четыре шестнадцатеричных символа, то есть их вариаций больше, а ресурс, соответственно, на несколько порядков выше. В этом новом механизме адресации доступно более 340 тысяч дециллионов (это число с 33 нулями) адресов. Математики шутят, что IPv6 позволит дать персональный адрес каждой песчинке на планете, если она вдруг захочет выйти в Сеть.

"Яндекс" начал внедрять IPv6 в 2008 году. Более трех лет назад появились наши первые публичные сервисы с поддержкой IP-адреса шестой версии. Сегодня все наши основные сервисы, включая поиск и почту, обслуживают пользователей с адресами обоих форматов – и четвертой, и шестой версий. Так же обстоят дела у всех крупных интернет-сервисов. Однако этого, к сожалению, мало – для того, чтобы Беларусь полностью перешла на IPv6, поддержать новый формат должны и провайдеры, которые выдают адреса пользователям. Когда у каждого будет свой уникальный адрес, мы будем понимать, когда за ним "скрывается" конкретный человек, а когда - бот.

Белорусские провайдеры готовы к переходу на новую адресацию?

Насколько нам известно, в полной мере IPv6 в стране поддерживает только "МТС-Беларусь", поэтому у пользователей этого провайдера с IPv6-адресами проблем с доступом к "Яндексу" нет. Несколько провайдеров уже перевели на новый протокол свои инфраструктуры, но проблема еще в том, что за годы работы они раздали абонентам огромное количество домашних роутеров, которые не поддерживают IPv6. И сейчас в них надо либо менять "прошивку", либо заменять роутеры полностью на более современные. В любом случае, стоит подумать о том, чтобы начать выдавать пользователям более современные роутеры. Этим все равно придется заняться, как ни откладывай. Большинство провайдеров это понимает, но некоторые почему-то винят во всем интернет-сервисы. Нам предлагают, например, снять на поиске капчу вообще, то есть снять защиту от ботов. Но как я и говорил, тогда от ботов будут страдать добропорядочные пользователи, поэтому мы на это не пойдем.

Можно ли, пока все белорусские провайдеры не перейдут на IPv6, что-нибудь придумать, чтобы избавить от капчи реальных пользователей, не отключая систему защиты от ботов?

Есть технологии, которые помогают "разглядеть" каждого отдельного пользователя "коллективного" IP-адреса и избавить от капчи без IPv6. Мы рассматривали этот вариант в качестве промежуточного. Однако оказалось, что, во-первых, такое решение обладает весьма небольшим периодом действия, во-вторых, его можно внедрить только у одного провайдера – если оно заработает у нескольких, то чисто технологически потеряется смысл решения, пропадет эффективность. В-третьих, в результате такого внедрения ситуация с капчей улучшится только при доступе к "Яндексу", но не к другим интернет-ресурсам, которые используют капчу подобным образом. То есть радикально от проблемы это не избавит.

В общем, между собой мы называем такое решение "костылем", и особого смысла в нем не видим. Поэтому мы объясняем провайдерам, что переводить на IPv6 пользователей все равно придется, хочется того или нет, и чем раньше начать этот перевод – тем проще он будет. Со своей стороны мы готовы делиться нашим опытом перевода сервисов, сотрудничать с провайдерами, чтобы обеспечить связность доступа к интернету. В России мы по просьбе провайдеров активно в этом процессе участвуем.


Каким образом МТС удалось внедрить в своей фиксированной Ethernet-сети IPv6? "Мы понимали, что проблема нехватки адресного пространства неминуемо затронет Беларусь, поэтому еще в 2013 году обратились в RiPE и получили в свое распоряжение массив статических адресов шестого протокола – их точное количество 79 228 162 514 264 337 593 543 950 336. Сегодня никаких проблем с доступом к таким сетевым гигантам, как "Яндекс" и Google, нет ни у "мобильных", ни у Ethernet-абонентов МТС, потому что они уже получают адреса из нового массива.

Однако даже внедрив протокол IPv6 на своей сети, МТС не решил бы проблему блокировок со стороны "Яндекса", 
Google и других, потому что этот протокол должно поддерживать и оборудование "Белтелекома", через который мы подключаем абонентов к интернету. "Белтелеком" внедрил IPv6 на своем "транзитном" оборудовании полгода назад. Поэтому у абонентов МТС все хорошо и описываемые представителями других провайдеров проблемы для наших пользователей неактуальны", - отметили в пресс-службе МТС.

Компания "Белтелеком" отказалась давать IT.TUT.BY какие-либо комментарии относительно внедрения IPv6 в своей сети и о блокировках пользователей поисковиками.

C представителями компании Google также не представляется возможным обсудить проблему блокировки - в московском офисе компании готовы проконсультировать лишь по вопросам сервиса контекстной рекламы Google AdWords. Представительства интернет-гиганта в Польше также не могут говорить на эту тему, а головной офис Google в Калифорнии обращения по электронной почте игнорирует.

Читайте также:
"Адреса закончились". Белорусы стали первыми жертвами мирового сетевого кризиса >>>
Белорусские провайдеры обещают разобраться с блокировками поисковиками, но не спешат с переходом на IPv6 >>>
Отправить новость
Сообщите редакции новость, интересную читателям 42.TUT.BY