«

»

Как перенести сайт. Руководство по миграции — Советы для оптимизаторов

Перенести сайт требуется время от времени из-за различных причин, и это, вероятно, является одной из тех областей, в которой многие оптимизаторы и владельцы сайтов, чувствуют себя не очень комфортно. Как правило, владельцы сайтов хотят знать заранее, какие последствия будут, задаются вопросом, какие потенциальные потери трафика возможны, или даже какая потеря дохода им грозит. С другой стороны, оптимизаторы должны убедиться, что они следуют передовому опыту и избежать распространенных ошибок, свести потерю трафика к минимуму.

Данная статья рассказывает, как перенести сайт, чтобы он не потерял позиции в поисковых системах.

Предупреждение: предложенный метод переноса веб-сайта не является исчерпывающим, и, конечно, существуют несколько альтернативных или бесплатных вариантов, в зависимости от размера ресурса, а также характера предпринятых действий. Я надеюсь, что, несмотря на длину статьи, пост будет полезен для оптимизаторов и веб-мастеров.

Этап 1: Определение цели, объема работы и процессов

Именно в этом пункте будет создан основной план переноса сайта с учетом основных задач, ограничения времени, объема работ и имеющихся ресурсов. Этот этап является фундаментальным, потому что если основные бизнес-задачи и необходимые ресурсы не могут получить соответствующее определение, проблемы могут возникнуть в следующих этапах. Таким образом, значительное количество времени и усилий, необходимо выделить на этом этапе.

1.1 Согласование целей

Это необходимо, поскольку позволит успешно измерять на более позднем этапе согласование целей. Типичные задачи включают в себя:

  •  Минимальные потери трафика
  •  Минимальная потеря рейтинга
  •  Обслуживание ключевых фраз
  •  Обслуживание самого главного траффика
  •  Все вышеперечисленное

1.2  Оценка времени и усилий

Очень важно иметь достаточно времени в своём распоряжении, в противном случае Вам придется работать день и ночь, чтобы восстановить те большие рейтинги, которые упали. Поэтому важно, убедиться, что владельцы сайтов понимают проблемы и риски. Как только они понимают их, они, более вероятно, с радостью выделят необходимое время для тщательного перемещения сайта.

1.3 Будьте честны (… и уверены)

Каждый интернет-ресурс требует индивидуального подхода. Таким образом, предыдущий успех не гарантирует, что предстоящий перенос сайта также будет успешен. Важно, чтобы ваш клиент знал, что поисковые системы не дают никакой подробной шаг за шагом документации на эту тему, так как в противном случае они будут подвергать риску свои алгоритмы. Таким образом, наилучший вариант следовать собственному опыты и опыту других людей. Быть уверенным, очень важно, поскольку клиенты, как правило, уважают больше авторитетное мнение экспертов. Это также важно, потому что это может повлиять, насколько клиент будет доверять и следовать предложениям и SEO рекомендации. Будьте осторожны и не переусердствуйте, хотя бы потому что, если что-то пойдет не так, будет поздно для оправданий.

1.4 Разрабатывать подробный метод как перенести сайт

Хотя есть некоторые общие принципы, краеугольным камнем является разработка безупречного процесса. Это необходимо принимать во внимание:

  •  Наследие архитектуры сайта
  •  Новая архитектура сайта
  •  Технические ограничения на обеих платформах

1.5 Связь плана переноса

Как только процесс миграции был создан, он должен быть доведен до владельца сайта, а также до тех, кто будет выполнять рекомендации, как правило, это команда веб-разработки. Каждая команда должна понять, что она будет делать, так как нет места ошибкам, и недопонимание может быть роковой ошибкой.

Большинство агентств по модернизации сайтов, как правило, недооценивают процесс переноса сайта вообще, потому что они сосредоточены фактически исключительно на том, чтобы сделать новый сайт и запустить его. Часто они не выделяют необходимые ресурсы, необходимые для реализации и тестирования новых URL (перенаправления со старого на новый документ, 301 редирект). Они несут ответственность за SEO. Чтобы дать им понять объем работы, настоятельно просим сделать первые шаги на тестовом сервере, реализация может быть проверена заранее. Независимо от того, насколько хорошо вы проработали план по переносу сайта, дополнительно отведенное время всегда будет полезно. Не всегда всё так, как планировалось.

Для того, чтобы успешно сменить хостинг (архитектуру проекта), все заинтересованные работники должны сотрудничать своевременно только потому, что некоторые действия необходимо предпринять в определенное время. Если что-то, кажется, идет в не желаемом направлении, просто объясните риски от потери рейтинга на возможные потери доходов. Это, конечно, то, что владелец сайта не хочет слышать, потому используйте это в качестве последней карты, и дела, весьма вероятно, пойдут лучше.

1.6 Найти идеальное время

Независимо от того, как активны и организованны Вы, всё всегда может пойти не так. Таким образом, наш процесс не должен иметь место во времени, время и ресурсы должны быть с избытком. Если вы переносите розничный сайт, вы не должны принимать какие-либо риски за пару месяцев до Рождества. Подождите до января, когда все станет очень тихо. Если сайт относится к туристическому сектору, следует избегать весенние и летние месяцы, когда идет большинство трафика и доходов. Все, что должно быть доведено до сведения клиента должно являться идеальным бизнес-решением. Перенос в спешке не является хорошей идеей, поэтому, если нет достаточного времени, чтобы уложиться в сроки, лучше (попробуйте) отложить его на более позднее время.

Этап 2: Действия на старом сайте

Есть несколько типов переноса сайтов в зависимости от того, что именно подверглось изменениям, которые обычно подпадают под один или несколько из следующих элементов:

  •  Хостинг / IP-адреса
  •  Доменное имя
  •  Структура URL
  •  Архитектура сайта
  •  Содержание
  •  Дизайн

Наиболее сложным переездом (переносом) являются изменения в большинстве (или во всех) выше указанных элементах. Тем не менее, в этой статье мы рассмотрим только один из наиболее распространенных и сложных случаев, когда веб-сайт подвергся радикальной перестройке в структуре URL, архитектуре сайта и изменениях контента. В случае смены хостинга должны быть проверки на потенциальные проблемы. Whoishostingthis и Spy On Web могут предоставить некоторую действительно полезную информацию. Внимание должно быть уделено также географическому расположению хоста. Если это не меняется, возможно, потребуется оценить преимущества / недостатки и решить, есть ли реальная потребность в этих изменениях. Перемещение. co.uk веб-сайта с британского сервера в США не имеет смысла с точки зрения производительности.

В случае если доменное имя меняется, Вам придется рассмотреть следующие вопросы:

  •  Содержит ли предыдущий /новый домен больше / меньше ключевых слов?
  •  Являются ли оба домена одной зоны ccTLD? Будут ли изменения, которые влияют на ранжирование?

2.1 Сканирование прошлой версии сайта

Используя приложение-исследователь (например, Xenu Link Sleuth, Screaming Frog) изучаем и убеждаемся, что перенаправления в настоящее время определены и известны. Это важно для того, чтобы избежать перенаправления цепи позже. Мое любимое приложение для сканирования является Xenu Link Sleuth потому что он очень прост в настройке и легок в работе. Все сканируемые адреса необходимо экспортировать, потому что они будут обрабатываться в Excel позже. Следующая конфигурация Xenu рекомендуется, потому что:

  • Число параллельных потоков является очень низким, чтобы избежать тайм-аутов
  •  Высокое значение максимальной глубины позволяет глубоко обходить сайт
  •  Существующие перенаправления будут захвачены и известны
настройки для Xenu Link Sleuth

Пользовательские настройки для Xenu Link Sleuth

 

2.2 Экспорт главных страниц

Экспорт всех URL-адресов, которые получили входящие ссылки, является более жизненно важно. Эта большая часть сайта, отвечающая за способность занять хорошее место в результатах поиска. Что вы делаете со ссылкой это уже другой вопрос, но вам, безусловно, необходимо сохранить её в одном месте (файле).

Open Site Explorer

Open Site Explorer, он предлагает большое количество информации о популярных страницах сайта, таких как:

  •  Авторитет страницы
  •  Связь с корневыми доменами
  •  Социальные сигналы (Facebook лайки, Tweets и т.д.)

На следующем рисунке, несколько мощных страниц выдали 404 ошибку, которые в идеале должны быть перенаправлены 301 редиректом на соответствующую страницу на сайте.

Xenu в работе

Проверка на битые ссылки

 

Majestic SEO

Из-за открытого Site Explorer возможно, не обнаружены некоторые недавние страницы, всегда стоит использовать Majestic SEO, либо на весь домен или WWW субдомен, в зависимости от того, что именно надо перенести. Обратите внимание на значение ACRank, страницы с более высокими значениями ACRank наиболее сочные. Загрузка файла CSV со всеми данными настоятельно рекомендуется.

Majestic SEO

 

Инструменты вебмастера

В случае если вы не имеете подписку на Open Site Explorer или Majestic SEO, вы можете использовать Google WebMaster Tools. Под «Your Site on the Web» -> «Ссылки на ваш сайт» вы найдете страницы, на которые больше всего ссылаются. Нажмите кнопку «Дополнительно» и загрузить всю таблицу в файл CSV. По объему, данные панели WMT меньше, чем OSE или Majestic SEO, но это лучше, чем ничего. Есть и другие платные или бесплатные информационные сервисы об обратных ссылках, которые можно использовать, чтобы добавить больше пользы в этой деятельности.

 

Google Analytics

Экспорт всех URL-адресов, которые получили по крайней мере один визит за последние 12 месяцев через Google Analytics является альтернативным способом, чтобы собрать большой набор ценных проиндексированных страниц.

 

Проиндексированные страницы в Google 

Сбор топ-500 или топ-1000 проиндексированных страниц в Google может показаться странной задачей, но она имеет свои преимущества. Использование Scrapebox или scraper расширение для Chrome выполнит поиск в Google для сайта: www.example.com и очистит верхний индекс URL. Этот шаг может показаться странным, но это может определить:

  • 404 страницы, которые все еще индексируются Google
  • URL-адреса, которые не были собраны на предыдущих этапах

Опять же, сохранить все эти ссылки в другую таблицу.

2.3 Экспорт страниц с ошибкой 404 (документ не найден)

Перенос сайта позволяет понять, насколько же приятно заниматься домашними делами.

Особенно большие сайты требуют особого внимания, в противном случае будут сотни или даже тысячи 404 страниц, как только вы запустите новый сайт. Некоторые из этих 404 страниц могут иметь множество качественных доноров, указывающих на них.

Они могут быть экспортированы непосредственно из Webmaster Tools -> Диагностика-> Ошибки сканирования. Просто загрузите все таблицы в виде файла CSV. OSE также показывает 404 страницы, так что их экспорт может быть целесообразным. Используя SEO Moz Free API with Excel можно выяснить, какие из этих страниц с ошибкой стоит перенаправить на основе таких показателей, как PA, DA, mozRank и количество внешних ссылок / корневых доменов. Выяснение того, куда перенаправить каждую из этих 404 страниц может вызвать затруднения, так как идеально, чтобы каждый URL-адрес ссылался на наиболее релевантную страницу. Иногда можно просто «догадаться», глядя на ключевые слова в URL. В случаях, когда это невозможно, то стоит отправить письмо команде разработчиков и веб-мастеру сайта, так как они могут помочь в дальнейшем. Или же, если новый сайт уже в индексе поисковой системы, использовать поиск по сайту, чем выше документ в серпе, тем он релевантнее.

2.4 Улучшение производительности сайта

Этот шаг необходим, когда изменяются параметры среды или платформы (операционная система, язык программирования и т.п.). Часто случается, что новая CMS отлично работает и управляет содержимым сайта, но плохо сказывается на его производительности. Поэтому крайне важно выполнить тесты до запуска нового движка. Если производительность сайта ухудшается, то это может сказаться на его индексации.  К сожалению, автор рассматривает только Pingdom, тогда как отличными возможностями тестирования обладает Visual Studio.

Pingdom Tools Summary

Речь пойдет о плагине Pingdom.

Самое интересное появляется на вкладке «Основная информация», а также на вкладке «Анализ страницы». Экспорт данных, или даже просто получить скриншот страницы может быть полезен потом. Было бы неплохо провести тест производительности на некоторых наиболее типичных страницах, например, Категории, на странице продукта, а также на главной странице.

Ведите учет времени загрузки, а также размера страниц. Если время загрузки увеличивается, в то время как размер страницы остается таким же, значит что-то пошло не так.

Pingdom Page Analysis Tab

Вкладка Pingdom

Запуск Web Page Test также целесообразен, чтобы убедиться, что данные двух сервисов совпадают.

Эти же упражнения следует повторять на тестовом сервере, а также, когда сайт, наконец, выкладывается в сеть.  Любые серьезные проблемы с производительностью необходимо сообщать клиенту для их разрешения.

2.5 Измерение рейтинга (ранга) страниц

Этот шаг в идеале надо делать непосредственно перед размещением сайта. Сохранение подробного отчета, который содержит много ключевых слов, как это возможно, очень важно, для того, чтобы он мог быть использован в качестве ориентира для последующего сравнения. Помимо текущей позиции было бы целесообразно вести учет рейтинга адреса страницы тоже. Измерение рейтинга может быть сложным, тем не менее, надо следовать надежному методу. Global extension и SEO SERP два удобных расширения для Google Chrome для проверки нескольких ключевых слов семантического ядра. В первом случае вы можете увидеть, как рейтинг проявляется в разных странах и городах, в то время как последний быстрее и не хранит историю записей. Для большого количества ключевых слов есть платные автоматизированные сервисы, они позволяют сэкономить время. Некоторые из наиболее популярных коммерческих rank checkers включая Advanced Web Ranking, Web CEO и SEO Powersuite.

 

customize the func google extension

С помощью Глобальное расширение для Chrome вы можете смотреть результаты в разных странах, регионах и городах.

 

Этап 3: Сопоставление URL перенаправления

Во время этого этапа, должно быть выполнено соответствие URL-адресов между старым и новым сайтов. Для тех страниц, где URL остается таким же, нет ничего страшного, при условии, что размер контента на новой странице не был существенно изменен или уменьшен. Эта работа требует большого внимания, иначе все может пойти не так. В зависимости от размера проекта процесс переноса URL можно сделать вручную, и это может занять много времени, или выполнить автоматически для ускорения процесса. Однако, экономия на времени не должна влиять на качество работы.

Даже если нет никакого волшебного рецепта, основным принципом является то, что все уникальные, полезные и достоверные страницы (URL) старого сайта должны перенаправлять на страницы с таким же или очень актуальным содержанием на новом сайте, используя 301 редирект. Всегда убеждайтесь, что перенаправления реализованы с использованием 301 редиректа (постоянное перенаправление), который ведет со старой на новую страницу (сайт). Использование 302 (временного) перенаправления не рекомендуется, поскольку поисковые системы относятся к ним непоследовательно (не передают вес) и в большинстве случаев не проходят по ссылке, часто это приводит к резкому падению рейтинга.

Стоит подчеркнуть, что страницы с высоким трафиком требуют особого внимания, но суть в том, что каждый URL важен. Перенеся только часть адресов, вы можете поставить под угрозу авторитет нового домена в целом, так как он может показаться поисковым системам более слабым доменом.

 

Процесс переноса URL (шаг за шагом)

  1. Удалите все старые URL-адреса, которые были определены и сохранены в файлах CSV ранее (на этапе 2) в новую таблицу (назовем ее SpreadSheet1).
  2. Удалить все повторяющиеся URL с помощью Excel.
  3. Заполните заголовки страниц, используя SEO инструмент для Excel.
  4. Использование SEO для Excel, проверить заголовки ответа сервера. Все 404 страницы должны быть в другой вкладке, от всех остальных адресов с 200 ответом сервера.
  5. В новой электронной таблице Excel (назовем её SpreadSheet2) снять все URL-адреса нового сайта (с использованием приложений пауков, о которых писали выше).
  6. Извлеките из заголовков все эти URL-адреса, как в шаге 3.
  7. С помощью функции VLOOKUP Excel, найдите совпадающие URL-адреса между двумя таблицами
  8. Совпадающие URL (если таковые имеются) должны быть удалены из SpreadSheet1, так как они уже существуют на новом сайте и не должны быть перенаправлены.
  9. 404 страниц, которые были перемещены в отдельную таблицу в пункте 4, должны быть оценены на потенциальный трафик. Есть несколько способов, чтобы сделать эту оценку, но самыми надежными из них являются:
    • SEO Moz API (например, с помощью удобного расширения для Excel SEO Moz Free API)
    • Majestic SEO API
  10. В зависимости от того, сколько «вкусных» URL было определено на предыдущем этапе, разумную часть из них нужно добавить ​​в Spreadsheet1.
  11. В идеале, все остальные ссылки в SpreadSheet1 должны быть перенаправлены с использованием 301. Новый столбец (например, URL назначения) должен быть добавлен в SpreadSheet1 и заполняется адресами из нового сайта. В зависимости от количества адресов, которые необходимо сопоставить, это можно сделать:
    • Вручную глядя на контент по старому URL, эквивалентная страница на новом сайте должна быть найдена и адрес быть добавлен в столбец URL назначения.
      1. Если нет идентичных страниц, то можно найти наиболее релевантную (например, аналогичной странице продукта, родительской странице и т.д.).
      2. Если страница не имеет содержания достойного внимания в заголовке (если они известны или еще в кэше Google) и/или URL из ключевых слов, которые должны дать вам понять о своем предыдущей содержание. Тогда попытайтесь найти соответствующие страницы на новом сайте, которые отнесете к URL.
      3. Если нет содержания, нет ключевых слов в URL и нет описательного заголовка страницы, то постарайтесь выяснить у владельцев сайта для чего раньше использовались эти адреса.
    • Автоматически – написать скрипт, который отображает URL, на основе заголовков страниц, мета-описания или URL на основе набора шаблонов.
  12. Снова выполните поиск одинаковых записей в «старых URL» и удалите их.
  13. Там, где шаблоны могут быть идентифицированы, поиск по шаблону с использованием регулярных выражений всегда предпочтительнее, потому что это позволяет снизить нагрузку на веб-сервере. Итоговый результат с тысячами перенаправления не является идеальным и его следует избегать, особенно если есть лучшее решение.

 Этап 4: Новый сайт на тестовом сервере

Человеческий фактор есть везде. Всё идет по плану? Тестируйте! Это чрезвычайно важно. К сожалению, из-за переноса сайта ответственность ложится главным образом на плечи SEO, надо выполнить несколько проверок.

4.1 Блокируем доступ поисковым роботам

В первую очередь, что нужно сделать, чтобы убедиться, что тестовая площадка не доступна для любой поисковой системы. Есть несколько способов для достижения этой цели, но некоторые из них лучше, чем другие.

  • Заблокировать доступ в robots.txt (не рекомендуется)

Это не рекомендуется, потому что Google все еще ползает по сайту и возможна индексация URL (но не содержания). Эта реализация также имеет риск, если все файлы на тестовом сервере будут повторять файлы на рабочем. Следующие две строки кода будут ограничивать доступ поисковых систем к сайту:

User-Agent: *
Disallow: /

  • Добавить мета тэг robots noindex на все страницы (не рекомендуется)

Это рекомендуется Google как способ полностью запретить содержимое страницы от индексации.

<html>
<head>
<title> … </ title>
<meta name=»robots» content=»noindex»>
</ head >

Основная причина, почему это не рекомендуется, потому что это вызывает риск выкинуть все живые страницы из индекса поисковых систем (после переноса сайта забыть включить индексацию). К сожалению, внимание веб-разработчиков часто сосредоточено на других вещах, и когда новый сайт будет размещен, и пока вы заметите такую серьезную ​​ошибку, может быть поздно. Во многих случаях, удаляя noindex после того, как сайт размещен, можно прождать несколько дней или даже недель, чтобы дождаться возвращения в индекс. Как правило, чем крупнее бизнес, тем больше времени потребуется, и зависит от того сколько человек будут работать.

  • Защита паролем среды разработки (рекомендуется)

Это очень эффективное решение, но это может вызвать некоторые проблемы. Защищенный паролем веб-сайт не по зубам поисковым роботам, и к сожалению, многим программам спайдерам. К счастью, Xenu Links Sleuth может сканировать защищенные паролем сайты.

  • Разрешить доступ к определенным IP-адресам (рекомендуется)

Таким образом, веб-сервер разрешает получить доступ к конкретным внешним IP-адресам, например, SEO агентства. Доступ поисковых ботов ограничен, и нет риска индексации.

4.2 Подготовить файл robots.txt

Это один из основных моментов. Предоставляем доступ всем сканерам и указывает путь к XML карте сайта:

User-Agent: *
Allow: /
Sitemap: http://www.yoursite.com/sitemap.xml
User-Agent: Yandex
Allow: /
Sitemap: http://www.yoursite.com/sitemap.xml
host: example.com

Тем не менее, некоторые части сайта могут быть исключены, особенно если старый сайт содержит повторяющийся контент. Например, внутренний поиск, количество страниц, или страницы, генерирующие дубли страниц. Это отличная возможность поработать со старыми проблемами, поисковые боты будут обходить веб-сайт, возможно, более эффективно. Сохранить пропускную способность позволит разрешение для сканирования только тех адресов, которые достойны того, чтобы быть проиндексированы. Это означает, что страницы более глубокого уровня вложенности будут иметь больше шансов быть найденными и получить рейтинг.

4.3 Подготовка XML карты сайта

Используйте свой любимый инструмент создания XML карты сайта, в идеале содержащий только HTML-страницы. Xenu снова делает большую работу, потому что легко создаёт XML карты сайта, содержащие только HTML страниц. Для крупных веб-сайтов лучше делать несколько XML карт сайта для различных частей, это будет лучшим вариантом для индексации. XML карта должна быть проверена на неисправные ссылки, прежде чем сайт будет на хостинге.

 

Анализ карты сайта

Анализ карты сайта с помозь GWMT

Google Webmaster Tools позволяет пользователям протестировать XML карту до загрузки. Это именно то, что стоит делать для выявления ошибок.

Поиск ошибок в sitemap

4.4 Подготовка HTML карты сайта

Хотя XML карты сайта должно быть достаточно, чтобы поисковые системы знали обо всех URL на новом сайте, реализация HTML карты сайта может помочь поисковым роботам сделать глубокий обход сайта. Чем быстрее новый URL просканируется, тем лучше. Опять же, проверить HTML-карту сайта и неисправные ссылки можно используя Check My Links (Chrome) или Simple Links Counter (Firefox).

4.5 Исправление битых ссылок

Запустите спайдеров снова для поиска внутренних/внешних неработающих ссылок, никогда не доверяйте 302 редиректам, так же можете обнаружить другие ошибки.

4.6 Проверка 301 редиректа

Это самый важный шаг на этом этапе и, возможно, придется повторить его несколько раз. Все адреса (перенаправления) должны быть проверены. Если вы не имеете прямого доступа к серверу один из способ проверить 301 редирект с помощью Xenu Check URL List feature («Список функций»). Кроме того, можно использовать Screaming Frog таким же образом. Эти приложения будут сообщать 301-перенаправление на месте или нет, но если конечный URL-адрес является правильным. Это может быть сделано только в Excel с помощью функции VLOOKUP.

4.7 Оптимизация перенаправления

Если позволяет время, списки перенаправления должны быть оптимизированы для достижения оптимальной производительности. Поскольку перенаправления загружаются в память веб-сервера при запуске сервера, большое количество переадресаций может оказать негативное влияние на производительность. Кроме того, каждый раз, когда страница запрашивается, веб-сервер будет сравнить его со списком перенаправления. Таким образом, чем короче будет список, тем быстрее веб-сервер будет реагировать. Хотя такие проблемы производительности могут быть компенсированы за счет увеличения ресурсов веб-сервера, всегда рекомендуется разработать правила по шаблону с использованием регулярных выражений, которые могут охватывать сотни или даже тысячи возможных запросов.

4.8 Как убрать дубли страниц

Дублированное содержание должны быть найдено и убрано как можно раньше. Несколько общих случаев, когда возникают дубли контента, независимо от того, что происходило на старом сайте. Нормализация URL на данном этапе позволит оптимально сканировать сайт поисковым системам, видеть много уникальных страниц, как это возможно. Такие случаи включают в себя:

  • Каталоги с и без обратного слэша (например, этот URL должен перенаправлять на этот).
  • Главный файл (index) в каталогах (например, это URL-адрес должен перенаправлять на этот).
  • Чувствительность к регистру в URL. (Например, этот URL должен перенаправлять на это, или просто вернуть ошибку 404).
  • Различные протоколы. Наиболее типичным примером является ситуация, когда веб-сайт доступен через HTTP и HTTPS. Тем не менее, этот тип переадресации требует внимания, так как некоторые адреса, возможно, должны существовать только на HTTPS.
  • Доступность по IP адресу. Возможность получить доступ к сайту по его IP-адресу может вызвать дубли контента. (Например, этот URL должен перенаправлять на это).
  • URL-адреса на другой хост (домен) например, www.examplesite.com и examplesite.com (например, этот URL должен перенаправлять на это).
  • Внутренний поиск генерирует страницы под разными URL.
  • URL-адреса с добавлением параметров после символа «?».

Во всех приведенных выше примерах, плохая URL нормализация из-за дублей страниц, которые имеют негативное влияние на:

  • Полоса пропускания (поисковые роботы будут ползать по лишним страницам).
  • Индексация (поисковые системы пытаются удалить дубликаты страниц из индекса).
  • Эффективность ссылок (она будет разбавляться среди дублирующих страниц).

 

4.9 Robots.txt сайта и их мониторинг

Убедитесь, что URL-адрес нового сайта мониторится с использованием службы Uptime Robot. Каждый раз, когда сайт не работает по каким-либо причинам, робот уведомит по электронной почте, Twitter DM, или даже SMS. Еще один полезный сервис для мониторинга robots.txt Robotto. Каждый раз, когда файл robots.txt обновляется, вы получаете уведомление, что очень удобно.

 

Uptime Robot

Uptime Robot регистрирует все падения/включения сервера, время события

Этап 5: Новый сайт выходит в онлайн

Наконец, новый сайт в сети. В зависимости от авторитетности, эффективности ссылок и размера сайта Google должен начать сканирование сайта довольно быстро. Тем не менее, не ожидаем, что результаты поиска обновляться мгновенно. Новые страницы и URL будут обновляться в результатах поиска в течение времени, которое обычно длится от двух до четырех недель. Для страниц, которые ожидают индексации, может быть, стоит использовать бесплатный пинг-сервис, как Pingler.

5.1 Уведомить компанию Google с помощью Webmaster Tools

Если изменили доменное имя, Вы должны уведомить об этом Google через аккаунт Webmaster Tools старого сайта, как только новый сайт размещается на хостинге («Конфигурация сайта» -> «Изменение адреса»). Для того, чтобы сделать это, новый домен должен быть добавлен в панель и подтвержден. Если доменное имя остается прежним, Google найдет свой путь к новому URL, рано или поздно. Это в основном зависит от авторитета сайта и как часто Google посещает его. Было бы также очень хорошей идеей, загрузить XML карту сайта с помощью Webmaster Tools, процесс индексации можно контролировать (см. этап 6).

5.2 Ручные проверки

Независимо от того, насколько хорошо все прошло на тестовом сервере, надо провести несколько тестов и запустить приложения снова, это первое, что нужно сделать. Обратите внимание на:

  • Аномалии в файле robots.txt
  • Мета теги роботов noindex в разделе <head>
  • Мета тэги nofollow в исходном коде
  • 302 редиректы. 301 редирект должен быть использован вместо 302ых (не передают вес)
  • Проверьте Webmaster Tools на сообщения об ошибках
  • Проверьте XML картe сайта на наличие ошибок (например, неработающие ссылки, внутренний 301)
  • Проверка HTML карты сайта на подобные ошибки (например, с помощью Simple Links Counter или Check My Links)
  • Отсутствуют или не правильно перенесены заголовки
  • Отсутствуют или не правильно перенесены метаописания
  • Убедитесь, что 404 страницы возвращают 404 ответ сервера
  • Убедитесь, что код отслеживания Google Analytics присутствует на всех страницах и отслеживание идет правильно
  • Измерить производительность нового сайта и сравнить ее с аналогичным показателем предшествующей версии

5.3 Мониторинг ошибок при сканировании

Google Webmaster Tools, Bing Webmaster Tools и Яндекса.Вебмастер сообщают о всех ошибках при сканировании, отчет сканирования стоит проверять часто в течение первых дней или даже недель. Обратите внимание на обнаруженные ошибки и даты и всегда старайтесь выяснить, вызваны они новым сайтом или старым.

Ошибки при сканировании

5.4 Обновление наиболее ценных внешних ссылок

Из файлов CSV, созданный на шаге 3.2, выяснить какие внешние ссылки наиболее ценны (с помощью Majestic или данных OSE), а затем попытаться связаться с веб-мастерами этих сайтов с просьбой обновить ссылки. Прямые ссылки придают большую ценность, чем 301 редирект, и это трудоемкая задача, но в итоге она окупится. На новом сайте, проверьте входящие ссылки и в верхней вкладке страницы OSE попытайтесь определить:

  • Ссылки с сайтов с высоким авторитетом, которые используют редирект.
  • Высокий авторитет 404 страниц, которые должны быть перенаправлены таким образом, чтобы ссылка вела на сайт.

В следующем примере, не прямые и 301 внешние ссылки были загружены в CSV файл.

OSE

Обратите внимание на столбцы «301», имеющие значение «Да». Чем больше ссылок Вы обновите, тем больше эффективность будет от них.

301

Определяем наиболее авторитетные ссылки и связываемся с владельцами веб-сайтов с целью их обновления, чтобы они указывали на новый адрес

 

5.5 Сделать новые ссылки

Создание новых, свежих ссылок на страницы, категории и подкатегории страниц является хорошей идеей, потому что:

  1. С 301 редиректом некоторые ссылки могут потерять вес, поэтому новые связи могут компенсировать это.
  2. Они могут действовать как дополнительный путь для пауков поисковой системы при сканировании.

5.6 Ликвидация внутренних 301 редиректов

Хотя веб-мастера вполне заинтересованы в реализации 301 редиректа, они часто не проявляют одинаковый интерес к обновлению адресов, внутренние перенаправления не происходят. В зависимости от объема и частоты внутренних 301 редиректов, некоторые ссылки могут терять вес, в то время, как перенаправления будут добавлять дополнительную нагрузку на веб-сервер. Опять же, с целью выявления внутренних 301 редиректов Xenu и Frog будут полезны.

Этап 6: Проводим измерения, смотрим на успехи

Как только новый сайт, наконец, начал жить, после всей предыдущей напряженной работы необходимо контролировать процесс. Может быть хорошей идеей, мониторинг рейтинга и индексации на еженедельной основе, но в целом выводы должны быть сделаны не ранее, чем через 3-4 недели. Независимо от того, насколько хорош или плох рейтинг и трафик, нужно быть терпеливым. Глубокое сканирование может занять некоторое время, в зависимости от размера проекта, архитектуры и внутренних ссылок. Вещи, на которые будем смотреть:

  • Индексация. Отправленные и проиндексированные адреса в отчете Инструментов для веб-мастеров (см. ниже)
  • Ранжирование (позиции). Как правило, возвращается через 1-3 неделю, и первоначально они могут упасть. В конце концов, они должны восстановиться примерно в тех же позициях, которые они ранее занимали.
  • Open site explorer metrics. Хотя данные не обновляются ежедневно, стоит обратить внимание на цифры Domain Authority, Page Authority и MozRank на ежемесячной основе. В идеале данные должны быть как можно ближе к старому сайту в течение нескольких месяцев. Если нет, то это не очень хороший показатель, и вы, возможно, потеряли часть ссылок на этом пути.
  • Google кэш. Проверьте дату страниц из кэша, например, для домашней страницы, страницы категорий, страницы продукта.
  • Производительность сайта в Инструментах для веб-мастеров. Это может занять несколько недель, пока не обновятся результаты, но это очень полезный инструмент, чтобы узнать, как Google воспринимает производительность сайта до и после переноса.
Аномалия при переносе сайта

Проверка работы сайта в Webmaster Tools. Аномалия при переносе сайта

 

Google Webmaster Tools

Индексацию веб-страниц, изображений и видео можно наблюдать в Google Webmaster Tools

 Автор: Modesto Siotos

Источник: SEOmoz

Перевод: 1NF.RU