История поисковой оптимизации

Вебмастера и контент-провайдеры начали оптимизацию сайтов для поисковых систем в середине 1990-х годов, в качестве первого поисковика использовались первые веб-каталоги. Изначально, всем веб-мастерам необходимо было представить адрес страницы, или URL, с различными поисковикам, которые направляли своего бота-паука для "сканирования" этой страницы, извлечения из нее ссылок на другие страние, и информация, которую возвращал робот, индексировалась. Этот процесс включал в себя загрузку ботом страницы в поисковую систему, и хранение её в поисковой системе на собственном сервере, где вторая программа, известная как индексатор, экспортировала различную информацию о странице, например, какие слова в ней содержатся и где они расположены, а также вес каких-либо конкретных слов, и все ссылки на странице, которые затем помещаются в планировщик для сканирования на более поздний срок.

Владельцы сайтов начали признавать ценность того, что их сайты высоко ранжировались и видны в результатах поисковой системы, что создает поле работы для черных и белых SEO-оптимизаторов. По мнению аналитика отрасли Дэнни Салливана, слова «поисковая оптимизация», вероятно, вошли в обиход в 1997 году. Ранние версии поисковых алгоритмов полагались на веб-мастеров, предоставляющих информацию, например в метатегах ключевых слов, или в индексных файлах, как например система ALIWEB. Мета-теги служили описанием для каждой страницы содержания. Но, использование мета-данных для индексирования страниц оказалось мало надежным, так как выбранные вебмастером ключевые слова в мета-теге могли быть неточным представлением фактического содержания сайта. Неточность, неполнота, и непоследовательность данных в мета-теге могла привести к нерелевантной выдаче. Веб-контентщики также манипулировали рядом атрибутов в HTML-коде страницы в попытке занять более высокое место в выдаче поисковых систем.

Опираясь в основном на такие факторы, как плотность ключевых слов, которые были под контролем веб-мастеров, ранние поисковики страдали от злоупотреблений и манипуляций рейтингом. Чтобы обеспечить лучшие результаты для своих пользователей, поисковые машины должны были приспособиться к выводу на страницах результатов наиболее релевантных результатов поиска, а не страниц, нафаршированных ключевыми словами недобросовестными веб-мастерам. Успех и популярность поисковой системы определяется ее способностью выводить наиболее релевантные результаты поиска с учетом всех особенностей, позволяя пользователям найти другие источники поиска в случае неверных результатов. Поисковики ответили разработкой более сложных алгоритмов ранжирования, принимая во внимание дополнительные факторы, которые являются более трудным для манипуляции со стороны вебмастеров.

Аспиранты Стэнфордского университета, Ларри Пейдж и Сергей Брин, разработали "BackRub", поисковую систему, которая опиралась на математический алгоритм, чтобы оценить важность веб-страниц. Число рассчитывалось с помощью алгоритма PageRank, который зависел от количества и силы входящих ссылок. PageRank оценивает вероятность, что та или иная страница будет достигнута веб-пользователями, которые случайно серфят в Интернете, а также переходят по ссылкам с одной страницы на другую. По сути, это означает, что некоторые ссылки важнее, чем другие, а более высокий PageRank страницы означает, что скорее всего, что страница будет достигнута путем случайного серфинга быстрее чем остальные.

Пейдж и Брин основали Google в 1998 году. Google привлек лояльных последователей среди растущего числа Интернет-пользователей, которые полюбили его простой дизайн. Внешние факторы ранжирования (такие, как PageRank и анализ гиперссылки), были предпочтительнее внутренних таких, как частота ключевых слов, мета Теги, структура сайта), для того, чтобы избежать различного рода манипуляций в поисковых системах, которые только рассматривали внутренние факторы для ранжирования страниц. Хотя PageRank было сложнее для игры, веб-мастера уже разработали инструменты, позволяющий создавать ссылки и влиять на алгоритмы поисковой системы, и эти методы доказали, применяя их для управления PageRank. Многие сайты сосредоточены на обмене, покупке и продаже ссылок, зачастую в массовом масштабе. Некоторые из этих схем, или бирж ссылок, спровоцировали создание тысяч сайтов с единственной целью спамерство с помощью ссылок В последние годы крупные поисковые системы начали в большей степени полагаться на таргетинг факторов, таких как возраст, пол , местоположение и историю поиска людей, и проводят исследования с целью дальнейшего уточнения результатов.

К 2004 году в поисковых системах был включен широкий круг факторов, не указанных алгоритмах ранжирования для уменьшения воздействия манипуляций ссылками. Google говорит, что ранжирует сайты, используюя более 200 различных факторов. В трех ведущих поисковых систем, Google, Yahoo и Microsoft 'ы Бинг, не раскрывают алгоритмы, которые они используют для ранжирования страниц. Известные оптимизаторы в поисковых системах, такие, как Ранд Fishkin, Барри Шварц, Аарона Уолл и Джилл Whalen, изучали различные подходы к поисковой оптимизации, и их мнения, опубликовали в интернет-форумах и блогах. SEO-практики также провели исследования патентов различных поисковых систем, чтобы разобраться в алгоритмах.

В 2007 году Google объявил о кампании по борьбе с платными ссылками, которые передавали PageRank. В 2009 году Google показал, что они приняли меры по смягчению последствий культа PageRank с использованием в NOFOLLOW атрибутов ссылки.