Поисковики в интернете.
Поисковики (поисковые системы) - создаются и обеспечивают более удобный доступ пользователей сети к информационным ресурсам интернета.
С бурным развитием интернета, количество web-страниц в сети давно уже перевалило за миллиарды. Для удобства простых пользователей, которым очень легко заблудится в таком море информации были придуманны и созданны поисковые системы. Далее для краткости просто - поисковики.
С бурным развитием интернета, количество web-страниц в сети давно уже перевалило за миллиарды. Для удобства простых пользователей, которым очень легко заблудится в таком море информации были придуманны и созданны поисковые системы. Далее для краткости просто - поисковики.
На самом деле поисковики действительно можно назвать целыми системами, состоящими из набора различных инструментов и программ. Об основных поисковиках русскоязычного интернета, и о их принципах работы пойдёт речь в этой статье.
Из чего состоят поисковики?
Поисковики состоят из следующих основных компонентов:
- Spider (паук) - специальная программа которая похожа на браузер и занимается скачиванием в базу данных поисковика найденные краулером новые сайты и странички в интернете. Так как Spider - это по своей сути поисковый робот, то естественно он «видит» только HTML код страницы. Без графики, баннеров, скриптов и т.п.
Поэтому на поисковую оптимизацию большое количество скриптов, анимации не только не влияет, но даже в некоторых случаях ухудшает её. Например, меню сайта написанное только при помощи скриптов, для поискового робота просто не существует, и он не найдёт другие страницы вашего сайта если меню не будет продублировано обычными ссылками. К тому же поисковики будут дольше индексировать ваш сайт, если HTML код его страниц заграмождён различными скриптами.
- Crawler (путешествующий» паук) - специальная программа, которая в автоматическом режиме осуществляет поиск новых сайтов и страниц в интернете. Основная его задача, обнаружение еще неизвестных поисковой системе документов в интернете.
Crawler использует для этого уже известные сайты и переходя по имеющимся на них ссылкам. Поэтому если вы сделали свой сайт, то пока на него не существует ссылок с других источников, ваш новый сайт будет невидим для поисковиков.
Некоторые поисковики используют вместо Spider и Crawler одну программу, которая сразу и находит и скачивает информацию.
- Indexer (индексатор) - эта программа анализирует скачанные страницы на предмет их соответствия различным поисковым запросам. Полный алгоритм работы этой программы не знает ни кто. К тому же он периодически может меняться. Но общий принцип работы у всех поисковиков примерно одинаковый.
- Database (база данных) - в базе хранятся все найденные и скачанные поисковыми роботами страницы сайтов. Некоторые поисковики используют общую базу данных.
- Web server (сам сайт поисковика) - то, что мы все наблюдаем в окошке своего браузера, когда вводим поисковый запрос в строку поиска. Отвечает за выдачу результатов поиска.
Как работают поисковики?
Поиск нужной информации в поисковиках происходит по ключевому слову, или словосочетанию, которые больше всего соответствуют той теме, информацию по которой необходимо найти. Именно эти слова или словосочетания вбиваются пользователями интернета в строку поиска.
Для этой цели, системы поиска (поисковики) применяют набор различных программ, выполняющих такие функции как:
- поиск сайтов;
- их классификация по соответствию тому или иному запросу;
- ранжирование сайтов по их качеству;
… и многое другое.
Разные поисковики могут использовать различный алгоритм действия этих программ и по разному распределять их функции. Но принцип действия у них у всех примерно одинаковый.Весь процесс работы поисковика, сбора обработки и выдачи информации примерно выглядит так:
Поисковый робот (паук) «бродит» по виртуальному пространству отыскивая по ссылкам новые сайты и новые страницы старых сайтов, и заносит их адреса в базу данных. Потом другой робот скачивает всё текстовое содержание этих страниц, и то же отправляет их в базу. Как я уже писал некоторые поисковики для этой цели используют одну программу, которая и находит и скачивает новую информацию.
В базе страницы хранятся и ждут когда их проиндексирует другая программа. После чего составляются каталоги с адресами и кратким описанием этих страниц. Уже оттуда поисковики выдают адреса страниц в порядке степени их соответствия каждому поисковому запросу пользователя.
Время за которое поисковики успевают найти новый сайт, проанализировать его и начать выдавать по поисковым запросам, примерно составляет от нескольких недель до нескольких месяцев.
Конечно же описанная здесь мною схема работы поисковиков примерная и очень упрощённая. На самом деле всё намного сложнее. Одни роботы (пауки) ищут только абсолютно новые страницы, другие только проверяют уже проиндексированные страницы на предмет изменений в них и т.д.
Особо углубляться не вижу смысла потому что каждые поисковики работают немного по разному. Например, недавно я нашел в интернете информацию о том что поисковик Google вновь созданные сайты, в течении примерно полугода хранит в специальной базе и начинает выдавать их в результаты поиска, только по истечении этого срока, который точно даже ни кто и не знает. Это правило правда распространяется только на англоязычные сайты. Русскоязычные сайты Google индексирует быстрее всех.
Вообще создатели и разработчики поисковых программ и систем хранят алгоритм их работы и критерии отбора сайта в тайне, и периодически меняют их Узнать эти критерии можно только примерно и только косвенным путём, методом тестирования сайтов.
Основные поисковики рунета.
Ниже перечислю в порядке убывания основные поисковики русскоязычного интернета, и сделаю их краткое описание.
Поисковик Яндекс. (Yandex)
Поисковик Яндекс (Yandex) - прочно занимает в русскоязычном секторе интернета лидирующее первое место. В разных источниках указывается немного по разному, но в среднем около 50-60% пользователей русскоязычного интернета предпочитают пользоваться услугами Яндекс.
Поисковик Гугл. (Google)
Поисковик Гугл (Google) - является лидером в зарубежном интернете но в русскоязычном секторе занимает второе, после Яндекса место. Примерно 20-25% пользователей в рунете прибегают к услугам поисковой системы Гугл (Google). Отличается тем, что быстрее всех поисковиков индексирует созданные сайты, и уже примерно через пару недель после создания сайта его можно наблюдать в списке выдачи по поисковым запросам. При условии конечно же, достаточного качества вновь созданного сайта.
Поисковик Рамблер. (Rambler)
Поисковик Рамблер (Rambler) - занимает третье место, хотя некоторые источники отдают ему второе. Однако большинство источников информации сходятся на том, что 10-15% пользователей используют для поиска эту систему. Рамблер выделяется совершенно отличным от других поисковиков алгоритмом индексации и ранжирования страниц и сайтов в интернете.
Соответственно, страница попавшая в первую десятку по какому либо поисковому запросу на Рамблере, может в других поисковиках по этому же запросу не попасть и в первую тридцатку, и наоборот. Из этого так же следует, что при поиске необходимой вам информации Рамблер может вам выдать совершенно отличный от других поисковиков список сайтов по одинаковому запросу. Что в принципе для разнообразия неплохо.
Перечисленные выше поисковики являются основными в русскоязычном интернете. Все остальные: Yahoo, Aport, Mail.ru, KM.ru и другие, делят между собой оставшиеся примерно 10% пользователей.
Среди них можно выделить Mail.ru - набирающая популярность поисковая система. Говорят что этот поисковик использует алгоритм работы Google. Может быть по этой причине Mail.ru, то же очень быстро индексирует сайты.
Из чего состоят поисковики?
Поисковики состоят из следующих основных компонентов:
- Spider (паук) - специальная программа которая похожа на браузер и занимается скачиванием в базу данных поисковика найденные краулером новые сайты и странички в интернете. Так как Spider - это по своей сути поисковый робот, то естественно он «видит» только HTML код страницы. Без графики, баннеров, скриптов и т.п.
Поэтому на поисковую оптимизацию большое количество скриптов, анимации не только не влияет, но даже в некоторых случаях ухудшает её. Например, меню сайта написанное только при помощи скриптов, для поискового робота просто не существует, и он не найдёт другие страницы вашего сайта если меню не будет продублировано обычными ссылками. К тому же поисковики будут дольше индексировать ваш сайт, если HTML код его страниц заграмождён различными скриптами.
- Crawler (путешествующий» паук) - специальная программа, которая в автоматическом режиме осуществляет поиск новых сайтов и страниц в интернете. Основная его задача, обнаружение еще неизвестных поисковой системе документов в интернете.
Crawler использует для этого уже известные сайты и переходя по имеющимся на них ссылкам. Поэтому если вы сделали свой сайт, то пока на него не существует ссылок с других источников, ваш новый сайт будет невидим для поисковиков.
Некоторые поисковики используют вместо Spider и Crawler одну программу, которая сразу и находит и скачивает информацию.
- Indexer (индексатор) - эта программа анализирует скачанные страницы на предмет их соответствия различным поисковым запросам. Полный алгоритм работы этой программы не знает ни кто. К тому же он периодически может меняться. Но общий принцип работы у всех поисковиков примерно одинаковый.
- Database (база данных) - в базе хранятся все найденные и скачанные поисковыми роботами страницы сайтов. Некоторые поисковики используют общую базу данных.
- Web server (сам сайт поисковика) - то, что мы все наблюдаем в окошке своего браузера, когда вводим поисковый запрос в строку поиска. Отвечает за выдачу результатов поиска.
Как работают поисковики?
Поиск нужной информации в поисковиках происходит по ключевому слову, или словосочетанию, которые больше всего соответствуют той теме, информацию по которой необходимо найти. Именно эти слова или словосочетания вбиваются пользователями интернета в строку поиска.
Для этой цели, системы поиска (поисковики) применяют набор различных программ, выполняющих такие функции как:
- поиск сайтов;
- их классификация по соответствию тому или иному запросу;
- ранжирование сайтов по их качеству;
… и многое другое.
Разные поисковики могут использовать различный алгоритм действия этих программ и по разному распределять их функции. Но принцип действия у них у всех примерно одинаковый.Весь процесс работы поисковика, сбора обработки и выдачи информации примерно выглядит так:
Поисковый робот (паук) «бродит» по виртуальному пространству отыскивая по ссылкам новые сайты и новые страницы старых сайтов, и заносит их адреса в базу данных. Потом другой робот скачивает всё текстовое содержание этих страниц, и то же отправляет их в базу. Как я уже писал некоторые поисковики для этой цели используют одну программу, которая и находит и скачивает новую информацию.
В базе страницы хранятся и ждут когда их проиндексирует другая программа. После чего составляются каталоги с адресами и кратким описанием этих страниц. Уже оттуда поисковики выдают адреса страниц в порядке степени их соответствия каждому поисковому запросу пользователя.
Время за которое поисковики успевают найти новый сайт, проанализировать его и начать выдавать по поисковым запросам, примерно составляет от нескольких недель до нескольких месяцев.
Конечно же описанная здесь мною схема работы поисковиков примерная и очень упрощённая. На самом деле всё намного сложнее. Одни роботы (пауки) ищут только абсолютно новые страницы, другие только проверяют уже проиндексированные страницы на предмет изменений в них и т.д.
Особо углубляться не вижу смысла потому что каждые поисковики работают немного по разному. Например, недавно я нашел в интернете информацию о том что поисковик Google вновь созданные сайты, в течении примерно полугода хранит в специальной базе и начинает выдавать их в результаты поиска, только по истечении этого срока, который точно даже ни кто и не знает. Это правило правда распространяется только на англоязычные сайты. Русскоязычные сайты Google индексирует быстрее всех.
Вообще создатели и разработчики поисковых программ и систем хранят алгоритм их работы и критерии отбора сайта в тайне, и периодически меняют их Узнать эти критерии можно только примерно и только косвенным путём, методом тестирования сайтов.
Основные поисковики рунета.
Ниже перечислю в порядке убывания основные поисковики русскоязычного интернета, и сделаю их краткое описание.
Поисковик Яндекс. (Yandex)
Поисковик Яндекс (Yandex) - прочно занимает в русскоязычном секторе интернета лидирующее первое место. В разных источниках указывается немного по разному, но в среднем около 50-60% пользователей русскоязычного интернета предпочитают пользоваться услугами Яндекс.
Поисковик Гугл. (Google)
Поисковик Гугл (Google) - является лидером в зарубежном интернете но в русскоязычном секторе занимает второе, после Яндекса место. Примерно 20-25% пользователей в рунете прибегают к услугам поисковой системы Гугл (Google). Отличается тем, что быстрее всех поисковиков индексирует созданные сайты, и уже примерно через пару недель после создания сайта его можно наблюдать в списке выдачи по поисковым запросам. При условии конечно же, достаточного качества вновь созданного сайта.
Поисковик Рамблер. (Rambler)
Поисковик Рамблер (Rambler) - занимает третье место, хотя некоторые источники отдают ему второе. Однако большинство источников информации сходятся на том, что 10-15% пользователей используют для поиска эту систему. Рамблер выделяется совершенно отличным от других поисковиков алгоритмом индексации и ранжирования страниц и сайтов в интернете.
Соответственно, страница попавшая в первую десятку по какому либо поисковому запросу на Рамблере, может в других поисковиках по этому же запросу не попасть и в первую тридцатку, и наоборот. Из этого так же следует, что при поиске необходимой вам информации Рамблер может вам выдать совершенно отличный от других поисковиков список сайтов по одинаковому запросу. Что в принципе для разнообразия неплохо.
Перечисленные выше поисковики являются основными в русскоязычном интернете. Все остальные: Yahoo, Aport, Mail.ru, KM.ru и другие, делят между собой оставшиеся примерно 10% пользователей.
Среди них можно выделить Mail.ru - набирающая популярность поисковая система. Говорят что этот поисковик использует алгоритм работы Google. Может быть по этой причине Mail.ru, то же очень быстро индексирует сайты.
