Как сделать свой поисковик или моё хождение по граблям. Как сделать свой поисковик


Поисковые технологии или в чем загвоздка написать свой поисковик / Хабр

Когда-то давно взбрела мне в голову идея: написать свой собственный поисковик. Было это очень давно, тогда я еще учился в ВУЗе, мало чего знал про технологии разработки больших проектов, зато отлично владел парой десятков языков программирования и протоколов, да и сайтов своих к тому времени было понаделано много.

Ну есть у меня тяга к монструозным проектам, да…

В то время про то, как они работают было известно мало. Статьи на английском и очень скудные. Некоторые мои знакомые, которые были тогда в курсе моих поисков, на основе нарытых и мной и ими документов и идей, в том числе тех, которые родились в процессе наших споров, сейчас делают неплохие курсы, придумывают новые технологии поиска, в общем, эта тема дала развитие довольно интересным работам. Эти работы привели в том числе к новым разработкам разных крупных компаний, в том числе Google, но я лично прямого отношения к этому не имею.

На данный момент у меня есть собственный, обучающийся поисковик от и до, со многими нюансами – подсчетом PR, сбором статистик-тематик, обучающейся функцией ранжирования, ноу хау в виде отрезания несущественного контента страницы типа меню и рекламы. Скорость индексации примерно полмиллиона страниц в сутки. Все это крутится на двух моих домашних серверах, и в данный момент я занимаюсь масштабированием системы на примерно 5 свободных серверов, к которым у меня есть доступ.

Здесь я в первый раз, публично, опишу то, что было сделано лично мной. Думаю, многим будет интересно как же работают Яндекс, Google и почти все мне известные поисковики изнутри.

Есть много задач при построении таких систем, которые почти нереально решить в общем случае, однако с помощью некоторых ухищрений, придумок и хорошего понимания как работает железячная часть Вашего компьютера можно серьезно упростить. Как пример – пересчет PR, который в случае нескольких десятков миллионов страниц уже невозможно поместить в самой большой оперативной памяти, особенно если Вы, как и я, жадны до информации, и хотите кроме 1 цифры хранить еще много полезностей. Другая задача – хранение и обновление индекса, как минимум двумерной базы данных, в которой конкретному слову сопоставляется список документов, на которых оно встречается.

Просто вдумайтесь, Google хранит, по одной из оценок, более 500 миллиардов страниц в индексе. Если бы каждое слово встречалось на 1 странице только 1 раз, и на хранение этого надо было 1 байт – что невозможно, т.к. надо хранить хотя бы id страницы – уже от 4 байт, так вот тогда объем индекса бы был 500гб. В реальности одно слово встречается на странице в среднем до 10 раз, объем информации на вхождение редко когда меньше 30-50 байт, весь индекс увеличивается в тысячи раз… Ну и как прикажите это хранить? А обновлять?

Ну вот, как это все устроено и работает, я буду рассказывать планомерно, так же как и про то как считать PR быстро и инкрементально, про то как хранить миллионы и миллиарды текстов страниц, их адреса и быстро искать по адресам, как организованы разные части моей базы данных, как инкрементально обновлять индекс на много сотен гигов, ну и наверное расскажу как сделать обучающийся алгоритм ранжирования.

На сегодня объем только индекса, по которому происходит поиск — 57Gb, увеличивается каждый день примерно на 1Gb. Объем сжатых текстов – 25Gb, ну и я храню кучу другой полезной инфы, объем которой очень трудно посчитать из-за ее обилия.

Вот полный список статей которые относятся к моему проекту и описаны здесь: 0. Поисковые технологии или в чем загвоздка написать свой поисковик 1. С чего начинается поисковик, или несколько мыслей про crawler 2. Общие слова про устройство поиска в Web 3. Dataflow работы поисковой машины 4. Про удаление малозначимых частей страниц при индексации сайта 5. Методы оптимизации производительности приложения при работе с РБД 6. Немного про проектирование баз данных для поисковой машины 7. AVL деревья и широта их применения 8. Работа с URL и их хранение 9. Построение индекса для поисковой машины

habr.com

Как сделать свой поисковик или моё хождение по граблям

Многие новички в сфере «вебмастеринга» (назовём это так) в какой-то момент обретают «гениальную» идею, «а не замутить мне свой поисковик?! продавать рекламу, рубить бабло!». Признаюсь, было и у меня такое… 3 раза.

Поисковик по рунету — убийца Яндекса

Насобирал ссылок по тематике, стал изучать, перелопатил всё, что обнаружил по Апорту и Яндексу. Скачал несколько бесплатных движков с пауками, но «знаний» не хватило, даже чтоб их просто поставить. Голь на выдумки хитра: взял скрипт каталога (без бд, на txt файлах), с поиском по базе сайтов и стал наполнять его сайтами: вначале сам, потом нанял модератора. И что бы вы думали? Разумеется, затея провалилась, но появились идеи, которые вылились поисковик по книгам, о нём — далее.

Поисковик по книгам

Покопавшись в немногичисленных партнёрках рунета (2004-2007 года примерно), взял две книжных: Колибри и Болеро, причина выбора проста — в обоих случаях из партнёрского интерфейса можно было выкачать базы данных с товарами этих магазинов. Информации в базах было мало: название книги, автор, адрес на сайте магазина. Но этого хватило чтобы создать каталог+поисковик. Причём по книгам выдавались и аннотации (парсились в режиме реального времени с сайтов магазинов, да, о кэшировании я тогда и не подозревал, равно как и не пользовался автоматическим редиректом…).

Книжный поисковик успехом не пользовался, но каталог приносил тоны нефти трафика с Яндекса, соответственно продажи книг. Большинство покупок были с доставкой почтой, наложенным платежом, поэтому поступлений на счёт ждать приходилось месяцами… Почта России.

Убийца Гугла

Основное направление моей работы было в «буржунете», в частности работал с PPC, преимущественно с Юмаксом, а посему в качестве «движка» для следующего поисковика выбрал их фид. Вооружившись php (а точнее переделав парсеры книжных каталогов), научился добавлять к выдаче дополнительную информацию соответственно запросу пользователя, картинки и т.д (прям как сейчас начал делать Гугл🙂 ).

И тут случилось прекрасное. Поисковики: Мсн (ныне — Бинг) и Гугл начали индексировать результаты выдачи «моего поисковика» и радовать трафиком, который в свою очередь щедро оплачивался Юмаксом.

И пока коллеги клепали доры, я клепал такие поисковики: разные дизы, разные источники для дополнительной информации. Зачем делать доры и перенаправлять трафик на фид, рискуя попасть в бан из-за редиректа, когда можно делать, например, тематические мини-сайты, без редиректа? Белые дорвеи, кажется так сейчас их принято назвать.  Идилия длилась не долго — меньше года. Смены алгоритмов в начале на мсн, потом и у Гугла похоронили подобные решения (точнее, сделали их куда менее эффективными).

Где-то во время краха «системы» в мсн, я «с горя» взял один из забанненых доменов — adne.info и перенёс на него блог, который ранее вёл то на каком-то форуме, то в рамках сайта рекламного агентства.

3 раза! 3 раза наступал на похожие грабли: некоторые люди не учатся даже на собственных ошибках:)

Подпишитесь на нашу рассылку и получайте то, что не вошло в блог, анонсы и тематические подборки + несколько руководств (сбор подписчиков и продажа информации).

adne.info

Как создать альтернативную поисковую систему

Опубликовано января 16, 2008 в рубрике Поисковые системы

Сразу оговорюсь, что, возможно, я не совсем правильно назвал эту статью и надо было бы назвать ее, к примеру, «Создание своей поисковой системы». Быть может, у читателя сейчас промелькнула мысль: к чему бы такое замечание в самом начале статьи? Но давайте не будем забегать вперед, скоро все встанет на свои места...

Итак, поисковая система. Для чего она нужна? Думаю, это не секрет для любого пользователя сети. Поисковая система позволяет найти то, что мы ищем в интернете. Другими словами, она для нас — источник информации. В принципе, поисковой системе все равно, какую информацию искать, она будет искать все, что ей скажут. Она лишена человеческого разума и ее возможности ограничены программными и техническими средствами. На этом, думаю, стоит остановиться отдельно.

Предположим, у нас на столе лежат три книги: учебник по химии, кулинарная книга и каталог магазинов. В этих книгах нам нужно найти информацию о бургундском вине. Как бы поступил в этом случае человек, а как поисковая машина? Наверняка человек бы подумал, что конкретно его интересует в вине — химический состав или в каком магазине оно продается. Логично предположить, что поиск стал бы продолжаться не во всех трех книгах, а в двух или вовсе в одной. Иными словами, человек бы уточнил свой запрос и отсеял ненужное с помощью своего разума.

В аналогичном случае поисковой машине пришлось бы намного сложнее, она ведь не может отсеивать ненужное «налету». Алгоритм ее действий выглядел бы примерно так: 1) поиск во всех трех книгах 2) сортировка результатов по точностью совпадения с поисковой фразой. Думается, что такой поиск выдавал бы не самые лучшие результаты, поскольку слово «замок» для поисковой системы — это и «замок», и «замок» тоже. Таким образом, поисковая машина должна уметь не только искать определенные фразы в своей базе, но и хоть немного учитывать морфологию языка и многое другое. Итак, мы подошли к важному выводу. Хорошая поисковая система — это сложный механизм, требующий значительных аппаратных ресурсов.

Соответственно, создать поисковую систему, альтернативную общеизвестным монстрам поиска сложно, долго и затратно. Те же Google и Яндекс потратили огромное количество денег и уйму времени на то, чтобы сейчас мы могли пользоваться их услугами.

Возможно кто-то спросит: неужели невозможно создать небольшую поисковую систему, которая бы искала в определенной сфере или строго по определенным сайтам? Конечно же, решение есть. Тут существует, на мой взгляд, два варианта:1) использовать как платные, так и бесплатные скрипты поиска 2) использовать специальные сервисы Google, Яндекс, Yahoo и т.д.

В качестве реализации первого варианта можно попробовать:

1) бесплатный скрипт Sphider, написанный на php. Неплохо поддерживает кириллицу (если изменить в коде одну строчку), есть свой индексирующий бот. Из админ-панели можно управлять системой, индексировать, переиндексировать страницы, удалять из индекса, устанавливать глубину индексирования. Интерфейс легко настраивается с помощью шаблонов. Скрипт использует базу данных mysql.2) PhpDig также бесплатен, использует базу Mysql и не менее известен, чем Sphider. Однако, как мне показалось, он уступает в скорости последнему.3) RiSearch написан на Perl + PHP и не использует Mysql-базу данных, что является минусом. Есть проблемы с релевантностью предоставляемых данных.4) платный скрипт MnogoSearch. Обладает огромными возможностями, в том числе поддержкой различных баз данных, командной строки. Существуют различные версии для Unix- и Windows-серверов, а также различные версии в зависимости от типа используемой базы. Lite-версия стоит 99$.

Второй вариант — использовать бесплатный сервис Google Coop, который позволяет создать свою систему поиска по заданным критериям, используя всю мощь Google или сервис Яндекс.XML, который также позволяет использовать Яндекс при создании своего поисковика. Только это уже не совсем альтернативная посковая система, а своеобразная надстройка.

Кстати, есть также проект Flexum, который позволяет создать пользовательский поиск на платной или бесплатной основе.

Таким образом, создать свою полноценную поисковую систему можно, однако она будет довольно слабенькой. Зато создать поиск, скажем, по сайтам определенной тематики, проще простого. Что называется, Google Coop в помощь.Подводя итоги, хочется сказать, что есть еще интересные по-своему проекты. Стоит лишь зайти на http://altsearchengines.com и убедиться в этом самому.

Комментарии

www.ravadir.ru

Как сделать популярный сайт. Выпуск 207. "Как создать свой поисковик".

Как сделать популярный сайт. Выпуск 207."Как создать свой поисковик".

Уважаемые коллеги!

В нашем последнем выпуске...

Операционная система windows 8.1. Первые впечатления пользователя. :: http://kocby.ru/post/webmaster/text/issue206.html

Мы поверхностно познакомились с опперационной системой windows 8.1, с типичными первыми впечатлениями пользователя. В том выпуске мы узнали, как правильно нажимать кнопку "Пуск", очистить экран, не заблудиться в дебрях, установить удобный и привычный способ переключения языков и т.п.

Сегодня мы затронем слегка такую интересную тему "Как создать свой поисковик".

Кто-то, может быть, возразит - зачем, мол, тратить силы на такую сложную задачу, когда у нас есть такие монстры, как Гугль и Яндекс, которые найдут что угодно и весьма быстро.

На это есть у меня целых 3 контрвозражения.

Во-первых, помимо, Гугля и Яндекса, есть еще несколько десятков разных поисковиков второго и третьего эшелона, которые вполне успешно были созданы, а некоторые даже весьма прилично работают.

Люди старались, тратили силы, время, энергию, деньги, значит, видели в этом какой-то смысл.

Во-вторых, каждый программист за свою жизнь должен написать свой "Тетрис", создать свою поисковую систему, а также придумать надежную защиту от взлома сайта "Пентагона". Кто-то тут подумал: "не придумать защиту, а взломать его к черту!" Но так будет не совсем политкорректно, а санкции и так уже замучали.

В третьих, написание своего поисковика, это такая задача, которая очень удобно масштабируется, удачно делится на подзадачи. Так, простую пробную версию можно не спеша создать за пару дней, а затем уже развивать ее до более серьезного проекта. Труд не пропадет зря. Даже если далее развивать проект не будет желания/потребности, первичная версия вполне подойдет и будет работать на каких-то узких локальных участках.

Три источника, три составных части любого поисковика.

Первая часть - это хранилище данных, в котором хранится собственно информация, по которой осуществляется поиск.Вторая часть - это Spider, т.е. паук, который ползает там и сям, захватывая информацию и помещая ее в хранилище.Третья часть - это функционал интерфейса, который реагируя на запросы пользователя, выдает наиболее подходящую информацию из хранилища.

Помощь в создании простейшего хранилища нам окажет сам Великий Гугль следующим образом.

Как вы, конечно, знаете, Гугль рекомендует держать на сайте специальный служебный файл sitemap.xml, который помогает Гуглю индексировать сайт. Конечно, это есть большой вопрос, насколько сильно наличие этого файла помогает сайту подняться в поисковых рейтингах. Но сейчас мы этот диспут вести не будем, просто сделаем вывод, что хуже от наличия этого файла, наверное, не станет, поэтому этот файл следует создать, держать на сайте и поддерживать его в актуальном состоянии.

Далее, будем считать, что у нас есть файл sitemap.xml, а также софт к нему, который позволяет поддерживать его содержание в актуальном состоянии.

Структура записи файла sitemap.xml примерно такая:

... <url> <loc>http://usa2017.com/</loc> <lastmod>2014-12-13GMT11:45:31+00:00</lastmod> <changefreq>monthly</changefreq> <priority>1.0</priority> </url> ... Немного развив это структуру создаем страничку для БД MySQL - CREATE TABLE IF NOT EXISTS `urls` ( `ID` int(10) unsigned NOT NULL AUTO_INCREMENT, `loc` varchar(128) NOT NULL, `lastmod` varchar(32) NOT NULL, `changefreq` varchar(16) NOT NULL, `priority` float(6,2) NOT NULL, `title` varchar(192) NOT NULL, `description` text NOT NULL, `keywords` text NOT NULL, `content` text NOT NULL, `modirec` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`ID`), UNIQUE KEY `loc` (`loc`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; Опишим структуру этой таблицы, чтобы совсем все стало понятным.

`ID` - уникальный идентификатор записи.`loc` - адрес странички в Интернете, очевидно, это сокращение от слова location.`lastmod` - дата и время последнего изменения`changefreq` - частота изменения странички`priority` - рейтинг важности странички, может иметь значения от 0.0 (совсем не важная) до 1.0 (очень важная)`title` - сюда запишем то, что найдем в теге title на страничке`description` - сюда запишем то, что найдем в теге description на страничке`keywords` - сюда запишем то, что найдем в теге keywords на страничке`content` - сюда запишем то, что найдем в теге body (после очистки от тегов!)`modirec` - дата и время последнего изменения записи

Теперь пишем программку, которая перетаскивает информацию из sitemap.xml в таблицу `urls`, по ходу захватывая информацию для полей `title`, `description`, `keywords`, `content` на соответствующих страничках.

Кстати, тут я так увлекся, что, заодно, "до кучи", написал также программку для решения обратной задачи: создать файл sitemap.xml на основании информации в таблице `urls`.

Механизм поиска для пользователя очень простой, суть его заключается в следующем SQL-коде:

$select_str = "SELECT `loc`, `priority`, `title`, `description` FROM `urls` WHERE (`title` LIKE ? OR `description` LIKE ? OR `keywords` LIKE ? OR `content` LIKE ?) GROUP BY `priority` DESC LIMIT " . MAX_RECS_TO_LOAD .";"; Пояснение: там, где знак ? осуществляется собственно подстановка поискового запроса пользователя с обрамленияем слева и справа знаками %.

Попробовать, как работает поиск можно здесь:http://usa2017.com/search/ Примечание. Здесь и далее я использую для тестирования функционала поиска свой личный сайт usa2017.com на английском языке.

Небольшая инструкция для пользователя поисковика:

Введите поисковую строку на английском языке (в примере contact lenses, т.е. "контактные линзы") и нажмите кнопку "Submit".

Введите поисковую строку на английском языке и нажмите кнопку "Submit".Введите поисковую строку на английском языке и нажмите кнопку "Submit".

В результате кнопка "Submit" должна принять статус "неактивна", чтобы избежать случайных многократных нажатий, а ниже должны отобразиться результаты поиска.

Отображение результаты поиска.Отображение результаты поиска.

Для того, чтобы сделать новый поиск, следует починить кнопку "Submit" путем нажатия "кнопки ремонта" (обведена красным цветом ↑)

Вроде бы функционал работает вполне прилично для начинающего создателя поисковых машин.

Этот же функционал вполне можно использовать и для сайтов на русском языке, только придется напрячься и уделить особое внимание кодировкам.

Функционал легко расширяем, очень гибок, его можно использовать как для одного сайта, так и для нескольких.

Примитивный алгоритм ранжирования можно усилить разными способами. Например, придумать коэффициенты значимости, скажем, для `title` - 10, `description` - 5, `keywords` - 2, `content` - 1 и т.п. Можно также считать количество вхождений строк, можно дробить поисковую строку на слова и искать по словам... Короче, тут бесконечное поле деятельности для пытливого ума.

Стоит только иметь ввиду, чем сложнее алгоритм, тем выше нагрузка на сервер, а вот будет ли сложный алгоритм работать лучше простого - большой вопрос.

Вот и все, что хотелось рассказать о создании поисковика. Желаю успеха на данном поприще и создать новый Гугль или Яндекс.

Спасибо за внимание.

~~~~~ Обратная связь ~~~~~

У вас есть два способа реагирования на данный выпуск.

На форуме...

"Как сделать популярный сайт" на форуме :: http://kocby.ru/b/viewforum.php?f=5

Написать лично мне.

Данные для связи на контактной страничке :: http://kocby.ru/contact.html

Ниже дан мой работающий емейл, но доставка через форму на указанном урле надежнее, ее вероятность является почти 100%.

### Конец выпуска.

###

kocby.ru

Как сделать свой поисковик - Интернет - FAQStorage.ru

Самыми популярными сайтами в сети интернет являются поисковые системы. С их помощью всегда можно найти нужную вам информацию. Давайте попробуем создать свой собственный поисковик по той схеме, по которой работали самые первые поисковики. В последствии вы сможете доработать свой поисковик и превратить его в полноценный и современный. Это зависит от ваших умений и готовности. Итак, ниже приведена инструкция по созданию мета-поисковика.

Инструкция

Разделите свой поисковик на три части. Первая часть – это интерфейс будущего веб-поисковика, который пишется на языке PHP. Вторая часть – это индекс (база данных My SQL), в которой хранится вся информация о страницах. Третья часть – это поисковой робот, который будет индексировать веб-страницы и заносить их данные в индекс, его делают на языке Delphi.

Начнём создавать интерфейс. Создайте файл index.php. Для этого разделите страницу на две части, используя таблицы. Первая часть – поисковая форма, вторая – результаты поиска. В верхней части создайте форму, которая будет посылать информацию файлу index.php методом get. На ней будут расположены три элемента – текстовое поле и ещё две кнопки. Одна кнопка нужна для отправки запроса, вторая – для очистки поля (эта кнопка не обязательна).

 

Дайте текстовому полю имя «search», первой кнопке (той, которая отправляет запрос) имя «Искать». Имя самой формы оставьте, как есть – «form1».

Результаты будут выведены в нижней части таблицы при помощи php, поэтому откройте тег <?php и начинайте писать код.

Подключите конфигурационный файл, чтобы подключиться к базе данных.

include "config.php";

Проверьте, была ли нажата кнопка «Искать».

if (isset($_GET['button'])) {код, выполняемый в том случае, если кнопка «Искать» нажата} else {код, выполняемый в том случае, если кнопка «Искать» не нажата}

Если кнопка нажата, то тогда проверьте наличие поискового запроса.if (isset($_GET['search'])){$search=$_GET['search'];}

Если поисковой запрос есть, то присвойте переменной $search текст поискового запроса.

Проверьте запрос, чтобы он не был пустым и не был короче трёх символов.

if ($search!='' && strlen($search)>2){ код поиска по базе данных } else {echo "Задан пустой поисковый запрос или строка поиска содержит менее 3 символов.";}В том случае, если поисковой запрос будет удовлетворять верхнему условию, запустите сам поисковой скрипт.

Запустите цикл, который выведет результаты поиска через printf.На этом всё. Если вы обладаете необходимыми знаниями, то вы вполне можете добавить в поисковик нужные вам элементы и составить свой алгоритм его создания.

 

 

Совет 2: Как создать поисковик на сайте

Популярные web-сайты привлекают пользователей не только оригинальным дизайном, интересным тематическим содержимым, но и функциональными сервисами. Люди идут в интернет за информацией, ежедневно производя поиск интересующих их материалов. Поэтому имеет смысл создать поисковик на сайте, предоставляя пользователям возможность быстро находить то, что им нужно на отобранных вручную ресурсах.

1_52552c6f3ca5852552c6f3ca97.jpg

Вам понадобится

  • - браузер;
  • - подключение к интернету;
  • - права на редактирование содержимого или шаблонов страниц сайта.

Инструкция

Начните создание системы пользовательского поиска на основе технологий Google. Войдите в панель сервиса управления системами поиска. В браузере откройте страницу с адресом http://www.google.ru/cse/. Используйте для работы с системой свой аккаунт Google. Кликните по кнопке "Создать систему польз. поиска".Если вы не авторизованы в текущий момент, то кликните по ссылке «Войти». Введите данные от аккаунта в форму и нажмите кнопку «Войти». Если у вас не имеется общего аккаунта Google, создайте его, кликнув по ссылке «Создайте аккаунт прямо сейчас» и выполнив предложенные действия.

Введите основные параметры создаваемой системы пользовательского поиска. Заполните поля «Имя» и «Описание», выберите язык интерфейса в выпадающем списке «Язык». В текстовом поле «Сайты для поиска» введите список ресурсов, информация с которых будет представлена в результатах поиска при помощи создаваемой системы. Нажмите кнопку «Далее».

Настройте параметры отображения выдачи результатов поиска. На текущей странице щелкните по блоку с изображением примера выдачи, наиболее подходящему по стилю. Нажмите кнопку «Настроить». Произведите установку предпочитаемых цветов элементов интерфейса на вкладках «Глобальные стили», «Панель поиска», «Результаты», «Реклама».Проверьте корректность введенных параметров. В форме поиска, отображенной внизу, введите тестовый запрос. Кликните по кнопке «Поиск». Убедитесь в том, что вид интерфейса создаваемой поисковой системы вас устраивает. Нажмите кнопку «Далее».

Получите javascript-код для установки поисковой системы на сайт. Выделите все содержимое в текстовом поле, находящемся на текущей странице. Скопируйте выделенное содержимое в буфер обмена и сохраните в каком либо временном файле.

Создайте поисковик на сайте. Добавьте код, полученный на предыдущем шаге, в содержимое страниц ресурса. Можно отредактировать шаблоны или файлы текущей темы для добавления формы поиска в группу страниц. Либо можно создать отдельную страницу, на которой будет представлен поисковый механизм.

Убедитесь в работоспособности добавленного механизма поиска. Откройте страницу, содержащую поисковую форму. Произведите тестовый запрос. Проверьте корректность вывода результатов.

 

 

Совет 3: Как сделать свою поисковую систему

Поисковая система – универсальный источник информации на любую тему. Трудно найти современного человека, который ни разу не пользовался поисковиками для поиска каких-либо данных для собственных интересов или для рабочего процесса. Вы можете не только пользоваться готовыми поисковыми системами, но и создать собственный поисковик, который будет функционировать не хуже других современных сайтов.

1_52552bc04dd3052552bc04dd6f.jpg

Инструкция

Определите структуру будущего поисковика – в ней должно быть три основных части: интерфейс, написанный на PHP, индекс (база данных MySQL), а также сам поисковой робот, который пишется на Delphi.

Начните разработку поисковика с создания интерфейса. Для этого создайте на компьютере файл index.php – страницу в виде таблицы, разделенной на две части. В одной части таблицы будет располагаться поисковая форма, а во второй части – результаты поиска.

В верхней части страницы разместите текстовое поле, кнопку для отправки запроса и кнопку для очистки текстового поля. Назовите кнопки – например, кнопке поиска задайте имя «Искать», а текстовому полю задайте имя «Search».

Создайте код PHP, начав с тега <?php, чтобы результаты поиска выводились с помощью php в нижней части таблицы. Для того чтобы подключиться к базе данных, подключите к вашей форме конфигурационный файл include "config.php".

Введите в код несколько строк, от которых зависит алгоритм поиска: if (isset($_GET['button'])) – если кнопка поиска нажата; если же кнопка поиска не нажата, добавьте в конце строки кода else. В случае если кнопка была нажата, должен работать код, проверяющий наличие поискового запроса: if (isset($_GET['search'])){$search=$_GET['search'];}

В случае если поисковой запрос обнаруживается, то его текстовый вариант должен быть присвоен переменной кода $search. Строка поиска должна содержать более трех символов – соответственно, в коде должна быть следующая строка с нужными параметрами, определяющими пустой поисковой запрос: if ($search!='' && strlen($search)>2){ код поиска по базе данных } else {echo "Задан пустой поисковый запрос или строка поиска содержит менее 3 символов.";}

Когда код будет готов, запустите цикл и выведите результаты поиска через printf.

 

Совет 4: Как сделать стартовым поисковик google Если вы часто пользуетесь сервисами Google, то установите страницу www.google.ru как стартовую в своем браузере, и тогда всякий раз при включении вам не нужно будет вводить адрес или выбирать закладку. 1_52552bfe2e07452552bfe2e0b2.jpg

Инструкция

Чтобы сделать Google стартовой страницей в браузере Internet Explorer, откройте меню «Сервис», щелкните на строке «Свойства обозревателя», введите в поле «Домашняя страница» адрес www.google.ru и нажмите «ОК». Для браузера Google хром процедура установки будет следующей: щелкните на значке гаечного ключа в правом верхнем углу окна браузера и выберите пункт «Параметры». В поле «Главная страница» впишите адрес www.google.ru и нажмите кнопку «ОК». В браузере Opera установить стартовую страницу можно через «Меню», выбрав раздел «Настройки», а затем подраздел «Общие настройки». Введите адрес www.google.ru в поле «Домашняя» и нажмите «ОК».

 

Совет 5: Как сделать свою электронную почту

С каждым днем растет число пользователей интернета, открывая в нем не только источник информации, но и сервисы для общения в виде электронной почты. Любой пользователь может получить свой уникальный почтовый адрес для регистрации на сайтах, или поддержания общения с родственниками и друзьями. Поэтому рано или поздно стоит задуматься о своей электронной почте и выбрать оптимально подходящий почтовый сервер.

1_52552b5dee96052552b5dee99d.jpg

Вам понадобится

  • Интернет
  • Браузер

Инструкция

Прежде всего нужно определиться с выбором почтового сервера - местом вашей будущей электронной почты. На сегодняшний день существует множество порталов предоставляющие электронные адреса, наиболее популярные из которых mail.ru, yandex.ru, rambler.ru, gmail.com, qip.ru. Вы можете выбрать подходящий портал, который возможно уже используете как поисковик или основной источник информации, и настроить там же вашу почту.

Если вы уже определились с будущим почтовым сервером, можно перейти к регистрации электронного адреса. Процесс регистрации на любом портале примерно одинаковый и предлагает заполнение анкеты и указания секретного вопроса, на тот случай если вы забудете пароль от своей электронной почты. К заполнению анкеты необходимо подойти ответственно, так как если ваша почта подвергнется взлому, вам придётся предоставить регистратору данные из анкеты. Поэтому если вы решили взять псевдоним или преднамеренно используете ненастоящие данные, стоит сохранить их в надежном месте.

Заполнив полностью анкетные данные, прочтите пользовательское соглашение и, согласившись с ним, сохраните страницу. После обновления вы увидите уведомление, что ваша почта успешно создана.

Обратите внимание

Электронная почта, как правило, должна предлагаться на бесплатных условиях. Но есть сайты, которые делают это за определённую ежемесячную абонентскую плату с красивым и эксклюзивным именем домена и массой дополнительных функций. Прежде чем покупать почтовый ящик, стоит рассмотреть все возможности бесплатных сервисов, и после уже принимать коммерческие предложения.

Полезный совет

При выборе почтового сервера обращайте особое внимание на популярные порталы, которые предлагают почтовый сервис. Как правило, такие порталы проверены временем и гарантируют надёжность и функциональность.

Совет 6: Как сделать свой сайт-зеркало

Для повышения надежности производительности сайта, сохранности информации на сайте, увеличения посещаемости сайта, уменьшения нагрузки на сайт и т.п. делают зеркало сайта. Подразумевается, что в случае, когда основной ресурс в силу ряда причин недоступен, то посетитель попадает на запасной ресурс, то есть сайт-зеркало.

1_52552afd7bdf452552afd7be31.jpg

Вам понадобится

  • навык работы с файлом robot.txt

Инструкция

Сделайте точную копию вашего сайта. Создайте новый домен и перенесите эти данные на него. Получится полностью идентичный основному ресурсу сайт, то есть зеркало сайта. Например, ваш основной сайт расположен на 1site.ru, тогда сайт-зеркало следует создать на домене 2site.ru. Ошибкой думать, что сайты с префиксом www и без него считаются поисковыми системами разными, т.е. www.1site.ru и 1site.ru., так как при добавлении в url страницы сайта в Яндекс, скрипт указывает на то, что добавляемому адресу соответствует определенный сайт-зеркало и выводит вариант с префиксом или без него. Зеркало сайта, как и основной ресурс, тоже может приносить доход. Однако в последнее время поисковые системы быстро определяют копии проектов и либо выводят их в бан, либо присваивают статус «зеркала».

Определите основное зеркало для поисковой системы Яндекс, это необходимо, чтобы поисковик не вывел из индекса страницы главного ресурса. Для этого внесите изменения в robots.txt (следует обратить внимание на атрибут Host в самом низу файла). Если нам нужно, чтобы главным зеркалом Яндекс считал адрес 2site.ru, то прописываем следующее:User-agent: YandexDisallow:Host: 2site.ruЕсли необходимо поменять зеркало сайта в отношении своего домена (то есть выбрать вариант с префиксом www или без него, т.е. www.1site.ru или 1site.ru), просто укажите правильный вид: Host: www.1site.ruили же: Host: 1site.ru

Определите главное зеркало для поисковой системы Google. Для этого зарегистрируйте сайт в сервисе Google Инструмент для web-мастеров. Затем перейдите по ссылке “Настройки” – “Основной домен” и поставьте галочку напротив требуемого сайта. Сохраните.Проверьте, какой из вариантов домена проиндексирован поисковыми системами. Для этого попробуйте найти свой сайт в поисковой выдачи Google или Яндекс. Существует понятие «нечеткого зеркала» сайта. Это неполная копия сайта – со слегка другим дизайном, слегка другим контентом и т.п. Такие нечеткие зеркала создаются в целях привлечения дополнительных посетителей на ресурс, так как поисковая система не считает такую неполную копию зеркалом, то индексирует оба сайта, и в результатах запроса в выдаче поисковой системы пользователь видит как основной сайт, так и его зеркало. При создании нескольких «нечетких зеркал» можно заниматься их продвижением вместе с основным сайтом, тем самым возможен захват сразу нескольких позиций в верхних строчках, т.е. ТОП, поисковых систем, вытеснение конкурентов из ТОПов и подобные маркетинговые эффекты.

Обратите внимание

Яндекс автоматически индексирует вариант домена с префиксом, если другое не указано в файле robots.txt.

Полезный совет

Если основной сайт в результатах поиска выдается не под тем именем, т.е. поисковый робот выбирает как основное зеркало не тот сайт, то выложите на зеркалах robots.txt с директивой Host.

Совет 7: Как сделать сайт популярным

Создать сайт сравнительно несложно, но как сделать сайт популярным, и чтобы на нем был стабильный приток посетителей? В интернете существует огромное количество компаний, готовых за определенную сумму поднять посещаемость сайта, и естественно, они не просто так берут деньги, но все же некоторую часть их работы можно сделать и своими руками.

1_52552a816e46d52552a816e49d.jpg

Вам понадобится

  • - интернет
  • - компьютер

Инструкция

Сделайте свой сайт наглядным. После попадания на сайт человек в течение двух секунд решает, интересно это ему или нет, в течение двух-трех секунд он должен успеть сориентироваться, куда и зачем ему нажимать, в течение четырех секунд он окончательно принимает решение, удобен ли ему этот сайт или нет. Не забывайте при этом об эстетике преподносимой информации – удобная компоновка вовсе не означает меню посреди страницы на фоне белого фона. Сделайте сайт гармоничным и приятным для взгляда.

Не забудьте вручную включить свой сайт в поисковики: так пользователи быстрее найдут ваш сайт по тегам, которые вы укажете. Также не забывайте про обмен ссылками с другими сайтами похожей тематики либо той тематики, которой сопутствует тематика вашего сайта. Это будет взаимовыгодный обмен – и вам, и вашим партнерам.

Если есть возможность, используйте SEO-оптимизацию, в случае отсутствия должных навыков у вас лично лучше наймите специалиста – этим вы сэкономите время и деньги, потому как хорошо оптимизированный сайт приносит гораздо больше прибыли, нежели не оптимизированный вовсе.

Наполните заголовки и текст сайта ключевыми фразами, которые соответствуют вашей сфере деятельности, чем больше таких фраз будет размещено, тем проще пользователи найдут вас.

 

Обратите внимание

Не перегружайте ваш сайт контентом там, где это не надо: этим вы только отпугнете посетителей.

Полезный совет

Сайт должен быть простым и легким на вид – пользователи чаще предпочитают минималистический стиль с многоуровневым, но интуитивным меню.

Совет 8: Как добавить сайт в поисковик

Для того, чтобы созданный вами сайт начал появляться в результатах поиска, его необходимо добавить в индекс поисковых систем. Рассмотрим добавление сайта в одну из наиболее популярных на сегодняшний день поисковых систем рунета.

1_525503126dd98525503126ddf7.jpg

Вам понадобится

  • Наличие сайта, доступ к сайту по FTP, наличие почты на яндексе

Инструкция

После того, как вы войдете в почтовый ящик на яндексе, пропишите в адресной строке следующий URL: webmaster.yandex.ru. Таким образом, вы окажетесь на странице вебмастера, посредством которой сможете добавить свой сайт в индекс яндекса, а также в дальнейшем следить за его индексацией и анализировать изменения.

Нажмите ссылку «Добавить сайт». Здесь вам предложат ввести адрес сайта, после чего вы должны будете подтвердить права на владение ресурсом. Наиболее простой и популярный способ – вставить предложенный яндексом мета-тег в код шапки вашего сайта. Скопируйте текстовый фрагмент, который вам будет предоставлен системой, после чего пропишите его в файле Header.php и сохраните изменения. Обратите внимание – текст должен располагаться между тегами и . После выполнения данных действий нажмите в панели вебмастера кнопку «Проверить». С этого момента сайт становится в очередь на индексацию поисковой системой. Обратим ваше внимание на то, что сайт может быть проиндексирован как в течение трех дней, так и на протяжении двух недель.

Помимо вставки мета-тега, вы также можете выбрать иной способ подтверждения прав на владение сайтом. Сделать это можно с помощью специального текстового файла, который будет необходимо загрузить в корневую папку вашего сайта. Этот файл вы можете скачать прямо в панельке вебмастера. Чтобы загрузить документ в корневой каталог воспользуйтесь доступом к содержимому сайта по FTP (данные доступа указываются при активации хостинга). Многие затрудняются с тем, что означает корневой каталог. На самом деле все просто – корень вашего сайта есть не что иное как папка на хостинге, в которую установлен ресурс. Именно в эту папку вам необходимо загрузить файл яндекса. После загрузки документа в панели вебмастера нажмите на кнопку «Подтвердить». В скором времени сайт будет доступен в общей поисковой выдаче.

faqstorage.ru

Как сделать свой поисковик?

Самыми популярными сайтами в сети интернет являются поисковые системы. С их помощью всегда можно найти нужную вам информацию. Давайте попробуем создать свой собственный поисковик по той схеме, по которой работали самые первые поисковики. В последствии вы сможете доработать свой поисковик и превратить его в полноценный и современный. Это зависит от ваших умений и готовности. Итак, ниже приведена инструкция по созданию мета-поисковика.Создать сайт самостоятельно с Wix.com

Инструкция
  • Разделите свой поисковик на три части. Первая часть – это интерфейс будущего веб-поисковика, который пишется на языке PHP. Вторая часть – это индекс (база данных My SQL), в которой хранится вся информация о страницах. Третья часть – это поисковой робот, который будет индексировать веб-страницы и заносить их данные в индекс, его делают на языке Delphi.
  • Начнём создавать интерфейс. Создайте файл index.php. Для этого разделите страницу на две части, используя таблицы. Первая часть – поисковая форма, вторая – результаты поиска. В верхней части создайте форму, которая будет посылать информацию файлу index.php методом get. На ней будут расположены три элемента – текстовое поле и ещё две кнопки. Одна кнопка нужна для отправки запроса, вторая – для очистки поля (эта кнопка не обязательна).
  • Дайте текстовому полю имя «search», первой кнопке (той, которая отправляет запрос) имя «Искать». Имя самой формы оставьте, как есть – «form1».
  • Результаты будут выведены в нижней части таблицы при помощи php, поэтому откройте тег
  • Подключите конфигурационный файл, чтобы подключиться к базе данных.
  • include "config.php";

    Проверьте, была ли нажата кнопка «Искать».

    if (isset($_GET['button'])) {код, выполняемый в том случае, если кнопка «Искать» нажата} else {код, выполняемый в том случае, если кнопка «Искать» не нажата}

    Если кнопка нажата, то тогда проверьте наличие поискового запроса.

    if (isset($_GET['search'])){$search=$_GET['search'];}

  • Если поисковой запрос есть, то присвойте переменной $search текст поискового запроса.
  • Проверьте запрос, чтобы он не был пустым и не был короче трёх символов.
  • if ($search!='' && strlen($search)>2){ код поиска по базе данных } else {echo "Задан пустой поисковый запрос или строка поиска содержит менее 3 символов.";}
  • В том случае, если поисковой запрос будет удовлетворять верхнему условию, запустите сам поисковой скрипт.

  • Запустите цикл, который выведет результаты поиска через printf.На этом всё. Если вы обладаете необходимыми знаниями, то вы вполне можете добавить в поисковик нужные вам элементы и составить свой алгоритм его создания.
  • Оцените статью!

    imguru.ru

    Как бесплатно сделать собственный поисковик?

    Поисковая система содержит массу информации и позволяет пользователю извлекать данные. Без поисковых систем Интернет это лабиринт веб-страниц с ограниченным значением. Стоимость создания поисковых систем и эксплуатационные расходы могут быть высокими, но, к счастью некоторые провайдеры поисковых систем позволяет пользователям создавать поисковую систему с помощью своей инфраструктуры бесплатно. Они позволяют создать собственную поисковую систему без затрат и времени на строительство с нуля.

    Вещи, которые вам понадобятся:Веб-браузерАккаунт Google

    Шаг 1

    Откройте веб-браузер и перейдите к Google Custom Search Engine 

    Шаг 2

    Нажмите на кнопку «Создать систему пользовательского поиска».

    Шаг 3

    Войти с Google ID и паролем.

    Шаг 4

    Введите имя, которое вы хотите дать своей поисковой системы в текстовое поле "Search Engine Name"(“Название поисковой системы”).

    Шаг 5

    Введите краткое описание вашей поисковой системой в текстовое поле "Search Engine Description".

    Шаг 6

    Введите веб-сайты, которые вы хотите найти в текстовое поле с надписью "Sites to Search"("Сайты для поиска").

    Шаг 7

    Установите флажок, подтверждающий то, что вы прочитали и согласны с условиями предоставления услуг Google. Нажмите на кнопку "Далее" ("Next"), чтобы продолжить.

    Шаг 8

    Нажмите на кнопку «Готово» ("Finish"), чтобы завершить создание своих поисковых систем.

    Шаг 9

    Нажмите на ссылку "Панель управления" ("Control Panel") справа от названия поисковой системы, которую вы создали.

    Шаг 10

    Нажмите на ссылку под названием "Основная информация"("Basic Information") с надписью "Домашняя страница" ("Homepage") для перехода к странице, которая содержит новый движок поиска. Добавить страницу в браузере, чтобы использовать поисковую систему с любого компьютера.

    Для строительства или обивки тяжелых предметов, используйте оцинковку в харькове по лучшим ценам на рынке строительных материалов. Экономьте вместе с нами.

    goldwebmaster.net