Собственный поисковик: Веб интерфейс

Категория PHP

Собственный поисковик: Веб интерфейс – урок о том как написать собственный поисковик на PHP, который будет искать в базе данных MySQL.

как сделать собственный поисковик?
как организовать поиск по базам данных?

Сегодня мы с вами сделаем поисковик типа google, yandex, aport, rambler, yahoo.

Точнее у нас будет МетаПоисковик. Поисковик будет искать в интернете сайты, веб-страницы по мета тегам и заголовку, как в самые первые поисковики, но насколько он будет хорошим зависит только от вас. Вы можете добавить что-нибудь новое, супер алгоритм и т.д и т.п. Может у Вас получится конкурировать даже с Google и Яндекс, кто знает все бывает.

Перед тем как начать писать свой поисковик, разделим его на 3 части:
1) Веб-интерфейс поисковика, реализуем мы его на языке PHP.
2) Индекс (База данных MySQL), где будет хранится вся информация о страницах.
3) Поисковый робот, индексирует веб-страницы, заносит данные в индекс, сделаем на Delphi.

сразу скажу что я не буду делать паука, который должен был бы находить url адреса.

Итак, начнем:

Веб-интерфейс поисковика

Веб интерфейс такого рода сайт, который позволяет производить поиск по базам MySQL.

создайте файл index.php. Код:

ldquo;-//W3C//DTD XHTML 1.0 Transitional//EN” “http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd”> <meta http-equiv="content-type" content="text/html; charset=utf-8"> <title>МетаПоисковик!</title> <link href="%E2%80%9Dstyle.css%E2%80%9D" rel="”stylesheet”" type="”text/css”"> <link rel="”shortcut" icon href="%E2%80%9Dfavicon.ico%E2%80%9D"> <table width="”100%”" border="”0″"> <tr><td colspan="”2″" align="”center”"> <form action="%E2%80%9Dindex.php%E2%80%9D" method="”get”" name="”form1″"> <label><input name="”search”" type="”text”" value='”"' size="”80″" maxlength="”80″"></label> <label><input name="”button”" type="”submit”" value="”Искать”"></label> <label><input name="”Reset”" type="”reset”" value="”Очистить”"></label> </form> </td></tr> <tr> <td valign="”top”"> <?php include (“config.php”); if (isset($_GET['button'])){ if (isset($_GET['search'])){$search=$_GET['search'];} $search=trim($search); /*WEBypoku.ru*/ $search=stripslashes($search); $search=htmlspecialchars($search); $search_t=$search; $search=str_replace(“‘”,”"”,$search); $search=ereg_replace(” +”,” “,$search); $search=strtolower($search); $search=trim($search); if ($search!=” && strlen($search)>2){ echo “Результаты поиска по ”.$search_t.””; $num=10; @$page=$_GET['page']; $result00=mysql_query(“SELECT COUNT(*) FROM base WHERE description LIKE ‘%$search%’ OR title LIKE ‘%$search%’ OR keywords LIKE ‘%$search%’ OR url LIKE ‘%$search%’”,$db); $temp=mysql_fetch_array($result00); $posts=$temp[0]; $total=(($posts-1)/$num)+1; $total=intval($total); $page=intval($page); if(empty($page) or $page if($page>$total) $page=$total; $start=$page*$num-$num; if ($start $result=mysql_query(“SELECT * FROM base WHERE description LIKE ‘%$search%’ OR title LIKE ‘%$search%’ OR keywords LIKE ‘%$search%’ OR url LIKE ‘%$search%’ LIMIT $start, $num”,$db); if (!$result){exit(mysql_error());} $i=1; if (mysql_num_rows($result)>0){ echo “Найдено “.$posts.” страниц”; $myrow=mysql_fetch_array($result); do { printf (“<h3><a href="%s" target="’_blank’">%s. %s</a></h3> %s Keywords: %s <a href="%s" class="’url’" target="’_blank’">%s</a>”,$myrow['url'],$i+$start,$myrow['title'],$myrow['description'],$myrow['keywords'],$myrow['url'],$myrow['url']); $i++; } while ($myrow=mysql_fetch_array($result)); if ($page!=1) $page1=’<a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=1&button%E2%80%9D">Первая</a> | <a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=%E2%80%99." .>Предыдущая</a> | ‘; if ($page!=$total) $npage=’ | <a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=%E2%80%99." .>Следующая</a> | <a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=%E2%80%99" .>Последняя</a>’; if($page-5>0) $p5l=’ <a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=%E2%80%99.(%24page-5).%E2%80%99&button%E2%80%9D">’.($page-5).’</a> | ‘; if($page-4>0) $p4l=’ <a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=%E2%80%99.(%24page-4).%E2%80%99&button%E2%80%9D">’.($page-4).’</a> | ‘; if($page-3>0) $p3l=’ <a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=%E2%80%99.(%24page-3).%E2%80%99&button%E2%80%9D">’.($page-3).’</a> | ‘; if($page-2>0) $p2l=’ <a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=%E2%80%99.(%24page-2).%E2%80%99&button%E2%80%9D">’.($page-2).’</a> | ‘; if($page-1>0) $p1l=’ <a href="%E2%80%9Dindex.php?search=%E2%80%99.%24search.%E2%80%99&page=%E2%80%99.(%24page-1).%E2%80%99&button%E2%80%9D">’.($page-1).’</a> | ‘; if($page+5’.($page+5).’’; if($page+4’.($page+4).’’; if($page+3’.($page+3).’’; if($page+2’.($page+2).’’; if($page+1’.($page+1).’’; if ($total > 1){Error_Reporting(E_ALL & ~E_NOTICE); echo “<div id="nav">”; echo $page1.$p5l.$p4l.$p3l.$p2l.$p1l.’’.$page.’’.$p1r.$p2r.$p3r.$p4r.$p5r.$npage; echo “</div>”;} } else {echo “<h3>К сожалению ничего не найдено.</h3>”;} } //конец ЕСЛИ ЕСТЬ ПОИСКОВОЕ СЛОВО else {echo “<h3>Задан пустой поисковый запрос или строка поиска содержит менее 3 символов.</h3>”;} //ЕСЛИ ПОЛЕ ПУСТОЕ } //конец ЕСЛИ НАЖАТА КНОПКА else { if (isset($_GET['addurl'])) { print “<h3>Добавить URL</h3> <form id="’form2′" name="’form2′" method="’post’" action="%E2%80%99?addurl%E2%80%99"> <input type="’text’" name="’url’" size="50" class="’button’"> <input type="’submit’" name="’add’" value="’Добавить’" class="’button’"> Например: http://easy3d.ya1.ru/index.php </form>”; if (isset($_POST['add'])) {if (isset($_POST['url'])){$url=$_POST['url'];} if ($url!=”){ $url=trim($url); $url=stripslashes($url); $url=htmlspecialchars($url); $url=strtolower($url); if (!preg_match(“(kasidder\.ru|sakha\.net|ya1\.ru|1big\.ru)”, $url)){echo “Веб-страница не принадлежит сетям Сахателекома”;} else { if (substr($url,0,7)!=’http://’){$url=’http://’.$url;} $fineurl=mysql_query(“SELECT url FROM urls WHERE url=’$url’”,$db); if (mysql_num_rows($fineurl)==0){ $addurl=mysql_query(“INSERT INTO urls (url) VALUES (‘$url’)”,$db); if (!$addurl){echo “URL-адрес не добавлен. Пожалуйста попробуйте позже.”;} else {echo “URL-адрес добавлен.”;} }//num_rows else {echo “URL уже зарегистрирован в системе.”;} } // domains }//url else {echo “Пустое поле для URL.”;} } }//END ADDURL if (isset($_GET['info'])){echo “<h3>Уважаемые веб-мастера!</h3> Чтобы пользователь с легкостью нашел вашу веб-страницу, заполняйте следующие теги: TITLE Заголовок страницы. Обычно 50, 60, 80 символов. Выводится в верхней части браузера и является текстом по умолчанию при внесении в "Избранное", "Закладки", а так же заголовком выводимого поисковой системой результата. Пример: <TITLE>Поисковик! – найдется все.</TITLE> если заголовок длиннее чем положено – система просто его обрежет. DESCRIPTION Описание страницы. Выводится при отображении результатов поиска после названия страницы Title. Информация, вводимая в поле Description, должна быть кратким и лаконичным описанием страницы, на которой находится и не содержать в себе символов ", ’. Пример: <meta name="Description" content="Рекомендации по написанию страниц для web-мастеров, с учетом пожеланий разработчиков поисковой системы"> При выведении результатов поисковой системой описания длиннее ее стандарта будут обрезаны. Настоятельно советуем остановиться на 200 символах, четко и понятно излагая главное. Представьте, что изначально пользователь ленив и не любит читать:) KEYWORDS Поисковые слова. Самая сложная часть работы, ведь именно по поисковым словам и фразам пользователи будут находить ваш сайт. Определим основные принципы: 1) На страницах с русским текстом – пишите русские слова и фразы, с английским – английские. Исключением могут быть общеизвестные, часто употребляемые слова. Например: shop, free, radio, tv, designer, web, internet, man, fashion, food и др. аналогичные. 2) Писать желательно словосочетаниями, отделяя одно от другого запятыми, а слова внутри него – пробелами. Почему? – Так как словосочетание или фраза могут быть использованы как целиком или частично, так и отдельными словами. Например: веб дизайнер, интернет магазин, электронная коммерция, бесплатная реклама 3) Идеальным вариантом будут слова – "перевертыши". Такие фразы обычно состоят из трех слов, причем первое слово составляет словосочетание со-вторым, а второе с третьим. Например: поисковый каталог ресурсов, интернет магазин дизайна и др. Как видите можно прочитать "поисковый каталог" и "каталог ресурсов". 4) Уравнение справедливое для большинства поисковых систем: Пробел = И, Запятая = ИЛИ 5) Не включайте слова, которые не имеют отношение к содержимому страницы и сайта в целом, с целью его популяризации. Страницы с таким содержанием обычно попадают в спам-листы и игнорируются поисковиками при индексации. Не превышайте лимит поисковых символов – 800-1000 и не повторяйте слова дважды. 6) Пример: <meta name="Keywords" content="dsl, сахателеком, сеть столица, эльф, провайдер, интернет, ip tv, gpon, ethernet, телефон, сайт, поисковик, поиск по сайтам"> Внимание! Все теги должны быть внутри тегов <HEAD>…</HEAD>.Не содержать символов "; (кавычки) и ’ (апострофы). Длина содержимого МЕТА – тегов "desctiption" не должна превышать 200 символов, a "keywords" – 1000 символов. Такое условие надо выполнять, иначе Вашему сайту может быть отказано в индексации или не вся важная информация (которая представлена Вами для поисковых машин) будет проиндексирована. Это ограничение связано с особенностями работы поисковых серверов.”;}//END INFO if (!isset($_GET['info']) && !isset($_GET['addurl'])) {echo “<h3>Добро пожаловать в Поисковик!</h3>”;} } ?></td> <td width="”20%”" valign="”top”">Реклама: <a href="%E2%80%9Dhttp://savelena.ykt.ru/%E2%80%9D" target="”_blank”"></a> </td> </tr> <tr><td colspan="”2″" align="”center”" valign="”top”" style="”padding-top:10px;”"> <a href="%E2%80%9D?addurl%E2%80%9D" title="”Добавить" url>Добавить URL</a> | <a href="%E2%80%9D?info%E2%80%9D" title="”Полезная">Инфо вебмастеру</a> </td></tr> <tr><td colspan="”2″" align="”center”" valign="”top”">Programmed by <a href="%E2%80%9Dhttp://webypoku.ru/about.php%E2%80%9D" target="”_blank”">Vincent</a> </td></tr> </table>

объясняю по частям:

во первых надо разделить свою страницу на две части, проще всего для этого использовать таблицы.

поисковая форма

результаты поиска

в верхней части надо создать форму, который будет посылать информация файлу index.php методом GET. На нем будут расположены 3 элемента, одно текстовое поле и две кнопки, одна для отправки запроса поисковику, а другая для очистки поля (конечно, можно им пренебречь, ведь в поискавиках обычно такого нет).

даем текстовому полю имя “search”, а кнопке отправляющий поисковый запрос – “Искать”, самой же форму оставляем имя по умолчанию – “form1″.

Результаты будут выводится в нижней части таблицы с помощью php, поэтому открываем тег

для начала подключимся к базе данных, для этого нам надо подключить конфигурационный файл, так как именно он подключает к базе данных mysql. Конфигурационный файл вынесен специально для удобства.
include "config.php";

далее проверяем была ли нажата кнопка “Искать”
if (isset($_GET['button'])){ выполняемый код, если нажата кнопка } else { выполняемый код, если НЕ нажата кнопка }

Если нажата кнопка искать, то проверяем наличие поискового запроса
if (isset($_GET['search'])){$search=$_GET['search'];}

Если есть присваиваем переменной $search текст поискового запроса, для последующей обработки. Надо будет наш запрос подредактировать, удалить опасные символы и т.д.
$search=trim($search); $search=stripslashes($search); $search=htmlspecialchars($search); $search_t=$search; $search=str_replace("'",""",$search); $search=ereg_replace(" +"," ",$search); $search=strtolower($search); $search=trim($search);

теперь проверяем наш запрос, он не должен быть пустым и короче 3 символов (чтоб сервер не сильно нагружался).
if ($search!='' && strlen($search)>2){ код поиска по базе данных } else {echo "

`Задан пустой поисковый запрос или строка поиска содержит менее 3 символов.`

";}

Если поисковый запрос удовлетворяет верхнему условию, то запускается непосредственно сам поисковый скрипт.
$result=mysql_query("SELECT * FROM base WHERE description LIKE '%$search%' OR title LIKE '%$search%' OR keywords LIKE '%$search%' OR url LIKE '%$search%' LIMIT $start, $num",$db); if (!$result){exit(mysql_error());} $i=1; if (mysql_num_rows($result)>0){ echo "Найдено ".$posts." страниц"; $myrow=mysql_fetch_array($result); do { printf ("

`%s. %s`




        %s
Keywords: %s


        %s",$myrow['url'],$i+$start,$myrow['title'], $myrow['description'],$myrow['keywords'],$myrow['url'],$myrow['url']);

        $i++;

        }

        while ($myrow=mysql_fetch_array($result));

Поиск будет производится посредством LIKE без учета релевантности, поэтому наш поисковик будет выводить результаты по дате добавления. Если объяснить работу этого скрипта простыми словами, то будет так: Выбрать все записи из таблицы base где в полях description, title, keywords, url встречается запрос $search по $num количеству начиная с $start. Переменная $num – количество результатов на страницу, я поставил 10, так как в Google и Yandex 10 =) Далее запускаем цикл, который будет выводить результаты поиска через printf.

Конечно же вы можете заменить мой “алгоритм” поиска на свой более лучший с учетом релевантности, возможно вы сделаете типо тИЦ и PR.

Другие посты, близкие по теме:

]]>

Добавить в закладки

]]>

Теги: google, PHP, программирование, скрипт, яндекс

июля 17, 2009

3 комментариев по “Собственный поисковик: Веб интерфейс”

]]> Собственный поисковик: Веб интерфейс (продолжение) ]]> сказал:
июля 17, 2009 в 00:42
[...] Веб интерфейс (продолжение) – вторая часть урока о том как написать собственный поисковик на PHP, который будет искать в базе данных [...]
]]> Собственный поисковик: База Данных ]]> сказал:
июля 17, 2009 в 22:26
[...] Урок создания поисковика – часть 3 «База данных». В этом уроке мы рассмотрим базу данных нашего поисковика («Урок создания собственного поисковика»). [...]
]]> Собственный поисковик: Поисковый робот ]]> сказал:
июля 17, 2009 в 23:07
[...] Поисковый робот» – 3 часть урока по созданию собственного поисковика, мы с вами создадим поисковый робот (crawler или spider), [...]

Оставьте комментарий: