Сейчас прочитал про новый поисковик от Opera, который может индексировать структуру веб-страниц. http://internetno.net/2008/10/16/opera-search/
Что заметит думающий читатель? Что когда этот сервис станет доступен в паблике, настанет просто рай. Наконец-то можно будет искать страницы по содержимому meta-тегов. Например,
<meta name=”generator” content=”WordPress *” />
Ну а потом, очевидно, скриптом сортировать по PR или ТИЦ. Скорее бы уж!
Набрал тут кейвордов. То есть это даже не кейворды, а полноценные заголовки тем, никак не связанные тематически. Короче то, что нужно сплоггерам. Например вот:
Футбол: Евро-2008
Уничтожит ли Землю андронный коллайдер
Выпускной
Присоединение Украины к НАТО
Концерт Кайли Миног в Москве
Футбол: Россия победила Грецию
Трoица
Как прошёл МаксидромТаких у меня аж 1662 штуки. Интересно? Забирайте!
Следите за обновлениями. У меня есть ещё. =)
Как оказалось, при постинге через API существует лимит на 50 сообщений в сутки. Каждое следующее сообщение нужно сопровождать вводом капчи. Подчёркиваю — не просто один раз ввести код с картинки, подтвердив что я не бот, а делать это для каждого нового сообщения. Очень неприятно, блин.
Правда, действует оно только 24 часа, после чего снимается и всё становится как прежде.
В сапе всё очень медленно. Делать сайт, ждать индексации, поднимать пузомерки. А потом ещё и раскупается всё это невероятно долго.
Буду смотреть в сторону ппц и адсенса. На забугорном трафе, ессно. Есть пара мыслей как превратить блоггерком в отличный хост для доров/сателлитов.
Ура!
Наконец-то проиндексировался мой огромный каталог. Надо следующие делать поменьше — для опытов =).
Сегодня продал первую пачку ссылок. Немного совсем. Надо поднимать параметры площадки, а то там всё по нулям совсем.
Итак, будем переводить тексты. Поскольку инструмент в предыдущем посте довольно бесполезен сам по себе, необходимо накатать скрипт. Но для начала скажу ещё об одном способе перевода.
Это Yahoo pipes. Я накатал простейшую трубу для перевода текста с русского на английский и обратно. И всё бы хорошо, но есть две проблемы. Первая — при переводе яху тупо убирает все html теги. И как их восстанавливать — это отдельный вопрос. Я бы даже сказал, нетривиальная задача. Ну и второе — модуль перевода иногда бывает банально не работает. Я нашёл жалобы в саппорт по этому поводу на форуме про yahoo pipes, и вроде всё починили. Но у меня всё равно из 10 запусков трубы в разное время суток нерезультативными оказываются примерно 6.
Подводя итог можно сказать, что yahoo pipes — это хороший и быстрый инструмент, но я его не использую. Может вам повезёт больше, а для меня очень критично наличие тегов и стабильная работа сервиса.
Подходим ко второму способу — через AJAX API от гугла. Собственно скрипт. Я там в самом начале оставил set_time_limit(5) для отладки. Это чтоб сначала всё хорошо проеврить, а уже потом запускать на сутки (ну или у кого как), убирая ограничения set_time_limit(0).
И есть ещё две тонкости, без которых скрипт работать не будет. Во-первых, предполагается что все входные и выходные строки будут в юникоде. Так что если будете редактировать, убедитесь что ваш редактор умеет сохранять в UTF-8 (я юзаю notepad++). И второе — для работы с БД вам понадобится библиотека dbsimple. Ну, то есть я её использую, а вы вполне можете приспособить все её вызовы под свои нужды. Там всё просто и прозрачно.
У гугловского API есть одно существенное ограничение — это длина строки, которую вы будете переводить. Вроде как она составляет 700 символов, но иногда вываливаются ошибки при запросе на перевод строки в 600 символов, а иногда нормально проходят строки по 690 символов. Закономерность явлений установить не удалось. Опытным путём установлено, что всё железно работает при длине строки до 545 символов. На ней я и остановился.
Основная функция в скрипте — это string translate(string $src, string $langpair).
string $src — это строка для перевода (строка в полную длину)
string $langpair — это языковая пара перевода. Например, “ru%7Cen”. Именно в таком виде, поскольку эта строка подставляется без изменений в url запрос.
Ну и вот. Строка переводится один раз туда, а второй раз — обратно. Скрипт мал, изящен, открыт и даже как-то там прокомментирован. Любые изменения и дополнения приветствуются.
В достоинствах скрипта то, что мне так необходимо. Это надёжность и сохранение тегов. Но вот время выполнения оставляет желать лучшего. Хотя я не пробовал запускать его на хостинге — только дома на локалхосте, на не очень толстой выделенке.
P.S. Для себя в процессе написания скрипта выделил одну вещь. Уникализация контента путём превращения его в нечто нечитаемое — это не труъ. Гораздо лучше фигачить мешапы. =)
Заниматься этим можно используя гугл. Все схватили инструмент и побежали уникализировать каталоги, нафигачивая страницы для сапы!
Накидал вот трубу. Легко можно юзать в мешапах, ибо фотки с фликра – они только залитые посетителями, а нужно иногда просто релевантных картинок по кейворду.
Пользоваться очень просто — запрашиваете RSS и всё. Можно творить что душе угодно.
Есть, конечно, и недостатки. Например — выдаётся рсс только первых 20 результатов поиска. Кому как, а мне хватает. В любом случае исходник трубы есть, можно совершенствовать.
Какая же жопа медленная штука этот Yahoo Pipes!
Уже было задумался переписать всё сам, но как только сел мыслить глубже – выяснилась одна из главных проблем. Определение для каждого блока источника и адресата. Графический интерфейс в Yahoo справляется с этим на ура. Не удивлюсь даже, если это была главная причина воплощения сервиса в таком вот виде.
Можно вообще-то накодить альтернативу, но не такую гибкую – несколько источников, одна труба (в смысле один поток) и вывод. Всё. Может стоит, а может и нет.
Пока буду для мега толстых труб писать эквиваленты каждый раз руками.
Вот оно! То, что надо!
General Feeds
http://topix.net/search/article?xml=1&q={keyword}
http://blogpulse.com/rss?query={keyword}&sort=date&operator=and
http://news.search.yahoo.com/news/rss?ei=UTF-8&p={keyword}
http://feedsfarm.com/s/{keyword}&format=rss
http://newspad.prweb.com/rss.php?textQuery={keyword}
http://rss.findory.com/rss/News?q={keyword}
http://search.msn.com/news/results.aspx?q={keyword}&format=rss
http://digg.com/rss_search?search={keyword}&area=&type=&age=
http://feeds.technorati.com/feed/posts/tag/{keyword}
http://api.technorati.com/search?key=a169c4e64a32f2af348f705057a61872&query={keyword}&format=rss&language=en&authority=a7&limit=10
http://news.google.com/news?hl=en&q={keyword}&ie=UTF-8&output=rss&num=100
http://blogsearch.google.com/blogsearch_feeds?hl=en&q={keyword}&ie=utf-8&num=10&output=rss
http://del.icio.us/rss/tag/{keyword}
http://icerocket.com/search?tab=news&q={keyword}&rss=1
http://p.moreover.com/page?o=rss002&query={keyword}
http://newsvine.com/_feeds/rss2/tag?id={keyword}
http://zniff.com/index.php?s={keyword}&p=osrss
http://feedster.com/search.php?q={keyword}&sort=date&ie=UTF%2D8&hl=&content=full&type=rss&limit=100
http://www.blogdigger.com/search?q={keyword}&sortby=date&type=rss
http://www.blogpulse.com/rss?query={keyword}&sort=date&operator=and
http://www.daypop.com/search?q={keyword}&s=1&c=10&ext=true&sort=date&t=a&o=rss
http://www.rocketnews.com/news/RocketinfoXMLBlog.jsp?must={keyword}&age=4
http://www.blogdigger.com/search?q=yourkeyword&sortby=date&type=rss
Images & Photos Feeds
http://api.search.yahoo.com/ImageSearchService/rss/imageSearch.xml?appid=yahoosearchimagerss&query={keyword}&adult_ok=1
http://www.blogdigger.com/media/rss.jsp?q={keyword}&media=image&sortby=date
http://www.flickr.com/services/feeds/photos_public.gne?format=rss_200&tags={keyword}
http://www.buzznet.com/www/buzzwords%2Drss10.xml?buzz={keyword}
Audio / Video / Podcast Feeds
http://video.google.com/videofeed?type=search&num=20&output=rss&q={keyword}
http://api.search.yahoo.com/VideoSearchService/rss/videoSearch.xml?appid=ysearchblog&adult_ok=1&results=50&query={keyword}
http://www.feedster.com/search/type/rss/category/podcast/{keyword}
http://www.blogdigger.com/media/rss.jsp?q={keyword}&media=video&media=audio&sortby=date
http://www.podscope.com/rsssearch.php?s=d&assetID=&q={keyword}
http://del.icio.us/rss/tag/system:filetype:mp3+{keyword}
http://www.youtube.com/rss/tag/{keyword}.rss