четверг, 11 декабря 2008 г.

Все выше и выше, и выше

Кризис бьет и по сильным и по слабым. И даже по яху.

пятница, 5 декабря 2008 г.

Стоп-слова и выражения

Вот настройки спам-фильтра, которые рекомендует выставлять своим клиентам одна крупная софтверная американская компания:
message from: contains ".ru" discard
message from: contains "mismo.fr" discard
message from: contains "abdominizer.com" discard
message from: contains "hq4u.com" discard
message subject: contains "also seen on tv" discard
message subject: contains "herbal" discard
message subject: contains "monster sized " discard
message subject: contains "vpxl" discard
message subject: contains "viagra" discard
message subject: contains "affordable" discard
message subject: contains "drugs" discard
message subject: contains "ejaculate" discard
message subject: contains "erectile" discard
message subject: contains "flewscruelcee.com" discard
message subject: contains "full confidentiality" discard
message subject: contains "huge broadsword" discard
message subject: contains "increase your" discard
message subject: contains "lower-cost" discard
message subject: contains "medications" discard
message subject: contains "more girth" discard
message subject: contains "omenstee.com" discard
message subject: contains "order meds" discard
message subject: contains "penis" discard
message to: contains ".ru" discard
message body contains "(d0t)" discard
message body contains "(dot)" discard
message body contains ".ru" discard
message body contains ".biz" discard
message body contains ".cn" discard
message body contains ".info" discard
message body contains "100% free" discard
message body contains "100% guarantee" discard
message body contains "100% satisfied" discard
message body contains "act now!" discard
message body contains "additional income" discard
message body contains "all natural" discard
message body contains "amazing stuff" discard
message body contains "as seen on" discard
message body contains "auto email removal" discard
message body contains "avoid bankruptcy" discard
message body contains "be amazed" discard
message body contains "be your own boss" discard
message body contains "being a member" discard
message body contains "better health" discard
message body contains "big bucks" discard
message body contains "billion dollars" discard
message body contains "boost your strength" discard
message body contains "congratulations" discard
message body contains "cable converter" discard
message body contains "call now!" discard
message body contains "canadianpharmacy" discard
message body contains "cash bonus" discard
message body contains "compare rates" discard
message body contains "confidentially" discard
message body contains "copy dvds" discard
message body contains "diplomas" discard
message body contains "direct marketing" discard
message body contains "discount special" discard
message body contains "diversified products" discard
message body contains "doctorate" discard
message body contains "don't wait any longer" discard
message body contains "employment offer" discard
message body contains "enlarge" discard
message body contains "esq" discard
message body contains "earn cash" discard
message body contains "easy terms" discard
message body contains "eliminate debt" discard
message body contains "eliminate bad credit" discard
message body contains "email harvest" discard
message body contains "employment offer" discard
message body contains "expect to earn" discard
message body contains "financing" discard
message body contains "fantastic deal" discard
message body contains "fast viagra delivery" discard
message body contains "federal republic" discard
message body contains "finally a product" discard
message body contains "financial freedom" discard
message body contains "financial" discard
message body contains "for instant access" discard
message body contains "get it here" discard
message body contains "globaltrust" discard
message body contains "get paid" discard
message body contains "get started now" discard
message body contains "guarantee" discard
message body contains "improve your health" discard
message body contains "job offer" discard
message body contains "join millions" discard
message body contains "lottery" discard
message body contains "legal leads network" discard
message body contains "liaison office" discard
message body contains "loan offer" discard
message body contains "lose weight" discard
message body contains "lower interest rates" discard
message body contains "luxury car" discard
message body contains "mail in order form" discard
message body contains "marketing" discard
message body contains "medical history" discard
message body contains "money making" discard
message body contains "multi level marketing" discard
message body contains "no gimmick" discard
message body contains "no middleman" discard
message body contains "north korea" discard
message body contains "our products" discard
message body contains "please forward this" discard
message body contains "pennies a day" discard
message body contains "pharmacy" discard
message body contains "representative needed" discard
message body contains "real thing" discard
message body contains "saudi arabia" discard
message body contains "save money" discard
message body contains "save big money" discard
message body contains "save up to" discard
message body contains "score with babes" discard
message body contains "stock pick" discard
message body contains "the will" discard
message body contains "ticket no:" discard
message body contains "the best rates" discard
message body contains "us senate bill" discard
message body contains "vpxl" discard
message body contains "vi@gr@" discard
message body contains "viagra" discard
message body contains "vpxl" discard
message body contains "we sell them" discard
message body contains "affordable" discard
message body contains "already satisfied" discard
message body contains "amazinghesets.com" discard
message body contains "arkemgroup.com" discard
message body contains "atomcontinue.com" discard
message body contains "be a mighty" discard
message body contains "best costs" discard
message body contains "between the sheet" discard
message body contains "biz opportunity" discard
message body contains "bkife.behindbycleep.cn" discard
message body contains "blogspot.com" discard
message body contains "brikeston.com" discard
message body contains "call today" discard
message body contains "cancer" discard
message body contains "centcreate.com" discard
message body contains "changecanctpeet.cn" discard
message body contains "cheap costs" discard
message body contains "chicksome.com" discard
message body contains "competitors" discard
message body contains "digomanups.com" discard
message body contains "discount specials" discard
message body contains "double your income" discard
message body contains "drugs" discard
message body contains "drugstore" discard
message body contains "eachindoec.cn" discard
message body contains "endruance" discard
message body contains "enlargement" discard
message body contains "fieldod.com" discard
message body contains "financial loan" discard
message body contains "financial security" discard
message body contains "full confidentiality" discard
message body contains "geocities.com" discard
message body contains "gillespie.jacob" discard
message body contains "heisuable.com" discard
message body contains "how to put money" discard
message body contains "ilfalcu.com" discard
message body contains "menilsrats.com" discard
message body contains "suntume.com" discard
message body contains "huge broadsword" discard
message body contains "hunoeels.com" discard
message body contains "in the bedroom" discard
message body contains "in your pants" discard
message body contains "inalcontainlike.cn " discard
message body contains "increase your lenght" discard
message body contains "increase your" discard
message body contains "jeopardy" discard
message body contains "lipkogosoft.com" discard
message body contains "loans" discard
message body contains "lower-cost" discard
message body contains "manhood" discard
message body contains "marketing needs help" discard
message body contains "medications" discard
message body contains "medicinals" discard
message body contains "minugulier.com" discard
message body contains "mixinnmatos" discard
message body contains "money for vacation" discard
message body contains "money order" discard
message body contains "new saving options" discard
message body contains "order meds" discard
message body contains "our mojo" discard
message body contains "penis" discard
message body contains "pills" discard
message body contains "pleasure machine" discard
message body contains "prestigious" discard
message body contains "promotional offers" discard
message body contains "representative" discard
message body contains "research emails" discard
message body contains "rotoharrow.com" discard
message body contains "sausage" discard
message body contains "stmaina" discard
message body contains "streetsshoesyearlysale.com" discard
message body contains "studydecimal.com" discard
message body contains "tiny cocktail" discard
message body contains "towapdcitplane.cn" discard
message body contains "vegiebye.com" discard
message body contains "vuaegisd.com" discard
message body contains "watches" discard
message body contains "weartall.com" discard
message body contains "wenrecers.com" discard
message body contains "werdebrem" discard
message body contains "wiener" discard
message body contains "wifee" discard
message body contains "winner" discard
message body contains "winning numbers" discard
message body contains "your mojo" discard
message body contains "your shaft" discard
message headers contains "application for employment" discard
message headers contains "additional income" discard
message headers contains "avoid bankruptcy" discard
message headers contains "be amazed" discard
message headers contains "benefictor" discard
message headers contains "bestcarinsurancesite" discard
message headers contains "certified" discard
message headers contains "citizenship" discard
message headers contains "congratulations" discard
message headers contains "cancel at any time" discard
message headers contains "cash grant" discard
message headers contains "cheque draft" discard
message headers contains "classmatesemail@classmates.com" discard
message headers contains "compare rates" discard
message headers contains "consolidate" discard
message headers contains "convenient" discard
message headers contains "cyalis" discard
message headers contains "debt-wizard" discard
message headers contains "development bank" discard
message headers contains "dietary" discard
message headers contains "direct wholesale" discard
message headers contains "enjoy direct " discard
message headers contains "financial consultant" discard
message headers contains "financing" discard
message headers contains "fourpointgroup" discard
message headers contains "government accredited" discard
message headers contains "get paid" discard
message headers contains "get more respected" discard
message headers contains "government auction" discard
message headers contains "humongous" discard
message headers contains "herbal" discard
message headers contains "here's your money " discard
message headers contains "here's your money" discard
message headers contains "human growth" discard
message headers contains "integraclick" discard
message headers contains "join millions" discard
message headers contains "kaplan" discard
message headers contains "lottery" discard
message headers contains "lotto" discard
message headers contains "legal leads" discard
message headers contains "levytra" discard
message headers contains "limited time offer" discard
message headers contains "lower monthly" discard
message headers contains "make good money" discard
message headers contains "marketing solutions" discard
message headers contains "monster-sized" discard
message headers contains "nigerian" discard
message headers contains "nigeria" discard
message headers contains "nigerian" discard
message headers contains "prfh" discard
message headers contains "promotions" discard
message headers contains "peoples republic" discard
message headers contains "private loan" discard
message headers contains "quality brand name" discard
message headers contains "qualityhealth.com" discard
message headers contains "representative needed" discard
message headers contains "recommended by the best" discard
message headers contains "refinance" discard
message headers contains "special announcement" discard
message headers contains "special promotion" discard
message headers contains "satisfaction guaranteed" discard
message headers contains "save money" discard
message headers contains "score with babes" discard
message headers contains "serious cash" discard
message headers contains "specialty merchandise" discard
message headers contains "supplements" discard
message headers contains "the will" discard
message headers contains "us chamber of commerce" discard
message headers contains "united nations" discard
message headers contains "vacation offers" discard
message headers contains "vyagra" discard
message headers contains "wal*mart" discard
message headers contains "winning notification" discard
message headers contains "weight" discard
message headers contains "work at home" discard
message headers contains "work from home" discard
message headers contains "add inches" discard
message headers contains "affiliatefuel.com" discard
message headers contains "agnshipleys.com" discard
message headers contains "airviewtops.com" discard
message headers contains "ankleflip.com" discard
message headers contains "anklesite.com" discard
message headers contains "applecoreblue.com" discard
message headers contains "bankruptcy" discard
message headers contains "bedroom action" discard
message headers contains "being small" discard
message headers contains "beneficiaries" discard
message headers contains "beneficiary" discard
message headers contains "between your legs" discard
message headers contains "bk.ru" discard
message headers contains "can be a massive" discard
message headers contains "can have a massive" discard
message headers contains "cash in on" discard
message headers contains "cheapest" discard
message headers contains "classmates.com" discard
message headers contains "consequently won" discard
message headers contains "dell desktop" discard
message headers contains "dreams come true" discard
message headers contains "ecstacy" discard
message headers contains "entrepreneur" discard
message headers contains "girth" discard
message headers contains "guaranteed results" discard
message headers contains "hormone" discard
message headers contains "inches" discard
message headers contains "increase in lengt" discard
message headers contains "increase your lengt" discard
message headers contains "investment" discard
message headers contains "large tool" discard
message headers contains "llnunsubtodayone.com" discard
message headers contains "lovestick" discard
message headers contains "make good money" discard
message headers contains "make money" discard
message headers contains "makemoneywithsmc.com" discard
message headers contains "mediactions" discard
message headers contains "mindless.com" discard
message headers contains "pheromones" discard
message headers contains "pleasure the ladies" discard
message headers contains "pleasuring your girl" discard
message headers contains "pluotic.com" discard
message headers contains "remitance officer" discard
message headers contains "sabinsa.com" discard
message headers contains "soxsloco.com" discard
message headers contains "streetshoetimenow.com" discard
message headers contains "switipo.com" discard
message headers contains "tiger in bed" discard
message headers contains "trading company" discard
message headers contains "witchcraft" discard
message headers contains "streetshoestimenow.com" discard
Может эта информация поможет кому-нибудь одолеть "умников".

четверг, 4 декабря 2008 г.

Почувствовал разницу

5-й Хрумер по сравнению с 4-м пробивает больше ресурсов. Намного больше. Я думал, что сообщения об этом реклама в чистом виде. Но не было бы счастья да несчастье помогло. Позавчера проплатил абонентплату, но мне никак не могли ее зачислить на счет, поэтому на сутки остался без программы. Благо на «четверку» не распространяется абонентка и им можно свободно пользоваться. Вобщем, достал я его из нафталина и погнал до конца проект, который не успел догнать «пятеркой» по свежей базе. Ну, естественно, освежил на 4-ке все файлы, как то: textcaptcha.txt, textcaptcha_adv.txt, xas_AI.txt, xurl.txt и xmessages.txt и папки с логами и линками. Запустил. Ах, да, поставил еще чек активного линка, я всегда его ставлю. Так вот, успешные практически пропали. Вот так. К сожалению, подключили хрумер только через сутки, работала 4-ка все это время, поэтому статистика получилась довольно-таки обширная. На моей базе разница получилась около 8 раз. Больше чтверку юзать не хочу. Это уже истроия.

Домены верхнего уровня

Лазяя по интернету частенько хочется найти информацию на сайтах какой-то определенной страны, да и чего уж скрывать, иногда нужно спарсить не просто кучу форумов по признакам, но и определенной страны. Или, сказать точнее, по домену, который присвоен определенной стране. И если, допустим, как Германию или Францию отыскать в нете проблем не составляет. .de и .fr легко запоминаются, то вспомнить как обозначается какая-нибудь Ирландия вспомнить не так просто. Вот тут выкладываю домены различных стран. Может кому-то поможет. Я так постоянно сверяюсь.

Также домены верхнего уровня, не имеющие привязку не к стране, а к роду деятельности:
.aero — для субъектов авиатранспортной индустрии
.biz — только коммерческие организации
.cat — для использования каталанским языковым и культурным сообществом
.com — коммерческие организации (без ограничений)
.coop — кооперативы
.edu — высшие учебные заведения, признаваемые в качестве таковых Департаментом образования США
.info — информационные ресурсы (без ограничений)
.jobs — кадровые агентства
.mobi — для продавцов и поставщиков мобильного контента и услуг, связанных с мобильной связью
.museum — музеи
.name — физические лица
.net — организации имеющие отношение к функционированию Интернета (без ограничений)
.org — некоммерческие организации (без ограничений)
.pro — сертифицированные профессионалы и смежные темы
.tel — сервисы, включающие в себя связь между телефонной сетью и Интернетом (добавлен 2 марта 2007)
.travel — для субъектов туристического бизнеса
.gov — правительство США
.int — межгосударственные организации (за исключением .tpc.int)
.mil — армия США
.arpa — инфраструктура Интернета и, ранее, адреса в закрытой (военной) части сети Интернет США.

понедельник, 1 декабря 2008 г.

Урок Второй. Будем фильтровать базу.

Есть мысль внимательнее посмотреть на процесс оптимизации собранной базы.
Хрефер, идущий в комплекте с Хрумером, помог собрать нам по нашим признакам неплохую базу форумов. Но сразу ее пускать в работу нет смысла, будет слишком много "мусора" и даже потенциально небезопасных ресурсов. Что будем с ней делать? Ну, во-первых, я порекомендовал бы собирать список "стоп-слов", выражений, фри-хостов и индексов. Он вам будет помогать и постоянно пополняться. Назовем его, напримр, filter.txt. И начинаем вводить в него:
/products.htm
/productdetail/
/bookmarks.htm
.forumfree.net/
/news.cfm
/links/

и т.д. Немного посмотреть на базу и можно заметить много закономерностей, которые позволят вам сделать определенные выводы. Единственное, что чем больше база, тем легче анлизировать, потому что больше возможностей разглядеть закономерности.
Так вот, первым делом фильтруем нашу базу с помощью файла filter.txt. Это делается просто. И поможет нам в этом инструмент Хрумера: "Фильтр базы ссылок", который расположен в закладке "инструменты". Заполняем следующим образом:

Нажимаем "старт" и в результирующей базе мы получаем то, что мы собрали, но уже без "мусора". Чем больше мы будем работать с базами, тем больше у нас будет становиться файл filter.txt и тем "чище" у нас будет база на выходе. Но это еще не все, а только начало. Дальше будем удалять из базы "шлак" по домену. Ну, во-первых, это .edu, .gov и .mil, выкидывать их будем с помощью инструмента: "Удалить ссылки по зоне домена". Вот так:

Дальше, если нам нужно выкинуть из базы рускоязычные сайты, то продолжнаем фильтровать по доменам: .ru, .ua, .su и .by. Ничего сложного, но в базе могут остаться рускоязычные ресурсы на доменах .net, .com, .info и т.д. Как будем выкидывать их? Здесь нам поможет инструмент "Анализатор базы ссылок". Делаем вот так:

В Базе_mod.txt будут находиться рускоязычные ресурсы (там правда будут сайты и на всяких болгарских языках). Теперь мы при помощи уже знакомого нам инструмента "Фильтр базы ссылок" вычитаем из Базы Базу_mod. Результирующая База_res будет в 99% свободна от русскоязычных форумов. Практически таким же "макаром" можно оставить у себя только рускоязычные форумы.
Далее используем инструмент "Удалить все ссылки по блэк-листу". Просто выбираем его и указываем файл, который нам нужно проверить. На выходе будет файл "чистый" по блэку. Если вы знаете, какие-то адреса, которые шлют абузы, но которых нету в блэк-листе, можно просто добавить их в xblack.txt. Теперь Хрумер будет вычищать и их. Также новых злостных "абузников" постоянно выкладывают в ветке: http://www.botmaster2.ru/tech/index.php?showtopic=80 Можно также дополнять этими адресами свой блэк-лист.
Ну, вот остается отсеять "мертвые" и "глючные" адреса. Использовать будем "Анализатор базы ссылок". В поле "Искать:" зададим ""200 OK". В Базе_mod у нас будут ресурсы, которые можно спамить.
Ну, и на последок проверим базу на повторы. Используем инструмент "Удалить поторные ссылки". Выбираем там нашу Базу и на выходе имеем выборку без повторов.
Все, можно использовать. Пробуйте.
А если же хотете попробовать, но пока нету Хрумера с Хрефером, то вам сюда.