crawler

There is another important difficulty in DNS resolution; the lookup implementations in standard libraries (likely to be used by anyone developing a crawler) are generally synchronous.

С разрешением DNS связана еще одна сложность: реализации DNS-поиска (DNS lookup) в стандартных библиотеках (которые чаще всего используются разработчиками поисковых роботов) являются синхронными.

Manning, Christopher D.,Raghavan, Prabhakar,Schuetze, Hinrich / An Introduction to Information Retrieval. Part3Маннинг, Кристофер,Рагхаван, Прабхакар,Шютце, Хайнрих / Введение в информационный поиск. Часть 3

Введение в информационный поиск. Часть 3

Маннинг, Кристофер,Рагхаван, Прабхакар,Шютце, Хайнрих

© Издательский дом "Вильямс", 2011

© Cambridge University Press, 2008

An Introduction to Information Retrieval. Part3

Manning, Christopher D.,Raghavan, Prabhakar,Schuetze, Hinrich

© 2009 Cambridge UP

They were traveling on firm ground now and not on the monster's back. But the swamp crawler was built for sturdiness and stability, not speed.

Сейчас они со всей возможной скоростью мчались не по твердой земле и не по спине этого монстра, но машина, рассчитанная на езду по болотам и обладающая прочностью и устойчивостью, быстроходностью не отличалась.

Foster, Alan Dean / Splinter of the Mind's EyeФостер, Алан Дин / Осколок кристалла власти

Осколок кристалла власти

Фостер, Алан Дин

Splinter of the Mind's Eye

Foster, Alan Dean

© 1978 by The Star Wars Corporation

If any of them tried climbing a tree for protection, the same fate would befall them as the unlucky crawler.

И на дерево не залезешь, подумал он, если не хочешь, чтобы тебя постигла та же судьба.

Foster, Alan Dean / Splinter of the Mind's EyeФостер, Алан Дин / Осколок кристалла власти

Осколок кристалла власти

Фостер, Алан Дин

Splinter of the Mind's Eye

Foster, Alan Dean

© 1978 by The Star Wars Corporation

Halla brushed a strand of gray hair clear of her eyes, brought the crawler to a gradual idle.

Халла откинула с глаз прядь седых волос и сбросила скорость.

Foster, Alan Dean / Splinter of the Mind's EyeФостер, Алан Дин / Осколок кристалла власти

Осколок кристалла власти

Фостер, Алан Дин

Splinter of the Mind's Eye

Foster, Alan Dean

© 1978 by The Star Wars Corporation

Politeness: Web servers have both implicit and explicit policies regulating the rate at which a crawler can visit them.

Вежливость. Веб-серверы могут иметь явные и неявные правила, регулирующие частоту обращений поисковых роботов.

Manning, Christopher D.,Raghavan, Prabhakar,Schuetze, Hinrich / An Introduction to Information Retrieval. Part3Маннинг, Кристофер,Рагхаван, Прабхакар,Шютце, Хайнрих / Введение в информационный поиск. Часть 3

Введение в информационный поиск. Часть 3

Маннинг, Кристофер,Рагхаван, Прабхакар,Шютце, Хайнрих

© Издательский дом "Вильямс", 2011

© Cambridge University Press, 2008

An Introduction to Information Retrieval. Part3

Manning, Christopher D.,Raghavan, Prabhakar,Schuetze, Hinrich

© 2009 Cambridge UP

Four long, graceful antennae patted the path ahead, relaying information to the patient crawler.

Четыре длинные изящные антенны прощупывали, что творится впереди, и сообщали информацию неторопливому путешественнику.

Foster, Alan Dean / Sentenced to PrismФостер, Алан Дин / Приговоренный к Призме

Приговоренный к Призме

Фостер, Алан Дин

Sentenced to Prism

Foster, Alan Dean

There are ledges and outcroppings down there that one could almost drive a crawler down, if the edges were smoothed somewhat."

На склоне встречаются выступы и камни, за которые можно зацепиться.

Bradley, Marion,Zimmer, Paul Edwin / The SurvivorsБрэдли, Марион,Зиммер, Пол Э. / Уцелевшие

Уцелевшие

Брэдли, Марион,Зиммер, Пол Э.

The Survivors

Bradley, Marion,Zimmer, Paul Edwin

© 1979, by Marion Zimmer Bradley and Paul Edward Zimmer

For such continuous crawling, a crawler should be able to crawl a page with a frequency that approximates the rate of change of that page.

Для обеспечения такого непрерывного обхода желательно, чтобы поисковый робот мог обходить страницу с частотой, примерно равной частоте ее обновления.

Manning, Christopher D.,Raghavan, Prabhakar,Schuetze, Hinrich / An Introduction to Information Retrieval. Part3Маннинг, Кристофер,Рагхаван, Прабхакар,Шютце, Хайнрих / Введение в информационный поиск. Часть 3

Введение в информационный поиск. Часть 3

Маннинг, Кристофер,Рагхаван, Прабхакар,Шютце, Хайнрих

© Издательский дом "Вильямс", 2011

© Cambridge University Press, 2008

An Introduction to Information Retrieval. Part3

Manning, Christopher D.,Raghavan, Prabhakar,Schuetze, Hinrich

© 2009 Cambridge UP

After driving the crawler into it, she switched off the engine, leaving only the internal cab lights on.

Загнав туда краулер, Халла выключила двигатель, оставив гореть освещение внутри кабины.

Foster, Alan Dean / Splinter of the Mind's EyeФостер, Алан Дин / Осколок кристалла власти

Осколок кристалла власти

Фостер, Алан Дин

Splinter of the Mind's Eye

Foster, Alan Dean

© 1978 by The Star Wars Corporation

Opening wide, the black maw bit and clamped tight around the rear of the crawler. Its grip was devastatingly firm for so rubbery-looking a creature.

Черная пасть широко распахнулась и тут же плотно сомкнулась на задней части машины с такой силой, которую трудно было ожидать от создания, тело которого казалось резиновым.

Foster, Alan Dean / Splinter of the Mind's EyeФостер, Алан Дин / Осколок кристалла власти

Осколок кристалла власти

Фостер, Алан Дин

Splinter of the Mind's Eye

Foster, Alan Dean

© 1978 by The Star Wars Corporation

Luke paused, returned to stare at the silent crawler poised over the Coway exit.

Остановившись, Люк посмотрел на молчаливый краулер у входа в пещеру ковей.

Foster, Alan Dean / Splinter of the Mind's EyeФостер, Алан Дин / Осколок кристалла власти

Осколок кристалла власти

Фостер, Алан Дин

Splinter of the Mind's Eye

Foster, Alan Dean

© 1978 by The Star Wars Corporation

Then he needed to duck into the streets for a quick visit to one of his informants who was keeping an eye out for signs of activity by the Crawler and his gang.

Затем он собирался выйти в город и навестить одного информатора, следившего за любыми вестями о деятельности Кроулера и его банды.

Feist, Raymond / Krondor:Tear of the GodsФэйст, Раймонд / Слеза богов Крондора

Слеза богов Крондора

Фэйст, Раймонд

Krondor:Tear of the Gods

Feist, Raymond

© 2000 by Raymond E. Feist

For Mobile & Crawler cranes the following additional checks will be conducted:

При выполнении работ самоходными кранами и кранами на гусеничном ходу также убедиться, что:

© «Сахалин Энерджи» 2006

www.sakhalinenergy.com 11/24/2011

© Sakhalin Energy 2006

www.sakhalinenergy.com 11/24/2011

En route, a URL flows through one of several front queues that manage its priority for crawling, followed by one of several back queues that manage the crawler's politeness.

В промежутке между этими частями рисунка потоки URL проходят через одну из фронтальных очередей (front queues), управляющих приоритетами обхода, и одну из тыльных очередей (back queues), управляющих правилами вежливости.

Manning, Christopher D.,Raghavan, Prabhakar,Schuetze, Hinrich / An Introduction to Information Retrieval. Part3Маннинг, Кристофер,Рагхаван, Прабхакар,Шютце, Хайнрих / Введение в информационный поиск. Часть 3

Введение в информационный поиск. Часть 3

Маннинг, Кристофер,Рагхаван, Прабхакар,Шютце, Хайнрих

© Издательский дом "Вильямс", 2011

© Cambridge University Press, 2008

An Introduction to Information Retrieval. Part3

Manning, Christopher D.,Raghavan, Prabhakar,Schuetze, Hinrich

© 2009 Cambridge UP

The runners went on running, the crawlers crawling. Lemke might ordinarily rule them with an iron hand, but Ginelli had panicked them.

Кто полз, кто - бежал, и хотя Лемке правил ими железной рукой, а панике поддались все.

King, Stephen / ThinnerКинг, Стивен / Худеющий

Худеющий

Кинг, Стивен

© Richard Bachman, 1984

© Перевод. "Кэдмэн", 1998

© ООО Издательство "АСТ МОСКВА", 2008

Thinner

King, Stephen

© Richard Brachman, 1984