Apify Web Scraping заавар: вебсайтыг лидийн жагсаалт болгон хувиргах

Apify-аар лид scrape хийх гэдэг нь мэдээлэл авах хүссэн сайтад зориулсан Actor (scraping агент) сонгох эсвэл тохируулах, утасны дугаар эсвэл имэйл хуудасны аль хэсэгт байгаагаас хамаарч энгийн scraping, олон хуудсын crawling хоёрын хооронд сонголт хийх, Actor аль холбоосыг дагахыг мэддэг байхаар glob pattern бичих, ажлыг ажиллуулж, үр дүнг бэлэн ашиглах утасны дугаар, имэйлийн жагсаалт болгон экспортлох явдал юм.

Scraping, crawling: таны бүх тохиргоог тодорхойлдог ялгаа

Apify-д хүрэхээсээ өмнө, ижил утгаар хэрэглэгддэг гэвч ялгаатай хоёр зүйлийг тусгаарлах нь тустай. Scraper нэг хуудас дээр ажилладаг: тэнд байгаа мэдээллийг — имэйл, утасны дугаар, бусад хүссэн зүйлийг — хаана ч явахгуйгаар шууд авдаг. Crawler илүү цаашилж. Хуудас scrape хийгээд, "next" товч дарах, зар руу орох, эсвэл бусад хуудас руу шилжих замаар, тэндээс ч мэдээлэл scrape хийдэг.

Энэ бодит сайтад шууд чухал болдог. Жишээ болгон ашигласан зарын сайт дээр, зарим зар хариултын хуудасан дээр шууд утасны дугаар жагсаадаг — энэ бол энгийн scraping ажил. Яг тэр ижил хуудасан дээрх бусад зар нь тухайн зар руу шууд орохоос нааш дугаарыг харуулдаггуй, энэ нь зөвхөн scraping биш, crawling шаарддаг. Ихэнх бодит лид олох зорилт нь хоёрын хослол байдаг бөгөөд яг энэ шалтгаанаар Apify нь нэг scraping горим биш, уян хатан Actor-уудын эргэн тойронд бүтээгдсэн.

Зөв Actor-ыг олох, бүтээх

Apify-ийн dashboard дотор "Actors" гэдэг нь зүгээр л scraping агентууд — интернет дээр ажиллаж танд мэдээлэл олж өгдөг код. Apify Store-д түгээмэл зорилтод зориулсан бэлэн Actor-ууд байдаг: "Indeed" гэж хайвал олон Indeed-д зориулсан scraper олдох бөгөөд тус бүр хөгжүүлэгч, зориулалтаараа нэрлэгдсэн байдаг (жишээ нь, Indeed-ээс ажлын байрны жагсаалт шууд татахад зориулсан scraper). Нэрнээс олон зүйл мэдэх боломжтой: forward slash-ийн өмнөх хэсэг нь үүнийг бүтээсэн хөгжүүлэгч эсвэл баг, дараах хэсэг нь юу хийдгийг тайлбарладаг. Үнэлгээ, ашигласан тооллого (энэ жишээнд нэг түгээмэл Actor-ыг арван мянга гаруй хүн ашигласан байсан) нь тухайн Actor хэр найдвартай эсэхийг хурдан харуулдаг дохио юм.

Бүх вебсайт тусгай Actor-тай байдаггуй. Хэт түгээмэл биш сайтад зориулсан scraper байхгуй ч байж болно — энэ үед Apify-ийн хөгжүүлэгчдийн general-purpose scraper тохирдог. Энэ нь аль нэг сайтад тусгайлан зориулагдсан биш, гэхдээ ихэнх scraping, crawling ажлыг зохицуулахад хангалттай уян хатан бөгөөд энэ зааварт ашигласан зарын сайтын жишээнд хангалттай байсан.

Нөөцийг удирдах: RAM, proxy, зардал

Actor-ийн тохиргоон дотор зарим тохиргоо харагдацаасаа илүү чухал байдаг. RAM хэмжээ ажил хэр их тооцоолох хүч авахыг хянадаг — хэрэв та нэгэн зэрэг хэд хэдэн scrape ажиллуулж байгаа бол чухал, учир нь тэдний хооронд хуваагддаг хатуу хязгаар (энэ тохиргоонд 8 ГБ) байдаг. Proxy тохиргоо чухал, учир нь зарим вебсайт хүчтэй bot-илрүүлэлттэй байдаг бөгөөд зөв proxy тохиргоогуйгээр scraper бүхэлдээ блоклогдож болно.

Зардал бол энд баяртай гайхшрал юм. Apify-ийн free tier бодит ашиглах credit багтаасан бөгөөд зарын сайтын жишээн дээр бүрэн ажил — хэдэн зуу утасны дугаар, багц имэйл цуглуулах — ойролцоогоор $0.46 зарцуулсан. Энэ нь free tier дотор бүрэн багтсан; тэр тодорхой ажилд бодит төлбөр гараагуй. Илүү том эсвэл илүү тогтмол ажил эцэст нь тэр үнэгүй хуваарийг дуусгана, гэхдээ тест болон дунд зэргийн бодит ашиглалтад ч зардлын саад бараг тэг байдаг.

Scrape-ийг тохируулах: form view, JSON view, glob pattern

Actor бүр хоёр аргаар тохируулах боломж өгдөг: form view (хамгийн техникийн биш сонголт), JSON view (хамгийн техникийн, гэхдээ хамгийн нарийвчлалтай). JSON энд зөвхөн JavaScript Object Notation гэсэн утгатай — key, value хосуудын бүтэцлэгдсэн блок, задлаад харвал айх зүйл биш.

Бодит ажил хийдэг тохиргоо бол glob pattern юм. Glob pattern нь Actor-д crawl хийх явцад аль холбоос, хуудсыг дагахыг заадаг. Зарын сайтын жишээнд, эхний glob pattern үндсэн ангиллын хуудас — зарын жагсаалт руу заадаг. Хоёр дахь glob pattern тусгай зарын хуудас руу нэмэгддэг, учир нь утасны дугаар жагсаалтын хуудасан дээр шууд харагддаггуй үед яг тэр хуудасан дээр байдаг. Эдгээр хоёр pattern хамтдаа Actor-д зааж өгдөг: хэрэв энд байгаа бол утасны дугаарыг ав; хэрэв байхгуй бол зар руу орж тэндээс ав — мөн ангилалын бүх хуудасан дээр үргэлжлүүлж давтаарай, энэ жишээнд зургаан хуудсыг автоматаар дамжсан гэсэн үг.

Бусад хэдэн тохиргоо мэдвэл зохистой, гэхдээ ховор хэрэг болдог: cookie зөвшөөрлийн цонхыг автоматаар хаах эсэх (зарим сайт үүнийг гаргадаг тул үүнийг асаах шаардлагатай, эс бол scraper зогсчихно), мөн Actor scrape хийхээсээ өмнө хуудасны бүрэн агуулга ачаалагдахыг хүлээх эсэх, энэ нь хүнд зар эсвэл динамик агуулгатай хуудсанд чухал.

Техникийн хэсгүүдийг AI-гаар бичиг

Энэ бүхнийг зөв тохируулахад програмчлалын мэдлэг шаардлагагуй. Тохиргоо, JSON хэсэг, эсвэл алдаа эргэлзээтэй мэт харагдвал, screenshot ав, Claude эсвэл ChatGPT рүү оруулж, юу хийхийг хүсэж байгаагаа тайлбарла, тэр нь яг аль талбар, товчийг хүртэл юуг өөрчлөхийг танд хэлж өгнө. Энэ жишээний glob pattern тохиргоог гараар биш, Claude-ийн тусламжтайгаар бичсэн бөгөөд энэ нь ихэнх хөгжүүлэгч биш хүн энэ хэрэгслийг бодитоор ашиглах арга юм.

Ажлыг ажиллуулж, ашиглах боломжтой үр дүн авах

Тохиргоо хадгалагдсаны дараа ажлыг эхлүүлэх нь Actor-ыг ажиллуулж эхэлдэг бөгөөд та эцсийн экспортыг хүлээхийн оронд үр дүн шууд цуглахыг харж чадна. Энэ жишээнд, эрт тестийн ажиллагаа тохиргоог хараахан тохируулж байх үед 5, 6 утасны дугаар тус тус авсан; тохиргоог засварласны дараа, 25 минутын ажиллагаа ойролцоогоор 49 хуудсаар дамжиж минутанд 20 орчим тогтмол хурдтай утасны дугаар, багц имэйл цуглуулсан.

Үр дүн бүтэцлэгдсэн байдлаар эргэж ирдэг: зарын текст, утасны дугаар, эх сурвалж, JSON, CSV, Excel рүү экспортлох сонголттой. Тэндээс тэр жагсаалт нь борлуулалтын баг cold calling эсвэл cold SMS хийхэд яг хэрэгтэй зүйл — эсвэл экспортолж Make.com зэрэг бусад хэрэгсэлтэй холбож имэйл campaign автоматжуулах, эсвэл AI дуут агентад өгч автомат гаралтын дуудлага эхлүүлж болно. Жагсаалт байгуулагдсаны дараа энэ бүх харилцаа холбоог гараар хийх шаардлагагуй.

Зөвхөн өөрөөрөө scrape хийхээс цаашаа

Actor хэрхэн ажилладагийг ойлгосны дараа, өөрийн лидэд зориулж scrape хийхээс гадна хоёрдогч бизнес модель бий: Apify танд өөрийн Actor-уудыг Apify Store-д нийтлэх боломж олгодог тул, өөрийн асуудлыг шийдэхийн тулд бүтээсэн scraper бусад хүмүүс мөнгөөр ажиллуулдаг бүтээгдэхүүн болж болно.

Гол дүгнэлтүүд

• Хүссэн мэдээлэл хуудасан дээр шууд байгаа эсвэл товч дарсны ард байгаагаас хамааруулж scraping, crawling, эсвэл хоёуланг хэрэгтэй эсэхээ шийд.
• General-purpose Actor эхнээс тохируулахаасаа өмнө Apify Store-оос бэлэн Actor шалгаарай.
• Ялангуяа bot-илрүүлэлттэй сайтад RAM хязгаар, proxy тохиргоог анхаараарай.
• Бодит scraping ажил Apify-ийн free tier дээр нэг доллараас хамаагуй бага зардалтай байж болно — зардал ховор саад болдог.
• Glob pattern нь Actor-д холбоосыг ухаалгаар дагах боломж олгодог, үүнд үндсэн жагсаалтад байхгуй мэдээллийг олохын тулд тусгай хуудас руу орох ч багтана.
• JSON-ыг өөрөө бичих, debug хийх шаардлагагуй — Claude эсвэл ChatGPT эргэлзээтэй тохиргооны screenshot-ыг яг ямар өөрчлөлт хийхийг зааж болгож чадна.
• Экспортлосон жагсаалт (JSON, CSV, Excel) cold outreach, автомат имэйл campaign, эсвэл автомат дуудлагад зориулсан AI дуут агент руу шууд залгагддаг.

Таны бизнест зориулсан лидийн жагсаалт хэрэгтэй юу?

Ийм scraping, outreach системийг таны идеал үйлчлүүлэгч бодитоор харагддаг аливаа сайт, лавлахын эргэн тойронд тохируулж болно.