DATA SCRAPING چیست و چگونه می توانید از آن استفاده کنید؟

DATA SCRAPING، همچنین به عنوان خراش وب شناخته می شود، فرآیند وارد کردن اطلاعات از یک وب سایت به صفحه گسترده یا فایل محلی ذخیره شده در رایانه شما است. این یکی از کارآمدترین راه‌ها برای دریافت داده‌ها از وب، و در برخی موارد برای هدایت آن داده‌ها به وب‌سایت دیگری است. استفاده های رایج از DATA SCRAPING عبارتند از:

• تحقیق برای محتوای وب / هوش تجاری
• قیمت گذاری سایت های رزرو کننده سفر/سایت های مقایسه قیمت
• یافتن سرنخ های فروش/ انجام تحقیقات بازار با خزیدن منابع داده عمومی (مانند Yell و Twitter)
• ارسال داده‌های محصول از یک سایت تجارت الکترونیک به فروشنده آنلاین دیگری (مانند Google Shopping)

و این لیست فقط سطح را خراش می دهد. DATA SCRAPING تعداد زیادی کاربرد دارد – تقریباً در هر موردی که داده ها باید از مکانی به مکان دیگر منتقل شوند مفید است.

تسلط بر اصول اسکرپینگ داده ها نسبتاً آسان است. بیایید نحوه تنظیم یک عمل DATA SCRAPING ساده با استفاده از اکسل را بررسی کنیم.

DATA SCRAPING با پرس و جوهای وب پویا در مایکروسافت اکسل

راه اندازی یک جستجوی وب پویا در مایکروسافت اکسل یک روش ساده و همه کاره جمع آوری داده است که به شما امکان می دهد یک فید داده از یک وب سایت خارجی (یا چندین وب سایت) را در یک صفحه گسترده تنظیم کنید.

برای یادگیری نحوه وارد کردن داده ها از وب به اکسل، این ویدیوی آموزشی عالی را تماشا کنید – یا اگر ترجیح می دهید، از دستورالعمل های نوشته شده زیر استفاده کنید:

• یک کتاب کار جدید در اکسل باز کنید
• روی سلولی که می خواهید داده ها را وارد کنید کلیک کنید
• روی برگه «داده» کلیک کنید
• روی «دریافت اطلاعات خارجی» کلیک کنید
• روی نماد «از وب» کلیک کنید
• به فلش های زرد کوچکی که در سمت چپ بالای صفحه وب و در کنار محتوای خاصی ظاهر می شوند توجه کنید
• URL صفحه وب را که می‌خواهید داده‌ها را از آن وارد کنید در نوار آدرس جای‌گذاری کنید (توصیه می‌کنیم سایتی را انتخاب کنید که داده‌ها در جداول نشان داده شود)
• روی “برو” کلیک کنید
• روی فلش زرد کنار داده‌ای که می‌خواهید وارد کنید کلیک کنید
• روی “وارد کردن” کلیک کنید
• کادر گفتگوی «واردات داده» ظاهر می شود
• روی “OK” کلیک کنید (یا اگر دوست دارید سلول انتخابی را تغییر دهید)

اگر این مراحل را دنبال کرده‌اید، اکنون باید بتوانید داده‌های وب‌سایتی را که در صفحه‌گسترده خود تنظیم شده است ببینید.

نکته مهم در مورد پرس و جوهای وب پویا این است که آنها فقط داده ها را به عنوان یک عملیات یکباره به صفحه گسترده شما وارد نمی کنند – آنها آن را وارد می کنند، به این معنی که صفحه گسترده به طور منظم با آخرین نسخه داده ها به روز می شود، همانطور که در صفحه ظاهر می شود. وب سایت منبع به همین دلیل است که ما آنها را پویا می نامیم.

برای پیکربندی اینکه پرس و جوی وب پویا شما به‌طور منظم داده‌هایی را که وارد می‌کند به‌روزرسانی می‌کند، به «داده» و سپس «ویژگی‌ها» بروید، سپس یک فرکانس را انتخاب کنید («بازخوانی هر X دقیقه»).

DATA SCRAPING خودکار با ابزار

آشنایی با استفاده از پرس و جوهای وب پویا در اکسل یک راه مفید برای به دست آوردن درک درستی از Data Scraper است. با این حال، اگر قصد دارید به طور منظم از Data Scraper در کار خود استفاده کنید، ممکن است ابزار اختصاصی خراش دادن داده را موثرتر بیابید.

در اینجا نظرات ما در مورد چند مورد از محبوب ترین ابزارهای خراش داده در بازار آمده است:

Data Scraper (افزونه کروم)

Data Scraper مستقیماً در برنامه‌های افزودنی مرورگر Chrome شما قرار می‌گیرد و به شما این امکان را می‌دهد که از میان طیف وسیعی از «دستورالعمل‌های» استخراج داده‌های آماده برای استخراج داده‌ها از هر صفحه وب که در مرورگر شما بارگذاری شده است، انتخاب کنید.

این ابزار به‌ویژه با منابع جمع‌آوری داده‌های محبوب مانند توییتر و ویکی‌پدیا به خوبی کار می‌کند، زیرا این افزونه شامل گزینه‌های دستور پخت بیشتری برای چنین سایت‌هایی است.

ما Data Scraper را با استخراج هشتگ توییتر «#jourorequest» برای فرصت‌های روابط عمومی و با استفاده از یکی از دستور العمل‌های عمومی ابزار امتحان کردیم. در اینجا طعمی از داده هایی است که به دست آوردیم:

نمونه خروجی DataMiner

همانطور که می بینید، این ابزار یک جدول با نام کاربری هر حسابی که اخیراً در هشتگ پست کرده است، به اضافه توییت و URL آن ارائه کرده است.

داشتن این داده‌ها در این قالب برای یک نماینده روابط عمومی مفیدتر از دیدن داده‌ها در نمای مرورگر توییتر به چند دلیل است:

می توان از آن برای کمک به ایجاد یک پایگاه داده از مخاطبین مطبوعاتی استفاده کرد
شما می توانید به این لیست مراجعه کنید و به راحتی آنچه را که به دنبال آن هستید پیدا کنید، در حالی که توییتر به طور مداوم به روز می شود

این به شما مالکیت داده‌ها را می‌دهد – که می‌توان آن‌ها را آفلاین کرد یا هر لحظه تغییر داد
ما تحت تأثیر Data Scraper هستیم، حتی اگر دستور العمل های عمومی آن گاهی اوقات کمی در اطراف لبه ها خشن هستند. سعی کنید نسخه رایگان را در Chrome نصب کنید و با استخراج داده ها بازی کنید. حتماً فیلم مقدماتی ارائه شده توسط آنها را تماشا کنید تا ایده ای از نحوه کار ابزار و چند روش ساده برای استخراج داده های مورد نظر خود داشته باشید.

وب هاروی

WebHarvy یک اسکرابر داده نقطه و کلیک با نسخه آزمایشی رایگان است. بزرگترین نقطه فروش آن انعطاف پذیری آن است – می توانید از مرورگر وب داخلی ابزار برای پیمایش به داده هایی که می خواهید وارد کنید استفاده کنید و سپس می توانید مشخصات استخراج خود را ایجاد کنید تا دقیقاً آنچه را که نیاز دارید از وب سایت منبع استخراج کنید.

import.io

Import.io یک مجموعه ابزار داده کاوی با ویژگی های غنی است که بسیاری از کارهای سخت را برای شما انجام می دهد. ویژگی‌های جالبی دارد، از جمله «چه چیزی تغییر کرده است؟» گزارش‌هایی که می‌توانند شما را از به‌روزرسانی‌های وب‌سایت‌های مشخص مطلع کنند – ایده‌آل برای تجزیه و تحلیل عمیق رقبا

بازاریابان چگونه از DATA SCRAPING استفاده می کنند؟

همانطور که در این مرحله جمع آوری کرده اید، خراش دادن داده ها می تواند تقریباً در هر جایی که از اطلاعات استفاده می شود مفید باشد. در اینجا چند نمونه کلیدی از نحوه استفاده از این فناوری توسط بازاریابان آورده شده است:

جمع آوری داده های متفاوت

به گفته مارسین روزینسکی، مدیر عامل FeedOptimise، یکی از مزایای بزرگ DATA SCRAPINGست که می تواند به شما در جمع آوری داده های مختلف در یک مکان کمک کند. مارسین می‌گوید: «خزیدن به ما امکان می‌دهد داده‌های بدون ساختار و پراکنده را از منابع متعدد بگیریم و آن‌ها را در یک مکان جمع‌آوری کنیم و ساختارمند کنیم». «اگر چندین وب‌سایت دارید که توسط نهادهای مختلف کنترل می‌شوند، می‌توانید همه آن‌ها را در یک فید ترکیب کنید.

طیف موارد استفاده برای این بی نهایت است.

FeedOptimise طیف گسترده ای از خدمات خراش داده و فید داده را ارائه می دهد که می توانید در وب سایت آنها اطلاعاتی در مورد آنها پیدا کنید.

تسریع در تحقیق

ساده ترین استفاده برای DATA SCRAPING، بازیابی داده ها از یک منبع واحد است. اگر یک صفحه وب وجود دارد که حاوی داده‌های زیادی است که می‌تواند برای شما مفید باشد، ساده‌ترین راه برای دریافت آن اطلاعات در یک قالب منظم به رایانه شما احتمالاً DATA SCRAPING خواهد بود.

سعی کنید لیستی از مخاطبین مفید را در توییتر پیدا کنید و داده ها را با استفاده از DATA SCRAPING وارد کنید. این به شما طعمی می دهد که چگونه این فرآیند می تواند در کار روزمره شما قرار بگیرد.

خروجی یک فید XML به سایت های شخص ثالث

تغذیه داده‌های محصول از سایت شما به Google Shopping و سایر فروشندگان شخص ثالث، یکی از کاربردهای کلیدی استخراج داده‌ها برای تجارت الکترونیک است. این به شما این امکان را می دهد که فرآیند بالقوه پر زحمت به روز رسانی جزئیات محصول خود را خودکار کنید – که اگر سهام شما اغلب تغییر کند بسیار مهم است.

سیاران راجرز، مدیر بازاریابی Target Internet، می‌گوید: «DATA SCRAPINGا می‌تواند فید XML شما را برای Google Shopping تولید کند. “من با تعدادی از خرده فروشان آنلاین کار کرده ام که به طور مداوم SKU های جدید را به عنوان محصولات در انبار اضافه می کردند. اگر راه‌حل تجارت الکترونیکی شما یک فید XML مناسب ارائه نمی‌دهد، می‌توانید به Google Merchant Center خود متصل شوید تا بتوانید بهترین محصولات خود را که می‌تواند مشکل ساز باشد، تبلیغ کنید. اغلب جدیدترین محصولات شما به طور بالقوه پرفروش‌ترین هستند، بنابراین می‌خواهید به محض انتشار آن‌ها تبلیغ شوند. من از DATA SCRAPING برای تولید فهرست‌های به‌روز برای ورود به Google Merchant Centre استفاده کرده‌ام. این یک راه‌حل عالی است، و در واقع، وقتی داده‌ها را در اختیار دارید، کارهای زیادی می‌توانید انجام دهید. با استفاده از فید، می‌توانید بهترین محصولات در حال تبدیل را به صورت روزانه برچسب‌گذاری کنید تا بتوانید آن اطلاعات را با Google Adwords به اشتراک بگذارید و اطمینان حاصل کنید که قیمت رقابتی‌تری برای آن محصولات ارائه می‌دهید. هنگامی که آن را راه اندازی کردید، کاملاً خودکار است. انعطاف‌پذیری یک فید خوب که از این طریق کنترل می‌کنید عالی است و می‌تواند منجر به بهبودهای بسیار قطعی در کمپین‌هایی شود که مشتریان دوست دارند.»