توضیحات
دوره آموزشی Scrapy و ساخت web crawler با استفاده از پایتون
چه مباحثی را در این دوره فرا خواهم گرفت ؟
- ساخت web crawler با Scrapy
- استخراج داده از یک یا چند صفحه وب سایت
- زمانبندی و توسعه web crawler
- لاگین کردن با Scrapy به وب سایت های مختلف
- استفاده از Scrapy برای استخراج داده از انواع وب سایت ها و تکنولوژی های به کار رفته در آن ها
- ادیت و ویرایش عملکردهای مختلف web crawler
- تبدیل داده های استخراج شده به فرمت های مختلف
- ذخیره داده ها در انواع دیتابیس
- بررسی انواع پروژه های کاربردی
پیش نیازهای دوره آموزشی Scrapy و ساخت web crawler
- سطح متوسط در پایتون که باید به مباحث مختلف پایتون از جمله data structures, file handling, functions, classes, modules, common libraries, تسلط کافی داشته باشید
- پایتون 2.7 و یا 3.3 به بالا
- هر نوع سیستم عاملی که بتواند پایتون را اجرا کند
معرفی و توضیحات این دوره
اسکرپی (Scrapy) یکی از فریمورک های نوشته شده به زبان پایتون می باشد که علاوه بر رایگان بودن ، متن باز نیز می باشد. با استفاده از Scrapy می توان اطلاعات مختلفی را از وب سایت های مختلف استخراج کرد و از این اطلاعات برای هدفهای مختلفی از جمله داده کاوی استفاده کرد. این دوره تمامی مباحث مورد نیاز Scrapy را پوشش خواهد داد.
اسکرپ کردن وب ، تکنیکی است که از آن برای استخراج داده و یا اطلاعات مختلف از صفحات وب استفاده می شود. با استفاده از این تکنولوژی می توانید اطلاعات وب سایت های مختلف را بدون مراجعه به آن ها داشته باشید و دیگر نیازی به مراجعه به وب سایت های مختلف برای دریافت اطلاعات جدید نخواهید داشت !
Web crawling معمولا یکی از اولین اقداماتی است که برای علم داده باید صورت بگیرد. همانطور که اشاره کردیم ، می توانید از این تکنولوژی برای مقاصد مختلفی استفاده کنید برای مثال اگر به دنبال دریافت داده از وب سایت ها هستید و یا به دنبال استفاده از Api های مختلف در اینترنت هستید ، این تکنولوژی می تواند انتخاب مناسبی برای شما باشد.
قبل از ظهور Scrapy برای استخراج داده از صفحات وب باید اقدامات مختلفی انجام می گرفت اما این فریمورک کار استخراج داده را بسیار راحت تر کرده است و در این دوره آموزشی می توانید این تکنیک ها را فرا بگیرید و از آن ها برای پروژه های خود استفاده کنید علاوه بر آن مهارت های کدنویسی شما با پایتون هم تقویت خواهد شد.
این دوره برای چه افرادی مناسب می باشد ؟
این دوره برای تمامی افرادی که به دنبال توسعه مهارت های خود در استخراج داده از اینترنت هستند مناسب می باشد و می توانند به راحتی داده های خود را استخراج کرده و از آن برای پروژه های خود استفاده کنند.
نقد و بررسی‌ها
هیچ دیدگاهی برای این محصول نوشته نشده است.