تجريف الويب الحديث باستخدام بايثون

الوصف

استغل قوة Scrapy و BeautifulSoup و Selenium لتعزيز لعبة كشط الويب!

ماذا ستتعلم
فهم أهم مكونات تجريف الويب
بناء مشاريع تجريف الويب الخاصة بهم
تعرف على المكونات الأساسية لاثنين من أقوى مكتبات الكشط: Scrapy و BeautifulSoup
بناء العديد من المشاريع العملية

المتطلبات
اتصال الإنترنت
Windows أو Linux أو Mac OS جنبًا إلى جنب مع Anaconda و Spyder
وصف
الوصول إلى البيانات التي تحتاجها يمكن أن يجعلك أو يكسر.

هذا هو السبب في أن شركات Fortune 500 مثل Walmart و CNN و Target و HSBC تستخدم تجريف الويب للمضي قدمًا والمضي قدمًا في البيانات.

إنها أداة النمو الأصلية وأحد أفضل أسرارهم المحفوظة

… ويمكن أن يكون لك بسهولة أيضًا.

من انتحال البيانات إلى الجوانب القانونية ، والزحف إلى المكتبات ، والصيانة ، والمراقبة ، وأكثر من ذلك ، يعد إنشاء مكشطة ويب آمنة وفعالة عملًا محفوفًا بالمخاطر ، ولكنها مهارة يحتاجها كل عالم بيانات في مجموعة أدواتهم.

اليوم ، نقوم ببناء واحدة من الصفر.

مرحبًا بك في Modern Web Scraping في Python.

في نهاية هذه الدورة التدريبية ، ستفهم أهم مكونات تجريف الويب وستكون قادرًا على إنشاء كاشطات الويب الخاصة بك للحصول على بيانات جديدة وتحسين العمليات الداخلية والمزيد.

بالإضافة إلى ذلك ، تعرف على بعض أكثر تقنيات الكشط شيوعًا وشحذ مهاراتك في برمجة Python أثناء تواجدك فيها!

أولاً ، تعرف على أساسيات تجريف الويب ، واستكشف إطار عمل موقع ويب واجعل بيئتك المحلية جاهزة لمواجهة تحديات التجريف باستخدام Scrapy و BeautifulSoup و Selenium.

بعد ذلك ، قم بإعداد Scrapy crawler وقم بتغطية التفاصيل الأساسية التي يمكن تطبيقها على بناء مجموعات البيانات أو التعدين.

بعد ذلك ، قم بتغطية أساسيات BeautifulSoup ، واستخدم مكتبة الطلبات ومحلل LXML ، وقم بالترقية لنشر خوارزمية كشط جديدة لكشط معلومات المنتج الأعلى من Amazon

رابعًا ، قم بإعداد السيلينيوم ، وانشره لحل تحد عملي حقيقي. بالإضافة إلى ذلك ، أرسل الحل للحصول على تعليقات مفيدة مني.

أخيرًا ، اختبر مهاراتك المكتشفة حديثًا في مشروع للأمن السيبراني يتضمن العثور على بيانات شديدة الحساسية.

سنعمل على البرمجة بلغة Python ، وباستخدام مجموعة الاختبار الآلي Selenium ، وإطار Python Framework Scrapy ، والمكتبة BeautifulSoup لإنشاء برامج كاشفة على الويب يمكن تخصيصها وفقًا لاحتياجاتك الخاصة.

ولكن ليس كل ما تحصل عليه من جولة تفصيلية.

قم بالوصول إلى منتدى الطلاب الخاص بنا حيث يمكنك التفاعل معي ومع زملائك الطلاب. اطرح علي أسئلة ، وتلقي مدخلات من الطلاب الآخرين واستلهم من حلول الكشط الذكية من زملائك في الفصل.

سواء كنت عالم بيانات أو تعلم آليًا أو مهندس ذكاء اصطناعي ترغب في الوصول إلى المزيد من مصادر البيانات ؛ مطور ويب يتطلع إلى أتمتة المهام ، أو محرك بيانات لديه اهتمام عام بعلوم البيانات وكشط الويب …

تقدم هذه الدورة عرضًا تقديميًا متعمقًا لأساسيات ومنهجيات ومناهج كشط الويب التي يمكنك تطبيقها بسهولة على مشاريعك الشخصية ، أو في عالم الأعمال الحقيقي.

لمن هذه الدورة:
أي شخص مهتم بتسخير قوة البيانات وكشط الويب / الزحف واستخراج البيانات.
علماء البيانات الذين يرغبون في نقل مهاراتهم إلى المستوى التالي
مهندسو ML / AI الذين يرغبون في تجميع مصادر جديدة للمعلومات أو مجموعات البيانات
مطورو الويب يتطلعون إلى الحصول على معلومات جديدة أو أتمتة المهام
أي شخص مهتم بالبرمجة أو علوم الكمبيوتر
مهندسو البرمجيات أو المبرمجون الذين يتطلعون إلى توسيع مجموعة مهاراتهم

أهلا بك!
معاينة
طلب HTTP بسيط

ما هو موقع الويب + DOM

سامية

مفتش

عبور الشجرة

ملف robots.txt

إشعار تحديث أناكوندا

تحميل اناكوندا

إعداد البيئة الافتراضية الخاصة بك

التغييرات

مقدمة وتركيب سكرابى
معاينة
بدء مشروع Scrapy الخاص بك

بناء أول العنكبوت الخاص بك

شل الخردة

المحددات

العناصر الخردة

طلب + استجابة سريعة

عبور الخيارات

مقدمة التحدي

حل التحدي

سحابة خردة

القسم مقدمة + تركيب السيلينيوم

موارد السيلينيوم

السيلينيوم – انقر فوق منقح

مفاتيح تسجيل دخول السيلينيوم

مقدمة عن تحدي السيلينيوم

موصى به: قم ببناء نهجك الخاص أولاً

تحدي السيلينيوم Pt. 1

حل تحدي السيلينيوم

ملاحظات حول مشروع السيلينيوم