مكتبات البايثون لتحليل البيانات (٣)

يعتمد تنظيف البيانات في لغة بايثون على إزالة العقبات التي تفسد دقة التحليل، مثل الصفوف المكررة والخلايا الفارغة والبيانات الخاطئة. تقوم وظيفة drop_duplicates() بحذف التكرارات بعد كشفها عبر duplicated()، بينما تكشف وظيفة isnull().sum() عن عدد الخلايا الفارغة في كل عمود ليتم التخلص منها باستخدام dropna(). أما معالجة البيانات الخاطئة فتتطلب تحديد الأخطاء الرقمية كالقيم السالبة في الأعمدة المخصصة للأعداد الموجبة ثم التعامل معها بالحذف أو التعديل. مثال ذلك: كتابة الأمر data.dropna() لتنظيف الجدول من كل القيم المفقودة دفعة واحدة.

الفكرة الأساسية

تنظيف البيانات هو الخطوة التي تسبق أي تحليل حقيقي لجعلها خالية من العيوب والأخطاء.

الشرح

تأتي البيانات غالباً ومعها مشكلات تفسد نتائج الحسابات. المشكلة الأولى هي الصفوف المكررة التي تضاعف حجم الأرقام بلا مبرر، ويتم التعامل معها بوظيفة drop_duplicates بعد التأكد منها. المشكلة الثانية هي الخلايا الفارغة التي تعني وجود نقص في السجلات، ويكشف عنها الأمر isnull().sum() ليعطيك مجموع الفراغات في كل عمود، ثم تحذف بالوظيفة dropna(). المشكلة الثالثة هي البيانات الخاطئة، مثل وجود أرقام سالبة في عمود مخصص لعدد الطلبة، وهو أمر غير منطقي يتطلب الفحص والتصحيح.

مثال محلول خطوة بخطوة

1. لكشف الخلايا الفارغة في كل عمود ومعرفة عددها، اكتب الأمر: missing_values_count = data.isnull().sum()
2. لعرض النتائج الناتجة عن هذا الأمر، اكتب اسم المتغير: missing_values_count
3. لحذف جميع الصفوف التي تحتوي على خلايا فارغة وتحديث الجدول، اكتب الأمر: data = data.dropna()
4. للتحقق من نظافة الجدول وخلوه تماماً من القيم المفقودة، كرر أمر العد ليظهر الناتج صفراً لكل الأعمدة.

أخطاء شائعة

• نسيان تحديث المتغير بعد تطبيق وظيفة الحذف، مما يجعل البرنامج يحتفظ بالبيانات القديمة دون تعديل.
• استخدام وظيفة الحذف دون التأكد مسبقاً من وجود خلايا فارغة أو صفوف مكررة بالفعل.

سؤالان للتدريب مع الإجابة

السؤال الأول: ما الوظيفة المستخدمة لمعرفة عدد الخلايا الفارغة في كل عمود من إطار البيانات؟ الإجابة: isnull().sum() السؤال الثاني: كيف تتخلص من الصفوف المكررة في مجموعة البيانات؟ الإجابة: باستخدام الوظيفة drop_duplicates()