معالجة القيم الشاذة (Outliers Processing)

لا يُولي بعض محللي البيانات اهتمامًا كافيًا للقيم الشاذة (Outliers)، وقد يصادف بعضهم هذا المصطلح للمرة الأولى. والحقيقة أن للقيم الشاذة تأثيرًا كبيرًا على العديد من المؤشرات الإحصائية، كما أن أساليب التعامل معها ومعالجتها ترتبط بعدة عوامل؛ بعضها بسيط، وبعضها أكثر تعقيدًا ويرتبط بنوع المؤشر الإحصائي المستخدم.

ويتعيّن على محلل البيانات الإلمام بالتمييز بين المعاملات الملساء (Smooth Parameters) وتلك التي ليست كذلك، لأن ذلك يحدد مدى تأثر المؤشر بالقيم الشاذة.

فعلى سبيل المثال، يُعد المتوسط الحسابي (Mean) من أفضل مقاييس النزعة المركزية، إلا أنه شديد التأثر بالقيم الشاذة مقارنةً بـ الوسيط (Median)، علمًا بأن الوسيط—رغم مقاومته للقيم الشاذة—لا يُعد دائمًا أدق مؤشرًا من المتوسط الحسابي في تمثيل البيانات.

فيما يلي تسليط الضوء على أحد الجوانب المهمة المرتبطة بالقيم الشاذة، وهو أبسطها: أساليب معالجة القيم الشاذة.

أساليب معالجة القيم الشاذة

1) مراجعة المصدر

تتم مراجعة مصدر البيانات للتحقق من القيمة. فإذا تبيّن وجود خطأ إدخال، يتم تصحيحه.

مثال: في دراسة تخص الأطفال، قد يُسجَّل العمر خطأً 22 بدل 2؛ وهنا يُكتشف الخطأ ويُصحَّح مباشرة.

2) المعالجة المنطقية للقيم الشاذة

يمكن اكتشاف بعض القيم الشاذة عبر التحقق المنطقي.

مثال: عند دراسة القوى العاملة، تُحذف بيانات شخص عمره 7 سنوات لأنه لا يُصنَّف ضمن القوى العاملة.

3) التمييز بين ما يُحتفَظ به وما يُحذَف

تُعد هذه الخطوة مرهِقة لغياب معايير صارمة لقبول أو رفض القيم الشاذة.

يوفّر برنامج SPSS تصنيفًا عمليًا يقسم القيم إلى:

• Outliers: القيم الواقعة بين الربعين الأول/الثالث و1.5 مرة من المدى الربيعي (IQR).

• Extreme Values: القيم الواقعة بين 1.5 إلى 3 مرات من المدى الربيعي.

وبصيغة أخرى: قيم بعيدة عن مركز البيانات وقيم بعيدة جدًا عنه. ويمكن—في هذا السياق—اعتماد سياسة الاحتفاظ بالقيم الشاذة وحذف القيم المتطرفة جدًا.

4) تعويض القيم الشاذة المحذوفة

وهي أدقّ وأحسّ المراحل. إذ يتعيّن اتخاذ قرار بشأن القيم المحذوفة:

• هل تُترك كقيم مفقودة (Missing Values)؟

• أم تُستبدل بقيم بديلة؟

كلا الخيارين يترتب عليه تبعات منهجية. وإذا تقرر الاستبدال، تظهر تحديات اختيار منهجية التعويض المناسبة؛ إذ تتعدد طرق تعويض القيم المفقودة، ولكل طريقة أثرها على نتائج التحليل الإحصائي. (وسيتم تناول تعويض القيم المفقودة بتفصيل لاحقًا).

ملاحظات ختامية

ليس من السهل تلخيص جميع منهجيات التعامل مع القيم الشاذة في سطور قليلة؛ فحذف القيم الشاذة يفتح بابًا لقرارات لاحقة:

هل نتركها كقيم مفقودة أم نعوضها؟

كما أن إعادة تحليل البيانات بعد الحذف قد تُظهر قيمًا شاذة جديدة لم تكن كذلك قبل التعديل (أي قبل حذف المرحلة الأولى).

لذلك، يُنصح محللو البيانات بتعميق الدراسة في هذا الموضوع، وتحديد مستوى التعمق المطلوب وفقًا لحجم البيانات وحساسيتها، لضمان دقة النتائج وموثوقيتها.