اكتشف أسرار معالجة مسبقة للبيانات

المعالجة المسبقة للبيانات (بالإنجليزية: Data preprocessing) هي مصطلح يشير إلى مرحلة تسبق تحليل البيانات، بهدف تحسين قدرات التحليل والاستدلال من هذه البيانات، وذلك عن طريق تهيئة أجزاء معينة من معلومات البيانات وإزالة أجزاء غير ضرورية أو زيادتها، قبل الشروع في تحليل هذه البيانات واستخدامها في أي عملية، وغالبًا ما تُعد خطوة مهمة في عملية التنقيب عن البيانات (بالإنجليزية: Data mining). ونظرًا لأن طرق جمع البيانات تكون في كثير من الأحيان غير مُحكَمة بدرجة كافية مما يؤدي إلى وجود قيم خارج النطاق كأن يكون رقم التليفون بالسالب أو به كسور عشرية وعلى نحو مماثل في تسجيلات تخطيط كهربية الدماغ التي تحاول مراقبة نشاط الدماغ بأن تكون الإشارات المُدخلة لا تنشأ من القشرة المخية ولكن من عضلات فروة الرأس، أو تراكيب بيانات غير منطقية مثل أن يكون الجنس ذكراً والبيان أنه حامل، أو بيانات مفقودة وغيرها من المشكلات التي قد تؤدي إلى نتائج مضللة وغير منطقية عند التحليل، فلذلك يتم في مرحلة المعالجة المسبقة للبيانات تحويل البيانات غير المُهيكلة إلى تمثيلات مناسبة تصلح للاستخدام في نماذج تعلم الآلة (بالإنجليزية: Machine learning)، فيتم التعامل مع "الضجيج" الموجود في البيانات وإزالته بأنسب الطرق المقبولة بهدف الوصول إلى نتائج أفضل وأكثر دقة مقارنةً بالبيانات الأصلية المليئة بالتشويش.

إن تحليل البيانات قبل تحديد مثل هذه المشاكل، أو دون دراسة مناسبة لتلك المشاكل قبل التحليل، قد يؤدي إلى استنتاجات غير صحيحة أو أقل دقة، وهي ظاهرة تعرف باسم "القمامة الداخلة والقمامة الخارجة" (GIGO) (بالإنجليزية: Garbage In - garbage Out). وبالتالي، فالمعالجة المسبقة للبيانات هي أهم مرحلة من مراحل تعلم الآلة خاصة في علم الأحياء المُحوسَب، والتأكد من جودة البيانات مرحلة لازمة قبل إجراء أي عمليات من أجل الحصول على نتائج سليمة ومُعبّرة تعبيرا صحيحا. إذا وُجدت نسبة عالية من المعلومات غير المهمة أو المكررة، أو إذا كانت البيانات مليئة بالتشويش وغير موثوقة، فإن عملية استخراج المعرفة خلال مرحلة التدريب تصبح أكثر صعوبة. كما أن خطوات إعداد البيانات وتصفية البيانات يمكن أن تستغرق وقتًا كبيرًا من المعالجة.

ومن أمثلة الأساليب المستخدمة في المعالجة المسبقة للبيانات: تنظيف البيانات، اختيار المثيل، التطبيع (بالإنجليزية: normalization)، تشفير الواحد النشِط، تحويل البيانات، استخراج الخصائص، وانتقاء الخصائص.

قد تؤثر المعالجة المسبقة للبيانات على تفسير نتائج التحليل ككل. ومن ثم، لا بد من ممارسة الحكمة عند استخدام الأدوات المختلفة كجزء من هذه العملية، مع فهم الآثار التي تخلقها هذه الأدوات على تفسير النتائج. إن تحليل البيانات التي لم يتم فحصها بدقة بحثًا عن هذه الأخطاء والمشكلات قد يؤدي إلى استنتاجات ونتائج غير دقيقة. لذلك، يعتمد نجاح مشاريع علم البيانات واستخراج البيانات إلى حد كبير على جودة إعداد البيانات أثناء المعالجة المسبقة للبيانات.