مالذي سأتعلّمه؟
- ما المقصود بـ ETL؟
- ما الخطوات المختلفة التي تشملها عملية الاستخراج والتحويل والتحميل؟
- ماذا كانت الأهداف الرئيسية لأنظمة الاستخراج والتحويل والتحميل القديمة؟
- كيف تطورت أنظمة الاستخراج والتحويل والتحميل على مدى السنوات؟ ما تأثير الحوسبة السحابية عليها؟
- ما الذي يميز الأنظمة الحديثة لإدارة البيانات عن الأنظمة القديمة المستندة إلى الاستخراج والتحويل والتحميل؟
- ما أدوات إعداد البيانات؟ كيف تختلف عن أدوات الاستخراج والتحويل والتحميل القديمة؟
- ما الذي يميز الأنظمة الحديثة لإدارة البيانات عن أدوات الاستخراج والتحويل والتحميل القديمة؟
- الخاتمة
ما المقصود بـ ETL؟ توضيح تفصيلي شامل
يرمز الاختصار ETL إلى عمليات الاستخراج والتحويل والتحميل وهي تشكل حجر الأساس الذي يمكِّن الأعمال من التعامل مع مشاهد البيانات الواسعة لديها. لنلقِ نظرة على ما تفعله أدوات الاستخراج والتحويل والتحميل وكيفية تطورها على مدى السنوات. سنتناول أيضًا بشكل موجز ما يمكن للأدوات الحديثة لإعداد البيانات فعله والتحسينات التي تقدمها على عمليات الاستخراج والتحويل والتحميل القديمة.
ما المقصود بـ ETL؟
إن عملية ETL، التي ترمز إلى الاستخراج والتحويل والتحميل، هي عملية لتكامل البيانات من نطاق تخزين البيانات وتشمل استخراج البيانات من مصادر متعددة وتحويلها إلى تنسيق مناسب للتحليل وتحميلها إلى مستودع مركزي. يُشار أحيانًا إلى هذا المستودع الوحيد المتسق باسم "المصدر الوحيد للحقيقة".
ما الخطوات المختلفة التي تشملها عملية الاستخراج والتحويل والتحميل؟
يمكن تقسيم الاستخراج والتحويل والتحميل إلى ثلاث مراحل مختلفة:
- استخراج البيانات من الأنظمة المصدر.
- تحويل البيانات لتلبية الاحتياجات التحليلية وغيرها من احتياجات الأعمال.
- تحميل البيانات إلى مستودع بيانات أو قاعدة بيانات.
ما الأهداف الرئيسية لأنظمة الاستخراج والتحويل والتحميل القديمة؟
ظهرت عملية الاستخراج والتحويل والتحميل في سبعينيات القرن الماضي، بالتزامن مع نشأة عملية تخزين البيانات ونموها. وتم تصميمها في الأساس لتلبية المتطلبات الحوسبية والتحليلية وأصبحت الطريقة الفعلية لمعالجة البيانات من أجل تخزينها.
كان الهدف من العملية جلب البيانات من مصادر مختلفة وتحويلها لتتماشى مع مخطط أو نموذج بيانات قياسي.
وضعت عملية الاستخراج والتحويل والتحميل الخطوات التمهيدية لتحليلات البيانات وتعلُّم الآلة، ما أدى إلى تبسيط البيانات عبر قواعد الأعمال لخدمة ذكاء الأعمال والتحليلات المتقدمة.
يُلجأ إليها لتحسين كل من الكفاءة التشغيلية وتفاعل المستخدم من خلال الآتي:
- استرجاع البيانات من الأنظمة الأقدم.
- تنقيح البيانات من أجل الجودة والتوحيد.
- تكامل البيانات في قاعدة بيانات معيَّنة.
تحليل عملية الاستخراج والتحويل والتحميل
كيف تطورت أنظمة الاستخراج والتحويل والتحميل على مدى السنوات؟ ما تأثير الحوسبة السحابية عليها؟
تختلف بنية إدارة البيانات الحديثة بشكل كبير عن طريقة إدارة البيانات المستخدمة خلال الفترة الأولى للاستخراج والتحويل والتحميل. لقد شهد العصر الحديث للحوسبة السحابية وإنترنت الأشياء (IoT) والذكاء الاصطناعي قفزة كبيرة من حيث كمية البيانات التي تسجلها الأعمال، حيث أصبحت المؤسسات تسجل مليارات المعاملات بعدما كانت تسجل الملايين منها. وتطورت الأنظمة الحديثة لإدارة البيانات لتواكب هذه التغييرات.
اليوم، لا تنظر الأعمال في بيانات المعاملات فقط لاتخاذ قراراتها، بل تحدد "الإشارات" وتعزلها عن كميات البيانات الهائلة أيضًا. لا يتعلق الأمر بتحسين عمليات الأعمال تدريجيًا فحسب، لكن بتحديد الفرص الجديدة أيضًا.
أتت الحوسبة السحابية بحلول مثل التخزين السحابي للبيانات الذي قدم تخزينًا فعالاً من حيث التكلفة على نطاق واسع. اليوم، أصبحت لدى المؤسسات التي كانت تخزن بيانات منظمة في مستودعات بيانات في الموقع سابقًا مجموعة متنوعة من الخيارات لتخزين البيانات، بما في ذلك أنظمة بحيرات البيانات والكتلة السحابية. يمكن لهذه الأنظمة استيعاب البيانات غير المنظمة وغالبًا ما تخزن البيانات بتنسيقها الأولي.
ما الذي يميز الأنظمة الحديثة لإدارة البيانات عن الأنظمة القديمة المستندة إلى الاستخراج والتحويل والتحميل؟
الأنظمة الحديثة لإدارة البيانات مدفوعة بالحاجة إلى المزيد من المرونة وقابلية التوسيع والكفاءة في التعامل مع البيانات.
كما هو الحال عند ظهور أنظمة الاستخراج والتحويل والتحميل القديمة إلى جانب أنظمة تخزين البيانات، ترتبط أدوات البيانات الحديثة ارتباطًا وثيقًا بظهور جيل جديد من أنظمة تخزين البيانات.
لقد أدى التطور السريع لأنظمة تخزين البيانات المرنة والقابلة للتوسع إلى فصل نقل البيانات عن إعداد البيانات. في الواقع، لقد تم فصل الاستخراج والتحميل في عملية ETL عن التحويل في ما يتعلق بإدارة البيانات.
لنتحقق من هذا بمثال من السياق الحديث. لنفكر في مؤسسة تجارية موجودة في مواقع مختلفة ولديها عدة أقسام. ويتعامل كل قسم أو كل موقع مع بياناته بشكل منفصل. وتُخزَن بيانات المبيعات في نظام لإدارة علاقات العملاء (CRM) وتُدار معلومات الموظفين في نظام للموارد البشرية ويُسجَل المخزون والسجلات المتعلقة به في نظام مصمم بشكل خاص.
أجرى مهندسو البيانات في قسم تكنولوجيا المعلومات عمليات الاستخراج والتحويل والتحميل لاستخراج البيانات من هذه المصادر المتباينة وتحويلها إلى تنسيق مثالي للتحليل وتحميلها إلى مستودعات البيانات.
مع ذلك، لا تتطلب إدارة البيانات الحديثة مساعدة مهندسي البيانات أو حتى فريق تكنولوجيا المعلومات لإعداد البيانات للتحليل. ويمكن حتى للأشخاص غير التقنيين إعداد البيانات بطريقة تجعلها ملائمة للتحليل واتخاذ القرارات.
ما أدوات إعداد البيانات؟ كيف تختلف عن أدوات الاستخراج والتحويل والتحميل القديمة؟
أدوات إعداد البيانات أو تجهيز البيانات، كما يُطلَق عليها أحيانًا، هي أدوات حديثة للبيانات تعالج الجزء الخاص "بالتحويل" في دورة الاستخراج والتحويل والتحميل التقليدية. وتُعنى أيضًا بالجزء الخاص "بالمحتوى" في عملية الاستخراج والتحويل والتحميل التي يتم فيها إعداد البيانات للاستهلاك النهائي.
على الرغم من أن الأدوات الحديثة لإعداد البيانات تعمل استنادًا إلى المبادئ الجوهرية نفسها لأنظمة الاستخراج والتحويل والتحميل القديمة، مثل تعيين المخططات بين قواعد البيانات الارتباطية واحتساب الصيغ وتحويل قواعد البيانات، فإنها تتجاوز هذه الحدود بشكل كبير.
بينما اعتمدت أدوات الاستخراج والتحويل والتحميل التقليدية على مهندسي البيانات وقسم تكنولوجيا المعلومات لإجراء العمليات، تمكِّن الأدوات الحديثة لإعداد البيانات مجموعة جديدة من المستخدمين من العمل باستخدام البيانات. من خلال واجهة مستخدم سهلة الاستخدام وتقديم تفاصيل مرئية حول جودة البيانات واقتراحات ذكية وملاحظات مرئية أخرى، يمكِّن إعداد البيانات اليوم المستخدمين غير التقنيين من إعداد البيانات.
تضفي الأدوات الحديثة لإعداد البيانات طابعًا ديموقراطيًا على عملية تحويل البيانات من خلال إتاحة عملية إعداد البيانات للمستخدمين غير التقنيين مع بعض الإشارات المرئية.
تستخدم أدوات إعداد البيانات القائم على الخدمة الذاتية تصورات وتوصيات مستندة إلى الذكاء الاصطناعي لإتاحة عملية إعداد البيانات لجيل جديد من المستخدمين، بما في ذلك الأشخاص المهتمون بالبيانات.
تسمح الأدوات الحديثة لإعداد البيانات للمستخدمين بإعداد البيانات في واجهة سهلة الاستخدام والاستفادة من التقنيات الحديثة مثل الذكاء الاصطناعي.
ما بعض الفوائد الرئيسية لاستخدام أدوات إعداد البيانات؟
تقدم الأدوات الحديثة لإعداد البيانات، التي تشكل أحد الأجزاء بالغة الأهمية في سير عمل إعداد البيانات اليوم، ثلاث فوائد كبيرة في ما يخص إدارة البيانات. تتمثل هذه الفوائد في تسريع الوقت المستغرق للتعرف على القيمة وتقليل تكاليف التشغيل وتحسين المراقبة والحوكمة
الخاتمة
عند إلقاء نظرة سطحية، يتضح أن تدفق البيانات عبر نظام لإدارة البيانات اليوم يظل، في جوهره، مشابهًا لما حدث خلال السنوات الأولى لتشكيل أنظمة الاستخراج والتحويل والتحميل. ومع ذلك، لقد تم إضفاء طابع ديموقراطي على عملية إعداد البيانات الحالية بسبب الأدوات الحديثة التي تقدم إلى المستخدمين إشارات مرئية حول كيفية إعداد البيانات بسهولة.