‏إظهار الرسائل ذات التسميات مخازن ومناجم البيانات. إظهار كافة الرسائل
‏إظهار الرسائل ذات التسميات مخازن ومناجم البيانات. إظهار كافة الرسائل

مخازن ومناجم البيانات

0

مخازن ومناجم البيانات



 تحديد حجم الكميات المختلفة للبيانات ومايعادلها من كميات لمواد ملموسه على ارض الواقع

1 MB = 220 or 106 bytes  -  31/2 Disk - يعادل رواية ادبيه قصيرة
1 GB  =  230 or 109 bytes - يعادل ورق لف " رول" الذي قد يملأ صندوق شاحنة بيك اب
1 TB  =  240 or 1012 bytes - يعادل 50000 شجرة مقطوعة ومفرومه " على شكل نشاره"ومحولة الى ورق جاهز للطباعة 
2 PB   1 PB = 250 or 1015 bytes     يعادل مكتبات البحث الأكاديمي في جميع أنحاء الولايات المتحدة 
5 EB   1 EB = 260 or 1018 bytes  يعادل جميع الكلمات المنطوقة من بداية البشرية 

 مستودع البيانات DWH

مستودع كامل لبيانات تاريخ الشركة ، المستخرجة من أنظمة المعاملات ، والتي تكون متاحة للوصول المخصص لموظفي قواعد المعرفة.

مستودع كامل 

• جميع البيانات الموجودة من جميع فروع / منافذ العمل.
• قد يتم جلب البيانات المؤرشفة على الإنترنت.
• يتم أيضًا جلب البيانات من الأنظمة الغامضة والقديمة عبر الإنترنت.

نظام المعاملات

• نظام المعلومات الإدارية (MIS)
• يمكن أن تكون أوراق مطبوعة (وليس نظام المعاملات)

الوصول المخصص

• ليس له نمط وصول محدد مسبقًا إلى قاعدة البيانات.
• استعلامات غير معروفة مقدما.
• من الصعب كتابة SQL مقدما.

موظفي المعرفة

• عادة لا يجيدون تكنولوجيا المعلومات (التنفيذيين والمحللين والمديرين).
• ليسوا موظفين مكتبيين.
• صناع القرار
مستخدمي مستودع البيانات هم عمال معرفة وبعبارة أخرى هم صناع القرار في المنظمة. إنهم ليسوا المكتبيين الذين يدخلون البيانات أو يشرفون على المعاملات وما إلى ذلك أو يقومون بالبرمجة أو إجراء تصميم / تحليل النظام. هؤلاء هم صناع القرار في المنظمة مثل المدير العام وما إلى ذلك.

بناء مستودع البيانات

 خذ جميع البيانات من أنظمة التشغيل المختلفة.
 إذا لزم الأمر ، أضف البيانات ذات الصلة .
 تحويل جميع البيانات وإدخالها في تنسيق موحد.
 دمج جميع البيانات ككيان واحد.
 تخزين البيانات بتنسيق يدعم الوصول السهل لدعم اتخاذ القرار.
 إنشاء مؤشرات لتحسين الأداء.
 تنضيم تنفيذ تحسين الأداء.
 تشغيل استعلامات مخصصة ذات انتقائية منخفضة.

4. معالجة التحويل عبر الإنترنت (OLTP)

التحويل عبر الانترنتOLTP  (online transaction processing) -هو فئة من البرامج التي تسهل وتدير التطبيقات الموجهة للمعاملات ، عادةً لإدخال البيانات ومعاملات الاسترجاع في عدد من الصناعات ، بما في ذلك الخدمات المصرفية وشركات الطيران ومحلات السوبر ماركت والشركات المصنعة.

الفرق بين DWH وأنظمة OLTP 

DWH

  • تطبيق محايد
  • مصدر واحد للحقيقة
  • يخبرنا عن كيفية تحسين الأعمال
  • يحتفظ بتاريخ بيانات مفصل
  • تلخيص البيانات
  • ازالة التطبيع بخفه
  • بالكاد تستخدم الاستعلامات المفاتيح الأساسية.
  • عدد النتائج التي تم إرجاعها بواسطة الاستعلامات بالألوف
  • عادة يتيح  6 × 12

OLTP 

  • تطبيق محدد
  • قواعد بيانات متعددة مع التكرار
  • يشغل الاعمال
  • يحتفظ فقط ببيانات التشغيل
  • غير ملخص
  • تطبيع كامل
  • الاستعلامات تعتمد على المفاتيح الاساسية 
  • عدد النتائج التي تم إرجاعها بالمئات
  • عادة يتيح 24x7

معمارية مستودع البيانات

نبدأ باستخراج البيانات من مصادر مختلفة ، وتحويل وتنظيف تلك البيانات ثم تحميلها في مستودع البيانات. يجب أن يكون لدى مستودع البيانات نفسه مخططات متخصصة لإعطاء إجابات سريعة على الاستفسارات النموذجية. يتم إنشاء ساحات البيانات من مستودع البيانات لتلبية احتياجات الأقسام المختلفة مثل التسويق والمبيعات وما إلى ذلك بحيث لا يتعين عليهم العمل مع الحمل الثقيل لمستودع البيانات الكامل. بمجرد أن يكون مستودع البيانات في مكانه (كما تمت مناقشته بإيجاز من قبل) ، يتم إنشاء مكعبات بيانات من أجل الاستقصاء "الكل" المحتمل القائم على التراجع إلى OLAP. وننتقل إلى أبعد من ذلك ونستخدم أدوات ذكية مثل تجميع البيانات وتصنيف التقنيات.

التطبيع

التطبيع هو عملية تنظيم البيانات بكفاءة في قاعدة بيانات عن طريق تحليل (تقسيم) جدول علائقي إلى جداول أصغر حسب الإسقاط. هناك هدفان أساسيان للتطبيع على النحو التالي:

1. القضاء على البيانات الزائدة (على سبيل المثال ، تخزين نفس البيانات في أكثر من جدول )
2. التأكد من أن تبعيات البيانات منطقية (فقط تخزين البيانات ذات الصلة في جدول).

كلاهما أهداف جديرة بالاهتمام ، لأنها تقلل من مقدار المساحة التي تستهلكها قاعدة البيانات ، وتضمن تخزين البيانات بشكل منطقي.

إزالة التطبيع

إزالة التطبيع هي عملية تحويل العلاقات المقيسة بشكل انتقائي إلى مواصفات سجلات فعلية غير طبيعية ، بهدف تقليل وقت معالجة الاستعلام. الغرض الأساسي الآخر من إزالة التطبيع هو تقليل عدد الجداول المادية التي يجب الوصول إليها لاسترداد البيانات المطلوبة عن طريق تقليل عدد الصلات المطلوبة للإجابة على استعلام.

المعالجة التحليلية الأولية (OLAP)

OLAP هو معالجة تحليلية بدلاً من معالجة المعاملات. في الواقع لا يوجد شيء اونلاين هنا بخلاف OLTP. هنا  الأونلاين يعني السرعة. كما أنها ليست تقنية تصميم قاعدة بيانات مادية أو تقنية تنفيذ ، ولكنها إطار يدعم التحليل. علاوة على ذلك ، تكون بيانات OLAP إما غير طبيعية أو غير طبيعية تمامًا.
يدعم OLAP عملية التفكير البشري. هنا يؤدي استعلام واحد إلى استعلام اخر . ولا يمكن معرفة تسلسل الاستعلام مقدمًا. يتم تزويد المستخدم بنقطة ثم ينقر على "environment ". أثناء اتخاذ القرار ، لا يجري المستخدم عمليات على مستوى السجل ، بل لديه نظرة ماكرو للبيانات-ان صحت الترجمة-. يقوم المبرمجون بعمل تجميعات للبيانات المحفوظة في التسلسل الهرمي.
أساس التصميم في هذه البيئة هو من خلال استخدام تقنيات نمذجة الأبعاد التي تركز على مفاهيم "الحقائق" و "الأبعاد" لتنظيم البيانات. فالحقائق هي الكميات والأرقام التي يمكن تجميعها (على سبيل المثال ، $ المبيعات ، الوحدات المبيعة وما إلى ذلك) التي نقيسها والأبعاد هي كيف نقوم بتصفية / الإبلاغ عن الكميات (على سبيل المثال ، حسب الموقع الجغرافي ، المنتج ، التاريخ ، إلخ).

اختبار FASMI لـ OLAP

بالنسبة لنظام يسمى OLAP ، يجب أن يحمل الخصائص التالية:

سريع: يقدم معلومات للمستخدم بمعدل ثابت إلى حد ما ، أي O (1) مرة.
          تم الرد على معظم الاستعلامات في أقل من 5 ثوان.

التحليل: إجراء التحليل العددي والإحصائي الأساسي للبيانات ، المحددة مسبقًا
                 بواسطة مطور تطبيقات أو محدد بشكل خاص من قبل المستخدم.

مُشاركّ: يطبق متطلبات الأمان اللازمة للمشاركة المحتملة
               البيانات السرية عبر عدد كبير من المستخدمين.

متعدد الأبعاد: السمة الأساسية لل OLAP.

المعلومات: يصل إلى جميع البيانات والمعلومات اللازمة وذات الصلة لل
                      التطبيق ، أينما كان ولا يقتصر على الحجم.


تطبيقات OLAP مختلفة

يمكن تنفيذ OLAP بالطرق الأربع التالية:

تقوم MOLAP فعليًا بإنشاء "مكعبات" للوصول المباشر - عادةً بتنسيق ملف خاص بقاعدة بيانات متعددة الأبعاد (MDD) أو بنية بيانات يحددها المستخدم. لذلك لا يتم دعم ANSI SQL.

يوفر ROLAP أو Relational OLAP الوصول إلى المعلومات عبر قاعدة بيانات علائقية باستخدام معيار ANSI SQL.

يوفر HOLAP مجموعة من الوصول إلى قواعد البيانات العلائقية وهياكل البيانات "المكعب" ضمن إطار واحد. الهدف هو الحصول على أفضل النتائج من كل من MOLAP و ROLAP: قابلية التوسع (عبر الهياكل العلائقية) والأداء العالي (عبر المكعبات المعدة مسبقًا).

DOLAP


يسمح بتنزيل هياكل "المكعب" على منصة سطح المكتب دون الحاجة إلى خادم مشترك. وهو يدعم شريحة ونردات واسعة النطاق لمكعب البيانات. يحتاج تنفيذ DOLAP إلى أن يكون أكثر كفاءة في استخدام القرص والذاكرة من تطبيقات الخادم النموذجية لأن طاقة الحوسبة غالبًا ما تكون محدودة على جهاز كمبيوتر محمول

المعالجة التحليلية متعددة الأبعاد اونلاين (MOLAP)

تم تنفيذ OLAP تاريخياً باستخدام بيانات متعددة الأبعاد
هيكل أو "مكعب".
 الأبعاد عوامل تجارية رئيسية للتحليل:
• الجغرافيا (المدينة ، المقاطعة ، التقسيم ، المقاطعة ، ...)
• المنتجات (البند ، فئة المنتج ، قسم المنتج ، ...)
• التواريخ (يوم ، أسبوع ، شهر ، ربع ، سنة ، ...)

أداء عالي جدًا تم تحقيقه من خلال البحث عن الوقت O (1) في بيانات "المكعب"
هيكل لاسترداد النتائج المجمعة مسبقا.

تطبيقات MOLAP

 لا توجد لغة استعلام قياسية للاستعلام عن MOLAP
 لاتستخدم SQL!
 يوفر البائعون لغات خاصة تتيح لمستخدمي الأعمال إنشاء استعلامات تتضمن المحاور أو التنقيب أو التجميع. - على سبيل المثال MDX من Microsoft

عمليات المكعب

1. التراكمي: تلخيص البيانات
  على سبيل المثال ، بالنظر إلى بيانات المبيعات ، لخص المبيعات للعام الماضي حسب فئة المنتج
     والمنطقة.
  2. التنقل لأسفل: الحصول على مزيد من التفاصيل
  على سبيل المثال ، بالنظر إلى المبيعات الموجزة كما هو موضح أعلاه ، ابحث عن تقسيم المبيعات حسب المدينة داخلها
     كل منطقة.
3. الشريحة والنرد: التحديد والمشروع
  على سبيل المثال: مبيعات المشروبات الغازية في ابها خلال الربع الأخير.

مزايا MOLAP

1. استجابة فورية (التجميعات المحسوبة مسبقًا).
2. من المستحيل طرح سؤال بدون إجابة.
3. وظائف القيمة المضافة (الترتيب ، النسبة المئوية للتغيير).

عيوب MOLAP

1. وقت تحميل طويل (قد يستغرق الحساب المسبق للمكعب أيامًا!).
2. مكعب متناثر جدا (هدر المساحة) لارتفاع عدد العناصر في المجموعة

. العلاقة التحليلية اونلاين (ROLAP)


 يتم تخزين بيانات ROLAP في العلاقات باستخدام مخطط النجوم.
 جدول الحقائق هو طريقة لتصور الجداول كمكعب غير متحرك.
 وفقًا لاختبار FASMI ، يجب أن يكون OLAP متعدد الأبعاد وهذا هو السبب في أننا نريد أن تبدو مجموعات الجداول مثل المكعب (منطقيًا).
 يتم إنشاء المكعب وتعبئته باستخدام SQL.
 في ROLAP بيئة ذكية تعرف باسم أعمال التوعية الإجمالية.
 الوعي التراكمي يعرف أي من المجاميع الموجودة في النظام في الوقت الحاضر وأيها يمكن أن يلبيها في الوقت الحاضر.
 إذا لم يتم استيفاء استعلام معين من قبل المجاميع الحالية.  يتم تجميع المجاميع الحالية لتكوين مجاميع عالية المستوى والتي يمكن أن تكون قادرة على تلبية تلك الاستفسارات.
يستخدم مخطط النجم عادة لتسهيل استعلامات ROLAP من أجل تعزيز الأداء.

جميع الحقوق محفوظه © مدونة فـاب

تصميم الورشه