البيانات الضخمة، الفرص والتحديات

نعلم الآن أن البيانات الضخمة حولنا فى كل مكان! ومجالات تطبيقها واسعة لتشمل قطاعات مختلفه من الصحة الى التعليم الى الأسوالق الماليه وغيرها. فى  تحليل خاص بمجله فوربس الشهيرة عن أستثمارات القطاعات المختلفة بالولايات المتحدة فى مجال البيانات الضخمة فى عام واحد يتضح مدى ازدياد الحاجة الى تكنولوجيا متطورة لأستيعاب حجم الطلب المتزايد من جميع القطاعات على أدوات كافية لأستيعاب الزيادة المستمرة فى البيانات 1

Industry

و أيضا تسرد فوربس بعض الحقائق عن انفاق قطاع تكنولوجيا المعلومات وأستثماراتة المستقبلية فى البيانات الضخمة وادواتها منها على سبيل المثال توقع جارتنر بانفاق 29 بليون دولار فى العام 2012 على تقنيات البيانات الضخمة وتوقع آخر بمعدل نمو سنوى بنسبة 45% فى مجال تحليل شبكات التواصل الأجتماعية وتحليل المحتوىsocial network analysis and content analysis.

 IT-Spending-Driven-by-Big-Data

ويطرح هذا تساؤلا مهما، هل يوجد بسوق العمل عدد كاف من اخصائين تحليل البيانات والملمين باستخدام تكنولوجيا البيانات الضخمة لتغطية المتطلبات المتزايدة للقطاعات المختلفة؟

بحسب تقرير ماكينزى انه بحلول العام 2018 ستعانى الولايات المتحدة الأمريكية وحدها من نقص 140000 الى 190000 من ذوى مهاره التحليل العميق للبيانات بالإضافه الى نقص 1.5 مليون مدير ومحلل ممن لديهم الخبره والكفاءه فى أستخدام مهارات تحليل البيانات وأستخدام تكنولوجيا البيانات الضخمة لدعم إتخاذ القرارات2

وفى تحليل خاص بشركه Burning Glass المتخصصه فى تحليل ملايين البيانات الخاصة بمتطلبات سوق العمل ان مهاره تحليل البيانات ضمن أكثر 10 مهارات يطلبها اصحاب العمل بمتوسط دخل 97000$ شهريا. 3

تقودنا تلك الحقائق ال تساؤل مهم آخر، هل يقتصر سوق عمل بتكنولوجيا البيانات الضخمة على الشركات والمؤسسات الضخمة فقط؟ ماذا يمكن أن تقدم تكنولوجيا البيانات الضخمة للاعمال الصغيرة والأفراد؟

الشركات الكبيرة، عادة ما تستخدم البيانات الضخمة للحصول على معلومات دقيقة حول سلوك المستهلك، واستهداف التسويق، وإنعاش وزيادة الأرباح. أما الأعمال الصغيرة، عادة ما تستخدم البيانات الضخمة بشكل أقلّ. حتى الآن، أغلب الملاّك يظنونها صعبة جداً ومكلفة جداً أو بشكل أبسط، مرهوبة!لكن هذا على وشك التغيير، هذه الأيام، عدد أكبر من الأعمال الصغيرة، تجمع وتعالج كميات كبيرة من البيانات لرفع مبيعاتها

“ الأعمال الصغيرة لا يجب أن تكون خائفة من البيانات الضخمة”

يقول ستيف كينج، شريك بـشركة “البحوث الناشئة” ومؤلف مشارك بالتقرير الحالي لـ “ديموقراطية البيانات الجديدة”: كيف ستطوّر البيانات الضخمة حياة الأعمال الصغيرة والمستهلكين. 4
“نمو الانترنت، الشبكات اللاسلكية -الوايرلس- الهواتف الذكيّة، مواقع التواصل الاجتماعي، والتقنيات الرقمية الأخرى، تشكل وقت ثورة البيانات الضخمة. البيانات الضخمة كانت حكراً على الإحصائيين والشركات الضخمة فقط، لكن ليس بعد الآن، هناك الآن نسق من التقنيات، التي تعطي الأعمال الصغيرة، إمكانية الوصول لتحليلات معقدة للبيانات. جووجل آد ووردز،مثلاً. تطبيق للبيانات الضخمة، الذي يتيح معلومات لأسواق الشركات الصغيرة، ويحسن إمكانية اتخاذ القرار، ونتائج فائقة الدقّة، كل هذه الأدوات في وقت ما كانت حكراً على الشركات الضخمة فقط.”

ماذا يمكن للأعمال الصغير أن تفعل بالبيانات الضخمة؟ في البداية، تستطيع رفع الكفاءة والمبيعات. يعطي كينج مثالاً، مجموعة ذا سبيلرز، وهي شركة تمتلك ثلاثة مطاعم بدالاس، تستخدم تطبيق للبيانات يسمّى “رومبي” الذي يتيح للإدارة مشاركة كل معلومات الأعمال التي تجمعها، بما في ذلك، معلومات نقاط البيع، إحصاءات العمل، وأرقام الحسابات. بواسطة “رومبي” ذا سبيلرز يستطيعون ربط رواتب المديرين بأداء المطاعم. هذا التطبيق أيضاً يقتطع تكلفة العمالة بنسبة عشرة في المئة موفراً آلاف الدولارات كلّ أسبوعين. 5

الأعمال الصغيرة التي تستخدم البيانات بذكاء يمكنها أداء الأعمال بصورة أفضل. يستطيعون بسهولة تحسين التسعير، وإيصال المؤن في الوقت المناسب. وبإمكانهم إيجاد ممونين أرخص، وأقرب، وأكثر شفافية من حيث الأسعار.

1- Using Search Analytics to see into Gartner 232$B Big Data forecast. 15-10-2012
2- Report| McKinsey Global Institute: Big data: The next frontier for innovation, competition and productivity. May 2011
3- Burning Glass International report of job postings for bachelor’s and graduate degree holders in the data analytics field during 2012
4- The coming era of big data for the little guy. December 2012
5- Forbes brand VoiceÑ What can big data do for a small business? May 2013

الإعلانات
نُشِرت في مقالات, تعليم | الوسوم: , , , , , , , , , , | أضف تعليق

نبذه عن البيانات الضخمة Big Data

Big-Data1

قبل البدء بتعريف البيانات الضخمه يجب أن نعرف أولا ماذا نعنى بالبيانات؟

البيانات(Data): هي الصورة الخام للمعلومات قبل عمليات الفرز والترتيب والمعالجة ولا يمكن الأستفاده منها بصورتها الأولية قبل المعالجة.
المعلومات(Information): هي البيانات التي خضعت للمعالجة والتحليل والتفسير والتى يمكن الأستفاده منها فى استنباط العلاقات المختلفه بين الظواهر وأتخاذ القرارات.

يمكن أن تُقسم البيانات الخام الى ثلاثه أنواع:
بيانات مهيكلة: وهى البيانات المنظمة فى صورة جداول او قواعد بيانات تمهيدا لمعالجتها
بيانات غير مهيكلة: تشكل النسبة الأكبر من البيانات وهى البيانات التى يولدها الأشخاص يوميا من كتابات نصية وصور وفيديو ورسائل ونقرات على مواقع الانترنت الخ
بيانات شبه مهيكله: تعتبر نوعا من البيانات المهيكلة الا ان البيانات لا تصمم فى جداول او قواعد بيانات

ما هى البيانات الضخمة؟

تعرف ويكيبيديا البيانات الضخمة بانها عبارة عن مجموعة من البيانات ذات أحجام تتخطي قدرة البرامج التي يشيع استخدامها لالتقاط وإدارة ومعالجة وتخزين وتحليل تلك البيانات في غضون فترة زمنية مقبولة 1.

البيانات الضخمة حولنا فى كل مكان. كل دقيقه يولد العالم من حولنا مايقرب من 1.7 مليون بليون بايت من البيانات من مواقع التواصل الأجتماعى والبريد الالكترونى لمواقع الأعمال الخاصه كأمازون واى-باى وأعمال البيع بالتجزئة للمشاريع العلميه والقومية العملاقة.

ماذا نعنى تحديدا بكلمة “ضخمة”؟

منذ عام 2012 كانت الحدود المفروضة على حجم مجموعات البيانات الملائمة للمعالجة في مدة معقولة من الوقت خاضعة لوحدة قياس البيانات إكسابايت. وتضاعفت القدرة التكنولوجية العالمية لتخزين المعلومات للفرد الواحد تقريباً كل 40 شهر بدءا من العام 1980 حيث فى عام 2012 تم تقدير البيانات المُنتجه ب 2.5 كوينتيليون بايت ( 2.5 × 1018) من البيانات يوميا 80% منها غير مهيكله مقابل 20% فقط من البيانات المهيكله 2

BigData

وبحسب شركة إنتل أن حجم البيانات التي ولدها البشر منذ بداية التاريخ وحتى عام 2003 ما قدره 5 إكسابايت، لكن هذا الرقم تضاعف 500 مرة خلال عام 2012 ليصل إلى 2.7 زيتابايت، ويتوقع أن يتضاعف هذا الرقم ثلاث مرات حتى عام 2015. 3

لكى ندرك مدى ضخامة حجم البيانات وتعقيدها فى عصرنا هذا دعونا نتأمل الأمثله الآتية:

مسح سلووان الرقمي للسماء: Sloan Digital Sky Surve
وهو مشروع بحثى أمريكى يهدف الى مسح فلكى للسماء باستخدام تليسكوب عملاق متصل بمستشعرات لجمع البيانات عن تكوين النجوم فى مجرة درب التبانة
عندما تم البدء بجمع البيانات الفلكية في عام 2000، فإنه قد تم جمع بيانات في أسابيعه القليلة الأولي أكثر مما تم جمعه في تاريخ علم الفلك بأكمله. ومع استمراره بمعدل 200 جيجا بايت في الليلة، جمع  أكثر من 140 تيرابايت من المعلومات.

متجر وول مارت: Wal-Mart
وهى شركة أمريكية للبيع بالتجزئه بعائدات تبلغ 387.69 مليار دولار أمريكى وتقوم بمعالجة أكثر من مليون معاملة تجارية كل ساعة، والتي يتم استيرادها إلي قواعد بيانات يُقدر أنها تحتوي علي أكثر من 2.5 بيتابايت (2560 تيرابايت) من البيانات – وهو ما يوازي 167 ضعف البيانات الواردة في جميع الكتب الموجودة في مكتبة الكونغرس في الولايات المتحدة

برنامج المحادثات الفوريه الأشهر واتس آب: Whatsapp
يتحدث الجميع الآن عن الصفقة الضخمة التى نتج عنها شراء الشركة العملاقة فيس بوك للبرنامج الشهير. لدى واتس آب أكثر من 450 مليون مستخدم، 70 % منهم نشطين و يتم تداول اكثر من 10 مليار رسالة و حوالي 400 مليون صورة  بشكل يومي وفي 31 ديسمبر 2013 ، وصل عدد الرسائل عبر الواتسب الى 18 مليار رسالة في يوم واحد. 

خصائص البيانات الضخمة:

3v

فى العام 2001 قام “دوغ لاني” محلل مجموعة META Group (المعروفة الآن باسم جارتنر المؤسسة الرائدة فى مجال تكنولوجيا المعلومات) بتعريف تحديات نمو البيانات كعنصر ثلاثي الأبعاد لوصف البيانات الضخمة فيما يعرف ب 3V model، وهذه الأبعاد هى:

1- الحجم Volume:
نعلم الآن أنه بحلول العام 2020 سيحتوى الفضاء الألكترونى على مايقرب من 40,000 زيتابايت من البيانات الجاهزه للتحليل وأستخلاص المعلومات.من ملف نصى بسيط يقدر حجمه بعده كيلوبايتات مرورا بمقطع صوتى بالميجابايت أو فيديو بالجيجابايت الى ملايين الهواتف الذكية التى تبث كميات ضخمة من البيانات الى شبكات الهاتف كل ثانيه.

2- السرعة Velocity:
لمعالجة مجموعة صغيرة من البيانات المخزنه فى صوره بيانات مهيكلة فى قواعد بيانات أو ملف أكسل كانت الشركات تقوم بتحليلها فيما يسمى بال “Batch Process” أو العمليات المتقطعة حيث كان يتم تحليل كل مجموعة بيانات واحدة تلو الأخرى فى أنتظار وصول النتائج. مع الأزدياد الضخم فى حجم البيانات وسرعة تواترها أصبحت الحاجة الى نظام يضمن سرعة فائقة فى تحليل البيانات الضخمة فى الوقت الحقيقى “Real Time” أو سرعة تقارب الوقت الحقيقى أكثر إلحاحا. أدت تلك الحاجة الى أبتكار تكنولوجيا مثل Apache Hadoop و SAP HANA

3- التنوع Variety:
مع أزدياد أعداد مستخدمى الانترنت والهواتف الذكية وشبكات التواصل الاجتماعى المختلفة تغير شكل البيانات المألوف من بيانات مهيكلة فى قواعد بيانات الى بيانات غير مهيكلة تتضمن عدد كبير من الصيغ مثل الصور ومقاطع الصوت والفيديو والرسائل القصيره وبيانات ال GPS والوثائق بصيغها المتعددة مثل ال MS word و pdf

وفي 2012، قامت جارتنر بتحديث تعريفها ليصبح كالتالي: “البيانات الضخمة هي أصول معلومات كبيرة الحجم، عالية السرعة، و/أو عالية التنوع تتطلب أشكال جديدة من المعالجة لتعزيز عملية صنع القرار والفهم العميق وتحسين العملية”

ما هى أهمية البيانات الضخمة فى عالمنا اليوم وعالم المستقبل؟

تقدم البيانات الضخمة ميزة تنافسية للمؤسسات اذا أحسنت الأستفادة منها وتحليلها لانها تقدم فهما أعمق لعملائها ومتطلباتهم ويساعد ذلك على اتخاذ القرارات داخل المؤسسه بصوره أكثر فعالية بناء على المعلومات المستخرجة من قواعد بيانات العملاء وبالتالى زيادة الكفاءه والربح وتقليل الفاقد فابستخدام أدوات تحليل البيانات الضخمه أستطاعت وول مارت  تحسين نتائج البحث عن منتجاتها عبر الأنترنت بنسبة 10-15% بينما فى تقرير لماكينزى-وهى شركة رائده فى مجال أستشارات الاعمال- ان القطاع الصحى بالولايات المتحدة لو كان يستخدم تقنيات تحليل البيانات الضخمة بفاعليه وكفاءه لكان قد أنتج أكثر من 300 مليون دولار أمريكى كفائض سنوى من ميزانيه الصحة ثلثيها بسبب خفض تكاليف الانفاق بنسبة 8%

و بحسب أستطلاع رأى سابق أجرته مؤسسه جارتنر أن 64% من الشركات والمنظمات أستثمرت فى تبنى أستخدام التقنيات الجديده للتعاطى مع البيانات الضخمة فى العام 2013 5

ولا تتوقف الأستفاده من البيانات الضخمة على المؤسسات والمشاريع التجارية بل تمتد الى مجالات عديدة منها الطاقه والتعليم والصحة والمشاريع العلمية الضخمة أبرزها مشروع الجينوم البشرى (دراسة كامل المادة الوراثية للبشر) والذى يحتوى على 25 ألف جين التى تحتوى بدورها على 3 مليار زوج من القواعد الكيميائيه المكونه للDNA

المصادر:

1,2- ويكيبيديا – البيانات الضخمة
3- Intel, Big Data 101: How big Data makes Big Impact
4- Mckinsey&Company: Big Data: The next frontier for innovation,competition and productivity. May 2011
5-  Big Data trends to be examined at Gartner Symposium /ITexpo 2013. October 6-10, in Orlando, Florida

نُشِرت في مقالات | الوسوم: , , , , , , , , | أضف تعليق