آیا نسل انبارداده های سنتی سازمانی یا همان EDW از بین رفته است؟

خیر اما نیاز به نوع جدیدی از معماری های EDW و فناوری های نوآورانه که بتواند داده های چند ساختاری را پردازش نماید.برای این منظور معماری انبار داده های گسترده یافته یا همان XDW ایجاد گردید.

لایه های این معماری جدید به شرح ذیل می باشد :

لایه داده : در این لایه مقادیر عظیمی از داده های ساختار یافته و غیر ساختار یافته ذخیره می گردد.در این قسمت پایگاه داده های رابطه ای , nosql  ها ،سیستم های توزیع شده قرار دارند . این لایه می تواند شامل داده های Real-time Streaming   نیز باشد.

لایه ادغام این لایه برای افزون داده ها به لایه داده طراحی شده است. علاوه برای انتقال های سنتی می توان از پالایشگاه داده ها استفاده کرد.در این حالت داده های خام ساختار یافته و بدون ساختار به صورت دسته ای و در لحظه از منابعی مانند دستگاه های IOT یا رسانه های اجتماعی دریافت می کنند.و آن ها را اطلاعات مفیدی تبدیل می کنند. برای تعیین ارزش داده های بیگ دیتا از این پالایشگاه داده استفاده می کنند.با استفاده از یک تجزیه و تحلیل تقریبی می توان فهمید کدام داده مفید می باشد . این فرایند ها به حاکمیت داده های انعطاف پذیر نیاز دارد زیرا در این حالت داده ها نیاز ندارند پردازش های با کیفیتی داشته باشند.

لایه پردازش اینجا جایی است که یک EDW سنتی می تواند در اینجا تمامی داده ها را بگیرد و آن ها را در قالبی مناسب برای جستجوی دستورات SQL و سرور های انبار داده olap  تبدیل نماید. اینجا بهترین مکان برای منابع داده های با کیفیت بالا ،قابل اعتماد و سازگار برای تجزیه و تحلیل می باشد . فناوری های تحقیقاتی مانند Hadoop یا spark با انواع داده های غیر معمولی در این بخش قرار دارد.در این بخخش امکان تجزیه و تحلیل حجم داده های بزرگ با سرعت بالا فراهم شده است .

لایه تجزیه و تحلیل و هوش تجاری در اینجا فناوری های تجسم داده و هوش تجاری در بستر ابری به دانشمندان و تحلیل گران داده اجازه می دهند تا داده ها را بررسی نمایند و بحث های هوش تجاری در آن پیاده سازی گردد.

وقتی صحبت از کلان داده در سلزمان ها می شود .فرایند های رایج مثل انباشت ،ذخیره سازی به چالش خواهد افتاد چه برسد به تحلیل و پیش بینی این داده های بزرگ .

در اینجا برخی از مواردی که می تواند تغییر نماید اشاره شده است :

چارچوب حاکمیت کلان داده کنترل های سفت و سخت در کلان داده ها در سازمان هاجوابگو نمی باشد.هر سازمان می تواند چارچوب خاص و منحصر به فرد خود را داشته باشد که با اهداف و چشم انداز های تجاری خود همسوباشد .اما برای داشتن حاکمست پایدار باید مولفه های زیر در چارچوب لحاظ گردد.

اهداف تجاری: برای اطمینان از اینکه داده ها به درستی جمع آوری و پردازش می شوند.هر یک از افراد باید در مسیر ثابتی از اهداف و در جهت پاسخویی به شاخص های موفقیت و شکست سازمان حرکت نمایند.این کار لازم است که از بالا تا پایین سازمان در ارتباط با چرایی حاکمیت داده بحث گرددوبر اساس اهداف سازمان ،ماموریت و چشم انداز های کلان داده تعریف گردد .

افراد یک استراتژی مدیریت کلان داده به یک تیم حرفه ای نیاز دارند که داده ها را به دست آورنند ،مدیریت ،استفاده و حفاظت نمایند.بر اساس ساختار سازمانی ،لازم است بدانید چه نقش های داخلی نیاز دارید :

• معماران داده
• دانشمندان داده
• مالکیت داده
• مباشران داده
• و ….

در حاکمیت داده باید فرصت های ارتباطی و دسترسیبدون مانع به داده ها فراهم گردد تا کارکنان این احساس را کنند که یک تیم هستند و نه ذینفعان منزوی .همچنین باید به سواد داده نیز در این بخش توجه گردد . و آموزش های مناسب در هر سطحی را جز برنامه های خود قرار دهید. نکته مهم دیگر توجه به فرهنگ داده محور در حاکمیت داده می باشد .در حالت ایده آل ،باید فرهنگ مشارکت ،پایداری و توانمندسازی کیفیت و انطباق داده ها باشد.

قوانین مدیریت حاکمیت بیگ دیتا همرا با صاحبان داده و مباشر داده باید مجموعه ای از قوانین و مقررات مانند سیاست ها و استاندارد های داده را برای تنظیم جمع آوری ،مدیریت ،استفاده و حفاظت از داده ها ایجاد کند.و تمام بازیگران داده باید نسبت به این المان ها آگاهی داشته باشند.

امنیت بیش از همه هدف از کسب و کارها مدیریت کلان داده برای ایمن نگه داشتن داده می باشد.علاوه بر نکات امنیتی ،کارکنانی که با داده ها در تعامل هستند باید از شیوه های امنیت آگاه باشند و از قوانین تتعیین شده در طول پردازش و تغییر داده ها پیروی نمایند.

باید سطوحی از دسترسی ها تعریف گردد که تعیین کند چه کسی می تواند انواع مختلف داده ها را مشاهده و تغییر نمایند. در شکل زیر یک چارچوب حاکمیت بیگ دیتا را نمایش می دهد:

در این فریمورک باید به سوال اساسی پاسخ داده شوند :

چرایی؟ این بخش شامل فعالیت های زیر می باشد:

• ماموریت های کسب و کار
• چشم انداز های کسب و کار
• اهداف کسب و کار
• شاخص های موفقیت

چه کسی ؟ در بخش چه کسی افراد درگیر در این چارچوب مشخص خواهد شد.

چه چیزی؟ در بخش چه چیزی المان های اصلی حاکمیت داده مانند استاندارد های داده  ،تعاریف ،قوانین امنیتی سیاست ها و انطباق ها مشخص خواهند شد.

آیا بین حاکمیت داده و حاکمیت کلان داده تفاوتی وجود دارد ؟ در واقع، نباید هیچ تفاوتی بین این دو حاکمیت وجود داشته باشد .اصول یکسانی باید برای هر دو حاکمیت اعمال می شود.حاکمیت کلان داده از نظر چالش ها و اصول بسیار شبیه به حاکمیت داده های سنتی است. با این حال، حاکمیت کلان داده باید نکات زیر را در بر داشته باشد :

• حجم داده های بزرگ می تواند زیاد و به پتابایت برسد.
• کلان داده ها می توانند ساختار یافته، نیمه ساختاریافته یا بدون ساختار باشند
• مخازن داده های بزرگ شامل فایل ها، پایگاه های داده NoSQL، دریاچه های داده و جریان داده ها باشند.
• داده ها از منابع داخلی و خارجی استخراج می شوند.
• داده ها در زمان واقعی پردازش می شوند.

از آنجایی که ابزارهای سنتی حاکمیت داده در بازار امروز نمی‌توانند نیازهای پردازش داده‌های بزرگ را پشتیبانی کنند، برای کسب‌وکارها ضروری است که در استراتژی تجزیه و تحلیل داده خود تجدید نظر کنند و از فناوری‌های موجود برای مقابله با چالش‌های جدید استفاده نمایند.. چه کسی مسئول حاکمیت داده است؟ حاکمیت داده ها از مرزهای دپارتمان ها عبور می کند و بر هر بخشی تاثیر گذار می باشد. و استقرار حاکمیت نیازمند همکاری در سطح کل سازمان می باشد. هنگامی که همه بدانند چه کسی دارای اختیارات و مسئولیت های مرتبط با داده است، می توان از هرج و مرج و اشتباه جلوگیری کرد و امکان اجتماعی شدن حاکمیت داده را فراهم کرد. بسته به اندازه و اهداف سازمانی، نقش های زیر ممکن است برای یک تیم قدرتمند کلان داده مورد نیاز باشد:

افسران ارشد داده (CDOs) : این افراد در توسعه استراتژی داده شرکت می کنند، بر اجرای چارچوب داده نظارت می کنند و از داده ها به عنوان یک دارایی استراتژیک استفاده می کنند. آنها استانداردها، خط مشی ها و شیوه های داده را ایجاد می کنند و فرهنگ داده ای شرکتی را رشد می دهند.

معماران کلان داده : این افراد در فن آوری های مربوطه مهارت دارند و روابط بین آنها را درک می کنند. آنها مسئول طراحی راه حل های پردازش داده های بزرگ هستند که قادر به حل هر مشکل مربوط به داده هستند. آنها می توانند عمیقاً در مدیریت داده، اتوماسیون و امنیت درگیر شوند.

مهندسان داده : این افراد سیستم هایی را برای جمع آوری، تمیز کردن و سازماندهی داده ها از منابع متعدد و انتقال آن به انبارهای داده راه اندازی می کنند.

دانشمندان داده / تحلیلگران داده : این افراد مسئول تجزیه و تحلیل مجموعه های بزرگی از داده های ساختاریافته و بدون ساختار، ایجاد الگوریتم ها و مدل های پیش بینی، و استخراج روندها و بینش های مرتبط با کسب و کار هستند.

صاحبان داده ها اعضای تیمی هستند که از داده ها استفاده می کنند و در قبال دارایی های داده از نظر کیفیت و امنیت در تیم خود پاسخگو می باشند.

مباشران داده : این افراد از نزدیک با صاحبان داده همکاری می کنند و بر نحوه اجرای استراتژی داده و اینکه آیا از سیاست ها و استانداردهای داده پیروی می کنند نظارت می کنند. آنها همچنین در آموزش صاحبان داده جدید شرکت می کنند. از آنجایی که داده‌های بزرگ اغلب جمع‌آوری می‌شوند اما به دلیل غیبت متخصصان، مورد استفاده قرار نمی‌گیرند.

کاربران داده : اعضای تیمی هستند که برای انجام فعالیت های روزانه خود با داده ها تعامل دارند. آنها مسئول ورود داده ها هستند. به مجموعه داده های مختلف دسترسی و گزارشات را تولید می کنند.

تیم های فناوری اطلاعات تیم های فناوری اطلاعات مسئول پیاده سازی و سفارشی سازی فناوری، توسعه ویژگی های اضافی برای پردازش کلان داده ها، ممیزی، امنیت و نگهداری داده ها هستند.