مارا دنبال کنید : 

آیا نسل انبارداده های سنتی سازمانی یا همان EDW از بین رفته است؟

خیر اما نیاز به نوع جدیدی از معماری های EDW و فناوری های نوآورانه که بتواند داده های چند ساختاری را پردازش نماید.برای این منظور معماری انبار داده های گسترده یافته یا همان XDW ایجاد گردید.

لایه های این معماری جدید به شرح ذیل می باشد :

لایه داده : در این لایه مقادیر عظیمی از داده های ساختار یافته و غیر ساختار یافته ذخیره می گردد.در این قسمت پایگاه داده های رابطه ای , nosql  ها ،سیستم های توزیع شده قرار دارند . این لایه می تواند شامل داده های Real-time Streaming   نیز باشد.

لایه ادغام: این لایه برای افزون داده ها به لایه داده طراحی شده است. علاوه برای انتقال های سنتی می توان از پالایشگاه داده ها استفاده کرد.در این حالت داده های خام ساختار یافته و بدون ساختار به صورت دسته ای و در لحظه از منابعی مانند دستگاه های IOT یا رسانه های اجتماعی دریافت می کنند.و آن ها را اطلاعات مفیدی تبدیل می کنند. برای تعیین ارزش داده های بیگ دیتا از این پالایشگاه داده استفاده می کنند.با استفاده از یک تجزیه و تحلیل تقریبی می توان فهمید کدام داده مفید می باشد . این فرایند ها به حاکمیت داده های انعطاف پذیر نیاز دارد زیرا در این حالت داده ها نیاز ندارند پردازش های با کیفیتی داشته باشند.

لایه پردازش: اینجا جایی است که یک EDW سنتی می تواند در اینجا تمامی داده ها را بگیرد و آن ها را در قالبی مناسب برای جستجوی دستورات SQL و سرور های انبار داده olap  تبدیل نماید. اینجا بهترین مکان برای منابع داده های با کیفیت بالا ،قابل اعتماد و سازگار برای تجزیه و تحلیل می باشد . فناوری های تحقیقاتی مانند Hadoop یا spark با انواع داده های غیر معمولی در این بخش قرار دارد.در این بخخش امکان تجزیه و تحلیل حجم داده های بزرگ با سرعت بالا فراهم شده است .

لایه تجزیه و تحلیل و هوش تجاری: در اینجا فناوری های تجسم داده و هوش تجاری در بستر ابری به دانشمندان و تحلیل گران داده اجازه می دهند تا داده ها را بررسی نمایند و بحث های هوش تجاری در آن پیاده سازی گردد.

انبار داده


مطالب مرتبط :

 

وقتی صحبت از کلان داده در سازمان‌ها می‌شود، فرآیندهای رایج مانند انباشت و ذخیره‌سازی به چالش خواهند افتاد، چه برسد به تحلیل و پیش‌بینی این داده‌های بزرگ.

در اینجا برخی از مواردی که ممکن است تغییر نمایند، اشاره شده است:

چارچوب حاکمیت کلان داده :

 

کنترل‌های سفت و سخت بر روی کلان داده‌ها در سازمان‌ها جوابگو نمی‌باشد. هر سازمان می‌تواند چارچوب خاص و منحصر به فرد خود را داشته باشد که با اهداف و چشم‌اندازهای تجاری همسو باشد. اما برای داشتن یک **حاکمیت پایدار**، باید مولفه‌های زیر در چارچوب لحاظ گردد:

اهداف تجاری:

برای اطمینان از اینکه داده‌ها به درستی جمع‌آوری و پردازش می‌شوند، هر یک از افراد باید در مسیری ثابت از اهداف سازمان حرکت کرده و به شاخص‌های موفقیت و شکست پاسخگو باشند. لازم است که از بالا تا پایین سازمان، در مورد چرایی حاکمیت داده بحث گردد و بر اساس اهداف سازمان، ماموریت و چشم‌اندازهای کلان داده تعریف شود.

افراد:

یک استراتژی مدیریت کلان داده به یک تیم حرفه‌ای نیاز دارد که داده‌ها را به دست آورند، مدیریت کنند، استفاده کنند و از آن‌ها حفاظت نمایند. بر اساس ساختار سازمانی، لازم است بدانید چه نقش‌های داخلی نیاز دارید:

– معماران داده
– دانشمندان داده
– مالکیت داده
– مباشران داده
– و …

در حاکمیت داده باید فرصت‌های ارتباطی و دسترسی بدون مانع به داده‌ها فراهم گردد تا کارکنان این احساس را داشته باشند که یک تیم واحد هستند و نه ذینفعان منزوی. همچنین باید به سواد داده توجه شود و آموزش‌های مناسب در هر سطحی جزو برنامه‌های سازمان قرار گیرد. نکته مهم دیگر، توجه به فرهنگ داده‌محور در حاکمیت داده است. در حالت ایده‌آل، فرهنگ مشارکت، پایداری و توانمندسازی کیفیت و انطباق داده‌ها باید ترویج یابد.

قوانین:

مدیریت حاکمیت بیگ دیتا، همراه با صاحبان و مباشران داده، باید مجموعه‌ای از قوانین و مقررات مانند سیاست‌ها و استانداردهای داده را برای تنظیم جمع‌آوری، مدیریت، استفاده و حفاظت از داده‌ها ایجاد کند. همه بازیگران داده باید نسبت به این موارد آگاهی داشته باشند.

امنیت:

بیش از هر چیز، هدف از مدیریت کلان داده در کسب‌وکارها، ایمن نگه داشتن داده‌ها است. علاوه بر نکات امنیتی، کارکنانی که با داده‌ها در تعامل هستند باید از شیوه‌های امنیت آگاه باشند و از قوانین تعیین‌شده در طول پردازش و تغییر داده‌ها پیروی نمایند.

باید سطوحی از دسترسی تعریف گردد که تعیین کند چه کسی می‌تواند انواع مختلف داده‌ها را مشاهده و تغییر دهد. در شکل زیر، یک چارچوب حاکمیت بیگ دیتا نمایش داده شده است:

در این فریم‌ورک باید به سوالات اساسی پاسخ داده شود:

– چرایی؟

این بخش شامل فعالیت‌های زیر می‌باشد:
– ماموریت‌های کسب‌وکار
– چشم‌اندازهای کسب‌وکار
– اهداف کسب‌وکار
– شاخص‌های موفقیت

– چه کسی؟
در بخش “چه کسی”، افراد درگیر در این چارچوب مشخص خواهند شد.

– چه چیزی؟
در بخش “چه چیزی”، المان‌های اصلی حاکمیت داده مانند استانداردهای داده، تعاریف، قوانین امنیتی، سیاست‌ها و انطباق‌ها مشخص خواهند شد.


مطالب مرتبط :

حاکمیت کلان داده

آیا بین حاکمیت داده و حاکمیت کلان داده تفاوتی وجود دارد ؟

در واقع، نباید هیچ تفاوتی بین این دو حاکمیت وجود داشته باشد .اصول یکسانی باید برای هر دو حاکمیت اعمال می شود.حاکمیت کلان داده از نظر چالش ها و اصول بسیار شبیه به حاکمیت داده های سنتی است. با این حال، حاکمیت کلان داده باید نکات زیر را در بر داشته باشد :

  • حجم داده های بزرگ می تواند زیاد و به پتابایت برسد.
  • کلان داده ها می توانند ساختار یافته، نیمه ساختاریافته یا بدون ساختار باشند
  • مخازن داده های بزرگ شامل فایل ها، پایگاه های داده NoSQL، دریاچه های داده و جریان داده ها باشند.
  • داده ها از منابع داخلی و خارجی استخراج می شوند.
  • داده ها در زمان واقعی پردازش می شوند.

از آنجایی که ابزارهای سنتی حاکمیت داده در بازار امروز نمی‌توانند نیازهای پردازش داده‌های بزرگ را پشتیبانی کنند، برای کسب‌وکارها ضروری است که در استراتژی تجزیه و تحلیل داده خود تجدید نظر کنند و از فناوری‌های موجود برای مقابله با چالش‌های جدید استفاده نمایند..

چه کسی مسئول حاکمیت داده است؟

حاکمیت داده ها از مرزهای دپارتمان ها عبور می کند و بر هر بخشی تاثیر گذار می باشد. و استقرار حاکمیت نیازمند همکاری در سطح کل سازمان می باشد. هنگامی که همه بدانند چه کسی دارای اختیارات و مسئولیت های مرتبط با داده است، می توان از هرج و مرج و اشتباه جلوگیری کرد و امکان اجتماعی شدن حاکمیت داده را فراهم کرد. بسته به اندازه و اهداف سازمانی، نقش های زیر ممکن است برای یک تیم قدرتمند کلان داده مورد نیاز باشد:کلان داده

افسران ارشد داده (CDOs) :

این افراد در توسعه استراتژی داده شرکت می کنند، بر اجرای چارچوب داده نظارت می کنند و از داده ها به عنوان یک دارایی استراتژیک استفاده می کنند. آنها استانداردها، خط مشی ها و شیوه های داده را ایجاد می کنند و فرهنگ داده ای شرکتی را رشد می دهند.

معماران کلان داده :

این افراد در فن آوری های مربوطه مهارت دارند و روابط بین آنها را درک می کنند. آنها مسئول طراحی راه حل های پردازش داده های بزرگ هستند که قادر به حل هر مشکل مربوط به داده هستند. آنها می توانند عمیقاً در مدیریت داده، اتوماسیون و امنیت درگیر شوند.

مهندسان داده :

این افراد سیستم هایی را برای جمع آوری، تمیز کردن و سازماندهی داده ها از منابع متعدد و انتقال آن به انبارهای داده راه اندازی می کنند.

دانشمندان داده / تحلیلگران داده :

این افراد مسئول تجزیه و تحلیل مجموعه های بزرگی از داده های ساختاریافته و بدون ساختار، ایجاد الگوریتم ها و مدل های پیش بینی، و استخراج روندها و بینش های مرتبط با کسب و کار هستند.

صاحبان داده ها:

اعضای تیمی هستند که از داده ها استفاده می کنند و در قبال دارایی های داده از نظر کیفیت و امنیت در تیم خود پاسخگو می باشند.

مباشران داده :

این افراد از نزدیک با صاحبان داده همکاری می کنند و بر نحوه اجرای استراتژی داده و اینکه آیا از سیاست ها و استانداردهای داده پیروی می کنند نظارت می کنند. آنها همچنین در آموزش صاحبان داده جدید شرکت می کنند. از آنجایی که داده‌های بزرگ اغلب جمع‌آوری می‌شوند اما به دلیل غیبت متخصصان، مورد استفاده قرار نمی‌گیرند.

کاربران داده :

اعضای تیمی هستند که برای انجام فعالیت های روزانه خود با داده ها تعامل دارند. آنها مسئول ورود داده ها هستند. به مجموعه داده های مختلف دسترسی و گزارشات را تولید می کنند.

تیم های فناوری اطلاعات:

تیم های فناوری اطلاعات مسئول پیاده سازی و سفارشی سازی فناوری، توسعه ویژگی های اضافی برای پردازش کلان داده ها، ممیزی، امنیت و نگهداری داده ها هستند.


مطالب مرتبط :

عضویت در خبرنامه
close slider

عضویت در خبرنامه

فیلد های "*" اجباری هستند

نام و نام خانواگی*
این قسمت برای اهداف اعتبارسنجی است و باید بدون تغییر باقی بماند.