آیا نسل انبارداده های سنتی سازمانی یا همان EDW از بین رفته است؟
خیر اما نیاز به نوع جدیدی از معماری های EDW و فناوری های نوآورانه که بتواند داده های چند ساختاری را پردازش نماید.برای این منظور معماری انبار داده های گسترده یافته یا همان XDW ایجاد گردید.
لایه های این معماری جدید به شرح ذیل می باشد :
لایه داده : در این لایه مقادیر عظیمی از داده های ساختار یافته و غیر ساختار یافته ذخیره می گردد.در این قسمت پایگاه داده های رابطه ای , nosql ها ،سیستم های توزیع شده قرار دارند . این لایه می تواند شامل داده های Real-time Streaming نیز باشد.
لایه ادغام این لایه برای افزون داده ها به لایه داده طراحی شده است. علاوه برای انتقال های سنتی می توان از پالایشگاه داده ها استفاده کرد.در این حالت داده های خام ساختار یافته و بدون ساختار به صورت دسته ای و در لحظه از منابعی مانند دستگاه های IOT یا رسانه های اجتماعی دریافت می کنند.و آن ها را اطلاعات مفیدی تبدیل می کنند. برای تعیین ارزش داده های بیگ دیتا از این پالایشگاه داده استفاده می کنند.با استفاده از یک تجزیه و تحلیل تقریبی می توان فهمید کدام داده مفید می باشد . این فرایند ها به حاکمیت داده های انعطاف پذیر نیاز دارد زیرا در این حالت داده ها نیاز ندارند پردازش های با کیفیتی داشته باشند.
لایه پردازش اینجا جایی است که یک EDW سنتی می تواند در اینجا تمامی داده ها را بگیرد و آن ها را در قالبی مناسب برای جستجوی دستورات SQL و سرور های انبار داده olap تبدیل نماید. اینجا بهترین مکان برای منابع داده های با کیفیت بالا ،قابل اعتماد و سازگار برای تجزیه و تحلیل می باشد . فناوری های تحقیقاتی مانند Hadoop یا spark با انواع داده های غیر معمولی در این بخش قرار دارد.در این بخخش امکان تجزیه و تحلیل حجم داده های بزرگ با سرعت بالا فراهم شده است .
لایه تجزیه و تحلیل و هوش تجاری در اینجا فناوری های تجسم داده و هوش تجاری در بستر ابری به دانشمندان و تحلیل گران داده اجازه می دهند تا داده ها را بررسی نمایند و بحث های هوش تجاری در آن پیاده سازی گردد.
