منظور از فرآیند ETL چیست؟

واژه ی ETL اختصار یافته ‌ی ۳ کلمه‌ ی Extract به معنای استخراج داده، Transform به معنی ایجاد تغییرات بر روی داده و Load به معنی بارگذاری داده است. در واقع، طی فرآیند ETL، داده ‌ها از منابع مختلف دارای دیتابیس‌ های Relational ‌استخراج می‌شوند، سپس بر روی آن ‌ها تغییرات و اعمالی از قبیل محاسبات مختلف، ترکیب شدن چندین داده با یکدیگر و سایر موارد صورت می‌‌گیرد و در نهایت داده‌ ها در یک انبار داده (Data Warehouse) ذخیره می‌گردند.

با توجه به توضیحات بالا، طی فرآیند ETL، پس از ایجاد تغییرات لازم در مرحله ‌ی Transform که در یک سرور واسط یا Staging Server صورت می‌پذیرد، داده‌ ها از یک منبع اولیه، وارد مقصد نهایی می‌شود.

منظور از فرآیند ELT چیست؟

همان گونه که از نام این فرآیند پیداست، این فرآیند از ۳ بخش Extract، Load و سپس Transform تشکیل شده است. ابتدا داده‌ ها استخراج می‌شوند، سپس بدون این که هیچ تغییری روی آن ‌ها انجام شود، در مقصد نهایی Load می‌شوند و در همان مقصد نهایی، مرحله ‌ی Transform برای ایجاد تغییرات بر روی داده ‌ها انجام می‌شود.
فرآیند ELT معمولا بر روی دیتابیس‌ های no-Sql مانند Hadoop Cluster، Data Appliance و یا Cloud Installation پیاده‌ سازی می‌‌شود.

بنابراین می‌‌توان گفت تفاوت‌ های کلیدی ETL و ELT به شرح زیر است:
⦁ ترتیب مراحل در ETL به صورت Extract، Transform و در نهایت Load است ولی در فرآیند ELT به صورت Extractو  Load و سپس Transform است.
⦁ در فرآیند ETL داده ‌ها ابتدا در یک Staging Server بارگذاری می‌‌شوند و سپس از آن‌ جا در سیستم نهایی Load می‌شوند. در حالی فرآیند ELT داده را مستقیم در سیستم نهایی Load می‌کند.
⦁ فرآیند ETL برای داده‌ های ساختار یافته و Relational مورد استفاده قرار می‌‌گیرد؛ در حالی که فرآیند ELT برای منابع داده بدون ساختار و Cloud ها استفاده می‌گردد.
⦁ ETL برای داده ‌های با حجم پایین استفاده می‌شود ولی ELT برای داده ‌های با حجم بالا قابل استفاده است.
⦁ پیاده ‌سازی فرآیند ETL به نسبت ساده است. این در حالی است که پیاده‌ سازی ELT نیازمند مهارت به خصوصی است.
⦁ در فرآیند ETL، انجام تغییرات بر روی داده ‌ها در مرحله‌ ی Transform زما‌نبر است و هر چقدر داده بیشتر شود، مدت زمان Transform نیز افزایش می‌یابد. ولی در فرآیند ELT، سرعت هیچ ارتباطی با حجم داده ندارد.
⦁ از آن‌ جایی که در فرآیند ETL داده‌ ها باید انتخاب شوند و سپس بر روی داده‌ های انتخابی Transform و Load انجام شود، پس نیاز به Maintenance بالایی دارد. ولی از آن جایی که در ELT همواره داده‌ ها در دسترس هستند، نیاز به Maintenance به شدت پایین ‌تر است.

 

منبع