دانشمندان داده، نسل جدیدی از متخصصین تحلیل گر داده ها هستند که مهارت های فنی برای
حل مسائل پیچیده را دارند و همچنین کنجکاو در کشف مسائلی هستند که باید حل شوند. کار
یک دانشمند داده، ارائه یِ دقیقترین پیش بینی ها است. این کار نیاز به استفاده از فنآوری های
پیشرفته تجزیه و تحلیل، از جمله یادگیری ماشین و مدل ساز ی پیش گویانه دارد. نقش دانشمند
داده، مجموع های از چندین نقش فنیِ سنتی است، از جمله ریاضیدان، متخصص آمار و
متخصص کامپیوتر.
دانشمندان داده یک دهه پیش، زیاد توجه کسی را به خود جلب نمی کردند،
اما محبوبیت ناگهانی آن ها نشان دهنده این است که چگونه شرکت ها در حال حاضر به کلان
داده ها فکر میکنند. دیگر نمیتوان انبوهی از داده های بدون ساختار را نادیده گرفت و فراموش
کرد. این یک معدن طلای مجازی است که به افزایش درآمد کمک می کند.
بسیاری از دانشمندان داده کار خود را به عنوان متخصص آمار یا تحلیل گر داده آغاز کردند.
اما همان طور که کلان داده (و فنآوری های ذخیره سازی و پردازش داده های بزرگ) شروع به
رشد و تکامل کردند، این نقش ها نیز تکامل یافته و می یابند. داده ها دیگر فقط پس اندیشه ای
برای پردازش فن آوری اطلاعات نیستند. این اطلاعات کلیدی است که نیاز به تجزیه و تحلیل،
کنجکاوی خالقانه و یک مهارت برای ترجمه ایده های برتر فن آوری به روش های جدید برای
سود بردن است.
در تجارت، دانشمندان داده به طور معمول در تیم ها کار می کنند تا کلان داده ها را برای
اطلاعاتی که می تواند در پیش بینی رفتار مشتری و شناسایی فرصت های سرمایه گذاری جدید
مورد استفاده قرار گیرد، به کار گیرند. در بسیاری از سازمان ها، دانشمندان داده همچنین وظیفه
تعیین بهترین روش های جمع آوری داده ها، استفاده از ابزارهای تجزیه و تحلیل و تفسیر داده ها
را دارند.
دانشمندان داده کل چرخه دوام داده ها، از جمع آوری و سازماندهی تا تجزیه و تحلیل و
تفسیر را مدیریت میکنند. بینش آنها معمولا آینده نگر است. این به این معنی است
که آنها داده های گذشته مربوط را ارزیابی میکنند و بینشهایی را استخراج میکنند که
میتواند به عنوان پایه ای برای ایجاد تغییرات بالقوه در رفتار یا روند مصرف کننده
استفاده شود. این به سازمانها امکان میدهد تا با راهبردهای بلند مدت ظاهر شوند.
مهندس داده
یک دانشمند داده یِ خوب، تنها به خوبی داده هایی است که به آن دسترسی دارد. اکثر شرکت ها
دادههای خود را در قالب های مختلف در پا یگاه های داده و پروندههای متن ی ذخیره میکنند.
اینجاست که مهندسان داده وارد می شوند؛ آنها خط لوله ای میسازند که این داده ها را به
قالب هایی تبدیل می کنند که دانشمندان داده میتوانند از آنها استفاده کنند. وظیفه ی اصلی آن ها،
تهیه داده ها برای استفاده های تحلیلی یا عملیاتی است. آنها داده ها را یکپارچه کرده، تحلیل
کرده و از آن برای استفاده در برنامه های تجزیه و تحلیل استفاده میکنند. هدف آنها این است
که داده ها را به راحتی در دسترس قرار دهند و اکوسیستم داده های بزرگ سازمان خود را بهینه
کنند.
مهندسان داده به همان اندازه ی دانشمندان داده مهم هستند، اما مغمولا کمتر دیده می شوند.
درحالیکه علم داده و دانشمندان داده به طور خاص به کاوش داده ها، یافتن بینش در
آنها و ساخت الگوریتم های یادگیری ماشین مشغول هستند، مهندس داده به کارکرد
این الگوریتم ها در زیرساخت تولید و ایجاد خط لوله ی داده توجه دارد. بنابراین، مهندس
داده یک نقش مهندسی در یک تیم علم داده یا هر پروژه مرتبط با داده است، جایی که
نیاز به ایجاد و مدیریت زیرساخت های فناوری یک بستر داده دارد.
نقش مهندس داده
مهندسان داده بر جمع آوری و آماده سازی داده ها برای استفاده توسط دانشمندان و تحلیلگران
داده متمرکز هستند.
مهندسان داده سه نقش اصلی را بهشرح زیر برعهده میگیرند:
▪ کارشناس عمومی: مهندسان داده با تمرکز عمومی، معمولا در تیم های کوچک کار می کنند.
آنها ممکن است مهارت بیشتر ی نسبت به اکثر مهندسین داده ها داشته باشند، اما دانش
کمتری از معماری سیستم ها دارند. یک دانشمند داده که میخواهد مهندس داده شود، با نقش
کارشناس عمومی به خوبی همخوانی دارد. بدون مهندس داده، تحلیلگران و دانشمندان داده
چیزی برای تجزیه و تحلیل ندارند. از این رو، مهندس داده یکی از اعضای مهم تیم علمی
داده است.
▪ خط لوله-محور: در شرکت های متوسط، این مهندسان داده معمولا در کنار دانشمندان داده
کار می کنند تا از داده های جمع آوری شده به طور مفید استفاده کنند. آگاهی از علم رایانه و
سیستم های توزیع شده برای مهندسین خط لوله-محور برای انجام چنین تجزیه هایی ضروری
است.
▪ پایگاه داده-محور: این مهندسین داده وظیفه پیاده سازی، نگهداری و جمع آوری پایگاه
داده های تجزیه و تحلیل را دارند. این نقش معمولا در شرکت های بزرگتر وجود دارد که
داده ها در چندین پایگاه داده توزیع میشوند. مدیریت جریان داده های که شغل تمام وقت است
و مهندسین داده در این نقش به طور کامل بر روی پایگاه داده تجزیه و تحلیل تمرکز میکنند.
به عنوان مهندس دادهی پایگاه داده- محور، باید در پایگاه داده های متعدد کار کنید و جدول ها
را در انبار داده توسعه دهید.
