چگونه مش های داده، پارچه ها و ابرها را توضیح دهیم

توانمندسازی سازمان‌های مبتنی بر داده‌ها نیازمند ابزارها و شیوه‌های مناسب و رئیسی است که آن را دریافت کند. در اینجا نحوه توضیح مفاهیم حیاتی داده برای مدیرعامل خود آورده شده است.

• مش داده چیست؟
• پارچه داده چیست؟
• کلاد داده توزیع شده چیست؟
• گره زدن همه آنها

مدیر عامل شما می داند پایگاه داده چیست و احتمالاً فکر می کند انبار داده یک انبار داده بزرگ است که برای گزارش گیری و تجزیه و تحلیل استفاده می شود. آنها اطلاعات کمی در مورد ذخیره‌های داده NoSQL، چرایی نیاز به خوشه جرقه یا نحوه استفاده از دریاچه‌های داده برای دریافت داده‌های ساختاریافته و بدون ساختار می‌دانند.< /p>

مدیرعامل و رهبران کسب و کار بر ارزش تجاری داده ها، تجزیه و تحلیل ها، و یادگیری ماشین تمرکز می کنند و کمتر به فناوری های اساسی اهمیت می دهند.

اما یک پارادوکس در آن نهفته است، زیرا آنها می خواهند ارزش سرمایه گذاری زمان و پول در فناوری های جدید را درک کنند. سعی کنید آخرین فناوری‌های مدیریت داده، از جمله مش داده‌ها، پارچه‌های داده، و ابرهای داده توزیع‌شده را توضیح دهید و به چرخش سر مدیر عامل خود نگاه کنید.

این فقط مدیران عامل نیستند. فناوری داده از روزهای اولیه وب، زمانی که بحث اصلی این بود که آیا انبار داده خود را در بالای اوراکل، مایکروسافت یا منبع باز ایجاد کنید، منفجر شده است. امروزه بسیاری از رهبران غیر فناوری اطلاعات به این باورند که داده‌ها «در فضای ابری» هستند و یکپارچه‌سازی، کیفیت و عملکرد داده‌ها «مشکلات فناوری اطلاعات» هستند.

هرکسی که با داده ها کار می کند باید آماده باشد تا حیاتی ترین فناوری ها و شیوه ها را به زبانی در دسترس توضیح دهد. در کتاب خود، پیشگام دیجیتال، داستانی را درباره توضیح اینکه کوکی مرورگر چیست به اشتراک می‌گذارم. اعضای هیئت مدیره استارت آپ ما زمانی که وب جدید بود. شما هرگز نمی دانید چه زمانی میکروفون برای پاسخ به یک سوال فنی به شما تحویل داده می شود. پاسخگویی با technobabble می تواند به راحتی سرمایه گذاری های کلیدی را متوقف یا کند کند.

گوردون آلوت، رئیس و مدیر عامل K3، پیشنهاد می‌کند با یک پاسخ ساده شروع کنید: «دریاچه داده، انبار داده، مش و پارچه همه فقط به استراتژی کلی داده های شرکت اشاره دارد.»

مش داده چیست؟

ساده نگه داشتن پاسخ های شما مهم است، اما اغلب کافی نیست. وقتی یک مدیر اجرایی از من در مورد یک اصطلاح فنی می پرسد، من می خواهم به سؤال به گونه ای پاسخ دهم که کنجکاوی و سؤالات بعدی را تشویق کند.

بیایید با توضیح داده‌های مش چیست شروع کنیم. استیون لین، مدیر بازاریابی محصول در Semarchy، این پاسخ مختصر را به اشتراک گذاشت: “مشبکه داده یک رویکرد غیرمتمرکز برای مدیریت داده است. او گفت، جایی که چندین تیم در یک شرکت مسئول داده‌های خود هستند و همکاری و انعطاف‌پذیری را ارتقا می‌دهند.

هیچ واژه پیچیده ای در این تعریف وجود ندارد، و مشکلاتی را که هدف شبکه داده ها حل می شود، نوع راه حل و چرایی اهمیت آن معرفی می کند.

انتظار می‌رود که جزئیات فنی بیشتری از شما خواسته شود، به‌ویژه اگر مدیر اجرایی از سایر فناوری‌های مدیریت داده اطلاعات قبلی داشته باشد. به عنوان مثال، “آیا انبارهای داده و دریاچه های داده قرار نبود مشکل مدیریت داده را حل کنند؟”

اگر با تفاوت‌های فنی بین انبارهای داده، دریاچه‌ها و مش‌ها به آن پاسخ دهید، می‌تواند یک تله باشد. در عوض، پاسخ خود را بر روی هدف تجاری متمرکز کنید.

Satish Jayanthi، یکی از بنیانگذاران و CTO Coalesce، این پیشنهاد را ارائه می دهد: “کیفیت داده اغلب بر دقت تجزیه و تحلیل کسب و کار و تصمیم گیری. با اجرای پارادایم‌های مش داده، کیفیت و دقت داده‌ها را می‌توان افزایش داد و در نتیجه اعتماد کسب‌وکارها برای استفاده گسترده‌تر از داده‌ها برای تصمیم‌گیری آگاهانه افزایش می‌یابد.”

من این پاسخ را دوست دارم و امیدوارم مدیر اجرایی بخواهد عمیق‌تر به این موضوع بپردازد که چگونه پارادایم‌های مش داده به بهبود کیفیت داده کمک می‌کنند. جایانتی پاسخ می دهد: «یکی از اصول اصلی، مالکیت دامنه، تضمین می کند که تیم تولید کننده داده ها مسئول کیفیت و دقت است. این اصل از داده ها به عنوان یک محصول تضمین می کند که داده های به اشتراک گذاشته شده با گروه های دیگر دقیق، قابل استفاده مجدد، مستند به خود و مطابق با استانداردهای بالا هستند.”

اگر در زمینه مش های داده تازه کار هستید و می خواهید جزئیات فنی را بررسی کنید، پیشنهاد می کنم مقاله محوری ژامک دهقانی را در حرکت فراتر از یک دریاچه داده یکپارچه به یک شبکه داده توزیع شده.

پارچه داده چیست؟

مدیر مالی مکالمه در مورد مش‌های داده را شنید و اکنون می‌خواهد بداند چرا مدیر ارشد داده ترجیح می‌دهد به جای شبکه داده، روی یک پارچه داده سرمایه‌گذاری کند.

CFO در واقع سه سوال می پرسد:

• پارچه داده چیست؟
• چه تفاوتی با شبکه داده دارد؟
• چرا مدیر ارشد داده به دنبال سرمایه گذاری در یک پارچه داده است؟

هنگام مواجهه با یک سوال مرکب، پیشنهاد می‌کنم سرعت خود را کم کنید، نفس عمیقی بکشید، زمینه‌ای را در نظر بگیرید که چه کسی سؤال را می‌پرسد، و پاسخی ساختارشکن ارائه دهید. من ممکن است با این جمله شروع کنم: “بیایید ابتدا در مورد ساختار داده و اهمیت آن صحبت کنیم.”

راس استوارت، معمار ارشد راه‌حل‌ها در AHEAD، پیشنهاد می‌کند که به مدیر مالی کمک کنید تا از آنچه پارچه به نظر می رسد و نحوه عملکرد آن. او می‌گوید: «پارچه داده‌ها اصطلاحی است که برای توصیف معماری استفاده از سیستم‌های متفاوت و با هم بافتن آنها، مانند پارچه، برای ایجاد یک لایه ثابت در بالای داده‌های سازمان استفاده می‌شود.

ایوان باتانوف، معاون ارشد مهندسی در Crux، می‌افزاید: «معماری پارچه داده‌ای می‌تواند بهبود یافته را ارائه دهد. بینش و تجزیه و تحلیل کارآمد است و از ماهیت به هم پیوسته داده ها از منابع متفاوت پشتیبانی می کند.»

در این مرحله، باید مکث کنید و چند ثانیه به مخاطب خود فرصت دهید تا رابطه بین داده‌های مش و بافت‌های داده، از جمله تضاد ظاهری بین این دو رویکرد را درک کند. چگونه می توانید آنها را با هم جمع کنید؟ پیشنهاد می کنم چیزی شبیه به این بگویید:

آنچه در این پرسش‌ها و پاسخ‌ها می‌بینیم، نقش‌های سازمانی مختلف و مسئولیت‌های داده‌ای آن‌ها است. ما می خواهیم تیم های تجاری از علم داده شهروندی و < em>از داده‌ها برای تصمیم‌گیری استفاده کنید، در حالی که سازمان‌ها به مدیر ارشد داده نیاز دارند تا روی حاکمیت داده‌های فعال، با هدف کاهش اصطکاک و خطرات هنگام دموکراتیک کردن داده‌ها.

یک ابر داده توزیع شده چیست؟

اکنون به گروه سوم مدیریت داده می‌رسیم که وظیفه ذخیره و ساختاردهی داده‌ها را برای پشتیبانی از نیازهای استفاده، اهداف عملکرد و الزامات امنیتی دارد. “در کجا باید مجموعه داده X را ذخیره کنیم” چالشی است که در دست است و پاسخ آن ساده نیست. در اکثر شرکت ها، یک معماری واحد برای ذخیره، مدیریت و استفاده از داده ها وجود ندارد.

جیمز مالون، مدیر مدیریت محصول در Snowflake، می گوید: “به جای مشخص کردن “چگونگی” ذخیره سازی اطلاعات، یک ابر داده نشان دهنده “آنچه” است که یک فرد با ترکیب مناسب فناوری ها به دست می آورد. «ابر داده‌ها به سازمان‌ها قدرت می‌دهد تا در مقابل تجویز و فشار دادن تنها یک راه برای انجام کارها، آنچه را که برایشان مفید است، انتخاب کنند. استفاده از موارد تغییر، نیازها، و تغییرات فناوری – به همین دلیل است که ابر داده بر انعطاف‌پذیری و سودمندی تمرکز می‌کند.

هیلاری اشتون، مدیر ارشد محصول Teradata، جزئیات مهمی را برای به اشتراک گذاشتن با مدیر مالی اضافه می کند. او می‌گوید: «ابر داده‌ها را می‌توان بر روی هر ترکیبی از ابرهای عمومی، ابرهای خصوصی داخلی، ابرهای ترکیبی و چند ابری مستقر کرد. اما «مغز» هر ابر داده، پلتفرم تحلیل ابری است که داده‌ها را از هر منبع و معماری پردازش و به هم متصل می‌کند. برای به دست آوردن بیشترین ارزش از داده‌های خود، آنچه بیش از همه مهم است توانایی مقیاس‌سازی موتور تحلیلی و قابلیت‌های خود در سراسر سازمان است، که تیم‌هایی را فراتر از دانشمندان داده را قادر می‌سازد به داده‌ها دسترسی داشته باشند، پرس و جو کنند و داده‌ها را به بینش تبدیل کنند.”

گره زدن همه به هم

در این مرحله، مدیر عامل و مدیر مالی ممکن است به دنبال یک دکمه آسان برای فشار دادن باشند، بنابراین من مهارت مورد نیاز در ساده ترین چیزها را به آنها یادآوری می کنم. برای تهیه یک قرص نان عالی، به پنج ماده نیاز دارید: آرد، آب، مخمر، نمک و شکر، به نسبت‌های مناسب، با تکنیک‌های مناسب درست شده، برای مدت زمان مناسب پخته شده و به زیبایی برای تجربه دلخواه ارائه شود. “

هر کسی که تا به حال سعی کرده نان درست کند، می داند که پختن یک نان عالی به طور مداوم چقدر سخت است. کتاب‌های نان صدها دستور پخت دارند و تکنیک‌ها همچنان در حال تکامل هستند.

ذخیره‌سازی، مدیریت، یکپارچه‌سازی، مدیریت و استفاده از داده‌ها ساده به نظر می‌رسد، اما برای توانمندسازی سازمان مبتنی بر داده، به مواد، ابزار و شیوه‌های مناسب نیاز دارید.