نحوه ایجاد یک فروشگاه داده عملیاتی با TiDB

از یک فروشگاه داده عملیاتی برای ادغام داده ها از سراسر سازمان خود و تبدیل آن برای استفاده در زمان واقعی استفاده کنید.

داده ها شریان حیات سازمان مدرن هستند. مدام در حال حرکت و تغییر است، در مقیاس وسیع و سرعت سرگیجه آور. این به طور گسترده توزیع شده است، در همه جا موجود است، عملیات را هدایت می کند و تصمیمات استراتژیک را هدایت می کند.

این توضیح می‌دهد که چرا سازمان‌های بیشتر و بیشتری «ذخیره داده عملیاتی» را پیاده‌سازی می‌کنند. یک فروشگاه داده عملیاتی به عنوان یک واسطه بین مجموعه وسیعی از منابع داده و مصرف کنندگان داده، از جمله تحلیلگران تجاری، توسعه دهندگان، و تصمیم گیرندگان ارشد عمل می کند.

یک ذخیره‌سازی اطلاعات عملیاتی کاملاً متفاوت از انبار داده، که مخزنی است که در آن داده ها برای هوش تجاری و ارائه داده‌های بی‌درنگ.

IDG

یک ذخیره‌سازی اطلاعات عملیاتی بیشتر شبیه یک منطقه فرود موقت است که در آن داده‌ها از سراسر سازمان برای استفاده در زمان واقعی ادغام و تبدیل می‌شوند. انبارهای داده برای تحلیل عمیق و بازتاب تاریخی هستند. از سوی دیگر، ذخیره اطلاعات عملیاتی برای درک وضعیت کسب و کار شما در حال حاضر است.

ذخیره اطلاعات عملیاتی داده‌ها را از منابع سراسر سازمان ترکیب می‌کند: CRM، بلیط IT، منابع انسانی، بازاریابی، خدمات مشتری، و سایر عملکردها.

موارد استفاده متداول برای ذخیره اطلاعات عملیاتی عبارتند از:

• پشتیبانی از تصمیم گیری مبتنی بر داده در زمان واقعی
• بهبود حاکمیت داده، حریم خصوصی، و انطباق
• مدرن سازی سیستم های قدیمی از طریق داده به عنوان سرویس (DaaS)
• ​پردازش کارآمد داده.

ذخیره اطلاعات عملیاتی به یک زیرساخت فن‌آوری قوی نیاز دارد. در اینجا ما درباره پیاده‌سازی یک ذخیره‌سازی داده عملیاتی در TiDB بحث خواهیم کرد، یک راه‌حل SQL توزیع‌شده منبع باز که برای برنامه‌های کاربردی با کارایی بالا طراحی شده است. p>

الزامات فنی

هنگام انتخاب راه حل داده برای ذخیره داده عملیاتی خود، چهار الزام اصلی وجود دارد که باید در نظر داشته باشید.

• مقیاس پذیری. ذخیره‌سازی داده‌های عملیاتی باید بتواند حجم عظیمی از داده‌ها، از جمله هویت و فعالیت کاربر، را از سیستم‌های متعدد جمع‌آوری کند و از جستارهای بلادرنگ پشتیبانی کند.
• عملکرد. بر خلاف انبار داده، که در آن پرس‌وجوها می‌توانند یک شبه اجرا شوند، کاربران ذخیره‌سازی داده عملیاتی انتظار پاسخ‌های بلادرنگ را دارند. همچنین، برای اهداف SLA، تأخیر سیستم باید به حداقل برسد.
• قابلیت اطمینان. به دلیل ماهیت همیشه روشن آن، یک ذخیره‌سازی داده عملیاتی به توانایی حفظ عملیات تحت بارهای شدید و جداسازی خرابی‌های سیستم نیاز دارد.
• پرسمان‌های انعطاف‌پذیر. ذخیره‌سازی داده‌های عملیاتی باید از طیف وسیعی از موارد استفاده از هوش تجاری گرفته تا پردازش داده‌ها و ارائه داده‌ها در زمان واقعی پشتیبانی کند. ارائه قابلیت و انعطاف کافی برای پرس و جو در حجم زیاد داده بسیار مهم است. 

ملاحظات کلیدی

هنگامی که راه حل داده خود را انتخاب کردید – در این مورد TiDB – چهار زمینه وجود دارد که باید هنگام اجرای یک ذخیره‌سازی عملیاتی داده در نظر بگیرید.

برنامه ریزی ظرفیت

ابتدا اندازه خوشه‌هایی را که برای پشتیبانی از حجم کار نیاز دارید، تعیین کنید. از آنجایی که TiDB ذخیره سازی را از پردازش پرس و جو جدا می کند (در مورد پردازش در گره ذخیره سازی به زیر مراجعه کنید)، شما باید SQL و لایه های ذخیره سازی خود را به طور مستقل اندازه کنید. این عوامل را هنگام تخمین زدن در نظر بگیرید.

• نیازهای ذخیره سازی با توجه به حجم کلی داده شما و همچنین با حجم کاری پرس و جو تعیین می شود، زیرا برخی از پرس و جوها برای پردازش به لایه ذخیره سازی منتقل می شوند. این بدان معنی است که شما باید نه تنها فضای ذخیره سازی خام را در نظر بگیرید، بلکه باید برای بارهای کاری پرس و جو مبتنی بر ذخیره سازی TiDB محاسبه کنید. برای لایه SQL، با یک تخمین تقریبی شروع کنید تا تصویر کامل را به دست آورید، سپس با حجم کاری در دنیای واقعی تست کنید. یک نقطه شروع معمولی برای هر گره، ۲ تا ۴ ترابایت فضای ذخیره سازی و ۱۶ هسته در هر گره است، اگرچه بارهای کاری سنگین ممکن است محاسبات بیشتری را طلب کند.
• Throughput بیشتر بر گره های SQL تأثیر می گذارد. معیار کلیدی در اینجا پرس و جو در ثانیه (QPS) است. تدوین یک قانون کلی دشوار است، زیرا حجم کار بسیار متفاوت است. اجرای معیارهای خود می تواند به شما این حس را بدهد که هر گره چقدر QPS می تواند تحمل کند و می تواند نقطه شروعی برای کاوش بیشتر باشد. آزمایشات خود را با داده های دنیای واقعی و حجم کاری انجام دهید تا تخمین دقیق تری داشته باشید. افزودن و حذف محاسبات TiDB نسبتاً آسان است، بنابراین علیرغم ماهیت آزمایش و خطای این مرحله، پیاده سازی معمولاً زمان زیادی نمی برد.

طراحی طرحواره

اگر از پایگاه داده‌های رابطه‌ای تک‌گره مانند PostgreSQL یا Microsoft SQL Server مهاجرت می‌کنید، می‌توانید نحو درخواست‌های خود را تغییر دهید و در عین حال طرحواره خود را دست نخورده نگه دارید. احتمالاً باید ایندکس ها را مجدداً بررسی کنید – و احتمالاً موارد بیشتری را اضافه کنید – یا صاحبان ستون های خاص را تغییر دهید. 

اگر در حال اجرای طرح سبز هستید، می‌توانید از پشتیبانی TiDB برای تغییرات طرحواره آنلاین استفاده کنید. این رویکرد این مزیت را دارد که به شما امکان می دهد برای نیازهای امروزی خود طراحی کنید، نه اینکه بخواهید نیازهای خود را در آینده تصور کنید. با افزایش حجم داده‌های شما یا نیاز به ایجاد گزارش‌ها و پرسش‌های جدید یا تغییر فهرست، می‌توانید به سادگی این تغییر را از طریق DDL.

این یک تفاوت عمده بین راه حل های NoSQL و TiDB را نشان می دهد. در حالی که راه‌حل‌های NoSQL به راحتی در فضای ذخیره‌سازی مقیاس‌پذیر پیاده‌سازی می‌شوند، کاربران اغلب خود را به دلیل ناتوانی در انجام کارهایی بیشتر از دریافت/اسکن‌های ساده کلید-مقدار محدود می‌بینند، زیرا نیازهایشان پیچیده‌تر می‌شود. با تغییر طرح واره آنلاین TiDB، می‌توانید به سرعت اولین نسخه از فروشگاه داده عملیاتی خود را بدون نگرانی در مورد نیازهای آینده بسازید، زیرا می‌دانید که همیشه می‌توانید با افزایش نیازهایتان، طرح را تنظیم کنید.

اکوسیستم

• سازگاری و اتصال دهنده ها: TiDB از طیف گسترده ای از پروتکل های انتقال داده پشتیبانی می کند و اتصال دهنده هایی را برای پایگاه های داده محبوب مانند MySQL و همچنین برای Apache Kafka برای پخش پیام. این تضمین می‌کند که TiDB می‌تواند به‌خوبی با زیرساخت‌های داده موجود ادغام شود، و آن را به نقطه مرکزی برای فعالیت‌های داده عملیاتی تبدیل می‌کند.
• رابط استاندارد SQL: با ارائه یک رابط MySQL کاملاً سازگار، TiDB به برنامه ها و ابزارهای موجود اجازه می دهد تا بدون نیاز به تغییر در کد برنامه با آن ارتباط برقرار کنند. این سازگاری SQL اصطکاک مربوط به جایگزینی یا ادغام اجزای جدید در پشته داده را کاهش می دهد.

هنگامی که داده ها جذب شدند، گام بعدی همگام سازی آن داده ها با انبارهای داده و دریاچه های داده برای تجزیه و تحلیل و ذخیره سازی جامع. TiDB همچنین ابزارها و ویژگی های قوی را برای این منظور فراهم می کند:

• TiCDC: ویژگی TiDB’s Change Data Capture (CDC) تغییرات ایجاد شده در پایگاه داده را در زمان واقعی پخش می کند. این برای حفظ سازگاری داده‌ها بین TiDB و ذخیره‌گاه‌های داده خارجی مانند دریاچه‌های داده و انبارها، فعال کردن تجزیه و تحلیل بلادرنگ و فرایندهای استخراج، تبدیل و بارگذاری (ETL).
• TiDB Lightning: برای انتقال کارآمد داده با حجم زیاد از انبارهای داده یا دریاچه های داده به TiDB، TiDB Lightning ابزار انتخابی است. بارگیری دسته ای سریع و قابل اعتماد را تسهیل می کند و آن را برای مقداردهی اولیه خوشه های پایگاه داده جدید با داده های تاریخی یا ادغام نتایج تجزیه و تحلیل دسته ای در انبار داده های عملیاتی ایده آل می کند.

یک فروشگاه داده‌های عملیاتی همه کاره باید به‌طور یکپارچه با برنامه‌های کاربردی مصرف‌کننده و ابزارهای تحلیلی که به کسب‌وکارها کمک می‌کند تا بینش‌های عملی به دست آورند، یکپارچه شود:

• دسترسی API: برای برنامه های کاربردی سفارشی، TiDB از API های متعددی پشتیبانی می کند که تعامل مستقیم با لایه داده را امکان پذیر می کند، داشبوردهای عملیاتی سفارشی و عملکردهای داده بلادرنگ را در سیستم های اختصاصی تسهیل می کند.
• سازگاری ابزار BI گسترده: به لطف رابط SQL TiDB، بدون دردسر با طیف گسترده ای از ابزارهای BI مانند Tableau، Microsoft Power BI و Looker ادغام می شود و امکان تجزیه و تحلیل داده ها و تجسم های پیچیده را مستقیماً بر روی داده های بلادرنگ فراهم می کند.
• ادغام با موتورهای محاسباتی محبوب: TiDB به طور یکپارچه با Apache Spark و Apache Flink، فرآیندهای پیچیده پردازش داده و تجزیه و تحلیل را فعال می کند. این ادغام به کسب و کارها اجازه می دهد تا پردازش داده در مقیاس بزرگ و تجزیه و تحلیل جریانی را انجام دهند و قابلیت های پردازش داده ها را در زمان واقعی افزایش دهند. به عنوان مثال، تحلیلگران داده می توانند از Spark برای پردازش دسته ای پیچیده و آموزش ماشین، در حالی که Flink را می‌توان برای پردازش جریانی بی‌درنگ و برنامه‌های رویداد محور استفاده کرد.

محیط های چند مستاجر

بر خلاف فضای ذخیره سازی در پشت یک برنامه عملیاتی، یک ذخیره اطلاعات عملیاتی معمولاً بین چندین سرویس به اشتراک گذاشته می شود. این خدمات ممکن است با الزامات و اولویت های متفاوت ارائه شوند. تخصیص و جداسازی صحیح منابع در میان این سرویس‌ها نه تنها می‌تواند تجربه کاربر را بهبود بخشد، بلکه می‌تواند مقرون به صرفه‌تر باشد.

TiDB یک ویژگی پیشرفته به نام کنترل منابع ارائه می‌کند که یک استفاده دقیق از منابع است. مکانیزم کنترل این مکانیسم کنترل منابع امکان مدیریت دقیق منابع محاسباتی و ذخیره سازی را فراهم می کند و تضمین می کند که هر سرویس منابع لازم را برای انجام بهینه بدون تداخل با سرویس های دیگر دریافت می کند. این قابلیت نه تنها تجربه کلی کاربر را با حفظ عملکرد و در دسترس بودن بالا افزایش می دهد، بلکه هزینه های عملیاتی را نیز بهینه می کند. سرویس‌ها می‌توانند میزان مصرف منابع را بر اساس نیازهای هم‌زمان افزایش یا کاهش دهند و ذخیره داده‌های عملیاتی را هم انعطاف‌پذیر و هم مقرون‌به‌صرفه می‌سازند.

با پیاده‌سازی ویژگی‌های کنترل منابع TiDB، سازمان‌ها می‌توانند از توزیع متعادل و کارآمد منابع اطمینان حاصل کنند که برای حفظ ثبات و پاسخگویی محیط‌های داده مشترک بسیار مهم است.

بهترین استفاده از داده ها

در عصر نوآوری سریع و رقابت جهانی، داده ها نقش مهمی در هدایت تصمیمات تجاری و کارایی عملیاتی دارند. یک ذخیره‌سازی داده عملیاتی مانند آنچه در این مقاله توضیح داده شد می‌تواند به کسب‌وکارها در دستیابی به اتصال یکپارچه بین منابع داده متنوع، انبارهای داده، دریاچه‌های داده و برنامه‌های کاربردی کاربر نهایی کمک کند و در عین حال از بینش‌های بلادرنگ برای تصمیم‌گیری استراتژیک استفاده کنند. جذب داده قوی، همگام سازی داده ها، و سازگاری گسترده با ابزارهای BI، به همراه توانایی آن در مدیریت عملیات داده در مقیاس بزرگ با حداقل تأخیر، آن را به انتخابی عالی برای این منظور تبدیل کرده است.

از هر راه حلی که برای ایجاد ذخیره اطلاعات عملیاتی خود استفاده کنید، نتیجه چیزی فراتر از یک راه حل فناوری دیگر است. این راهی برای پذیرش واقعیت تجاری جدید است، جایی که داده‌ها کلیدی برای قوی کردن، سازگار کردن و همسو کردن عملیات با اهداف استراتژیک شما هستند.

لی شن معاون ارشد در PingCAP، شرکت پشت TiDB.

—

انجمن فناوری جدید مکانی را برای رهبران فناوری – از جمله فروشندگان و سایر مشارکت‌کنندگان خارجی – فراهم می‌کند تا فناوری سازمانی نوظهور را در عمق و وسعت بی‌سابقه بررسی و بحث کنند. انتخاب ذهنی است، بر اساس انتخاب ما از فناوری هایی که معتقدیم مهم هستند و برای خوانندگان InfoWorld بیشترین علاقه را دارند. InfoWorld وثیقه بازاریابی را برای انتشار نمی پذیرد و حق ویرایش تمام محتوای ارائه شده را برای خود محفوظ می دارد. همه سوالات را به doug_dineley@foundryco.com< ارسال کنید em>