چگونه InfluxDB برای تجزیه و تحلیل بلادرنگ بهبود یافت

یک موتور پایگاه داده جدید مبتنی بر Rust، InfluxDB IOx، یک ذخیره ستونی درون حافظه، کاردینالیته نامحدود و پشتیبانی از زبان SQL را به پایگاه داده سری زمانی منبع باز ارائه می‌کند و نوار را برای تجزیه و تحلیل پیشرفته در داده‌های سری زمانی بالا می‌برد.

تجزیه و تحلیل داده‌ها در زمان واقعی به دلیل حجم عظیم داده‌هایی که برنامه‌ها، سیستم‌ها و دستگاه‌های امروزی ایجاد می‌کنند، یک چالش بزرگ است. یک دستگاه می‌تواند چندین بار در هر ثانیه، حداکثر تا هر نانوثانیه، داده‌ها را ساطع کند که منجر به جریان بی‌وقفه‌ای از داده‌های دارای مهر زمانی می‌شود.

از آنجایی که جهان ابزار دقیق‌تر می‌شود، پایگاه‌های داده سری زمانی سرعتی را که سازمان‌ها از این دستگاه‌ها و داده‌هایی که تولید می‌کنند به دست می‌آورند، تسریع می‌کنند. یک پلتفرم داده سری زمانی مانند InfluxDB به شرکت‌ها امکان می‌دهد تا این داده‌ها را درک کنند و به طور مؤثر از آن برای تقویت تجزیه و تحلیل پیشرفته در ناوگان بزرگ دستگاه‌ها و برنامه‌ها در زمان واقعی استفاده کنند.

پایگاه داده ستونی در حافظه

موتور پایگاه داده جدید InfluxData، InfluxDB IOx، نوار را برای تجزیه و تحلیل پیشرفته در داده‌های سری زمانی بالا می‌برد. InfluxDB IOx که به عنوان یک پایگاه داده ستونی بازسازی شده است، حجم بالایی را برای داده ها با کاردینالیتی نامحدود ارائه می دهد. InfluxDB IOx که برای طیف کاملی از داده های سری زمانی بهینه شده است، با کاهش زمان لازم برای جداسازی سیگنال های مربوطه از نویز ایجاد شده توسط این حجم عظیم داده، هم پیچیدگی عملیاتی و هم هزینه ها را کاهش می دهد.

پایگاه‌های اطلاعاتی ستونی داده‌ها را به‌عنوان ستون‌ها به جای ردیف‌هایی مانند پایگاه‌های داده سنتی روی دیسک ذخیره می‌کنند. این طراحی با اجازه دادن به کاربران برای اجرای سریع پرس و جوها در مقیاس، عملکرد را بهبود می بخشد. با افزایش حجم داده ها در پایگاه داده، مزایای قالب ستونی در مقایسه با فرمت مبتنی بر ردیف افزایش می یابد. برای بسیاری از پرسش‌های تحلیلی، پایگاه‌های داده ستونی می‌توانند عملکرد را بر اساس مرتبه‌های بزرگی بهبود بخشند و تکرار و نوآوری در نحوه استفاده از داده‌ها را برای کاربران آسان‌تر می‌کنند. در بسیاری از موارد، یک پایگاه داده ستونی پرس و جوها را در چند ثانیه برمی گرداند که ممکن است در یک پایگاه داده استاندارد چند دقیقه یا چند ساعت طول بکشد و در نتیجه بهره وری بیشتری به همراه دارد.

در مورد InfluxDB IOx، ما هر دو بر روی پیکان آپاچی و پروژه های DataFusion. در سطح بالا، Apache Arrow یک چارچوب زبانی است که برای ساخت برنامه های تجزیه و تحلیل داده با کارایی بالا که داده های ستونی را پردازش می کند، استفاده می شود. این تبادل داده بین پایگاه داده و موتور پردازش پرس و جو را استاندارد می کند و در عین حال کارایی و قابلیت همکاری را با طیف گسترده ای از ابزارهای پردازش و تجزیه و تحلیل داده ایجاد می کند.

در همین حال، DataFusion یک موتور جستجوی SQL قابل توسعه Rust است که از Apache Arrow به عنوان فرمت درون حافظه خود استفاده می کند. این بدان معنی است که InfluxDB IOx به طور کامل از SQL پشتیبانی می کند. همانطور که DataFusion تکامل می یابد، عملکرد پیشرفته آن مستقیماً به InfluxDB IOx (همراه با سایر سیستم های ساخته شده بر روی DataFusion) جریان می یابد و در نهایت به مهندسان کمک می کند تا فناوری پایگاه داده پیشرفته را به سرعت و کارآمد توسعه دهند.

کاردینالیتی نامحدود

Cardinality مدت‌هاست که خاری در چشم پایگاه‌داده سری‌های زمانی بوده است. Cardinality تعداد سری‌های زمانی منحصربه‌فردی است که شما دارید، و کاردینالیتی فراری می‌تواند بر عملکرد پایگاه داده تأثیر بگذارد. با این حال، InfluxDB IOx این مشکل را حل کرد و محدودیت‌های اصلی را حذف کرد تا توسعه‌دهندگان بتوانند حجم عظیمی از داده‌های سری زمانی را بدون تأثیرگذاری بر عملکرد کنترل کنند.

موردهای استفاده از نظارت مرکز داده سنتی معمولاً ده‌ها تا صدها چیز متمایز را نظارت می‌کنند، که معمولاً منجر به کاردینالیتی بسیار قابل کنترل می‌شود. در مقایسه، موارد استفاده از سری‌های زمانی دیگری مانند معیارهای اینترنت اشیا، رویدادها، ردیابی‌ها و گزارش‌ها وجود دارد که ۱۰۰۰۰ تا میلیون‌ها سری زمانی متمایز تولید می‌کنند – دستگاه‌های IoT منفرد، شناسه‌های ظرف Kubernetes، شناسه‌های بازه ردیابی و غیره را در نظر بگیرید. . برای حل مشکلات کاردینالیتی و سایر مشکلات عملکرد پایگاه داده، روش سنتی مدیریت این داده ها در پایگاه های داده دیگر این است که داده ها را در منبع پایین نمونه برداری کنید و سپس تنها معیارهای خلاصه شده را ذخیره کنید.

ما InfluxDB IOx را طراحی کردیم تا سریع و مقرون به صرفه همه داده‌های با وفاداری بالا را دریافت کند و سپس به طور کارآمد آن را پرس و جو کند. این امر به طور قابل توجهی نظارت، هشدار و تجزیه و تحلیل را در ناوگان بزرگ دستگاه های رایج در بسیاری از صنایع بهبود می بخشد. به عبارت دیگر، InfluxDB IOx به توسعه‌دهندگان کمک می‌کند تا هر نوع داده رویداد را با کاردینالیتی بی‌نهایت بنویسند و داده‌ها را در هر بعد بدون به خطر انداختن عملکرد تجزیه کنند.

پشتیبانی از زبان SQL

افزودن پشتیبانی SQL نشان دهنده تعهد InfluxData برای ملاقات با توسعه دهندگان در جایی است که هستند. در یک چشم‌انداز فناوری بسیار تکه‌تکه، اکوسیستم‌هایی که از SQL پشتیبانی می‌کنند، عظیم هستند. بنابراین، پشتیبانی از SQL به توسعه دهندگان اجازه می دهد تا از ابزارها و دانش موجود در هنگام کار با داده های سری زمانی استفاده کنند. پشتیبانی SQL تجزیه و تحلیل گسترده ای را برای نگهداری پیشگیرانه یا پیش بینی از طریق ادغام با هوش تجاری و ابزارهای یادگیری ماشین امکان پذیر می کند. توسعه دهندگان می توانند از SQL با ابزارهای محبوبی مانند نوت بوک های Grafana، Apache SuperSet و Jupyter استفاده کنند تا زمان لازم برای دریافت اطلاعات ارزشمند از داده های خود را تسریع کنند. به زودی، تقریباً هر ابزار مبتنی بر SQL از طریق رابط JDBC Flight SQL پشتیبانی خواهد شد.

یک تکامل قابل توجه

InfluxDB IOx تکامل قابل توجهی از فناوری پایگاه داده اصلی پلت فرم InfluxDB است و به InfluxDB کمک می‌کند تا داده‌های رویداد (یعنی سری‌های زمانی نامنظم) و همچنین داده‌های متریک (یعنی سری‌های زمانی معمولی) را مدیریت کند. InfluxDB IOx به کاربران این امکان را می دهد که سری های زمانی را در لحظه از داده های خام و با دقت بالا ایجاد کنند. و ساخت InfluxDB IOx بر اساس استانداردهای منبع باز به توسعه دهندگان امکان انتخاب بی سابقه ای در ابزارهایی را می دهد که می توانند استفاده کنند.

مهیج ترین چیز در مورد InfluxDB IOx این است که نشان دهنده آغاز فصل جدیدی برای پلتفرم InfluxDB است. InfluxDB با ویژگی‌ها و عملکردهای جدید در ماه‌ها و سال‌های آینده به تکامل خود ادامه خواهد داد، که در نهایت به پیشبرد بیشتر بازار داده‌های سری زمانی به جلو کمک می‌کند.

سری‌های زمانی سریع‌ترین بخش از پایگاه‌های اطلاعاتی در حال رشد است و سازمان‌ها در حال یافتن راه‌های جدیدی برای پذیرش فناوری هستند تا ارزش را از کوه‌های داده‌ای که تولید می‌کنند، باز کنند. این آخرین پیشرفت ها در فناوری سری های زمانی، تجزیه و تحلیل بلادرنگ را به واقعیت تبدیل می کند. این به نوبه خود، دستگاه های هوشمند امروزی را حتی هوشمندتر می کند.

ریک اسپنسر معاون محصولات در InfluxData است. تجربه ۲۵ ساله ریک شامل کار پیشگام بر روی قابلیت استفاده توسعه دهندگان، پیشروی پروژه های منبع باز محبوب و بسته بندی، تحویل و نگهداری نرم افزارهای ابری است. در نقش قبلی خود به عنوان معاون تیم پلتفرم InfluxData، ریک بر برتری در تحویل بومی ابری از جمله CI/CD، در دسترس بودن بالا، مقیاس، و استقرار چند ابری و چند منطقه‌ای تمرکز داشت.

—

انجمن فناوری جدید مکانی را برای کاوش و بحث در مورد فناوری سازمانی نوظهور در عمق و وسعت بی سابقه ای فراهم می کند. انتخاب ذهنی است، بر اساس انتخاب ما از فناوری هایی که معتقدیم مهم هستند و برای خوانندگان InfoWorld بیشترین علاقه را دارند. InfoWorld وثیقه بازاریابی را برای انتشار نمی پذیرد و حق ویرایش تمام محتوای ارائه شده را برای خود محفوظ می دارد. همه سوالات را به newtechforum@infoworld.com ارسال کنید.