راکوتن ظرف دو سال خود را از سرمایه گذاری Hadoop رها می کند

بازوی ایالات متحده غول تجارت الکترونیک ژاپنی در تلاش برای کاهش هزینه های سخت افزاری و تسهیل مدیریت دارایی خود از Hadoop دور شده است.

Rakuten Rewards مستقر در San Mateo، کالیفرنیا، یک شرکت پاداش خرید است که از طریق پیوندهای بازاریابی وابسته در سراسر وب کسب درآمد می کند. در ازای آن، اعضا هر بار که از طریق یک خرده‌فروش شریک خرید می‌کنند، امتیاز پاداش می‌گیرند و پاداش‌های نقدی دریافت می‌کنند.

به طور طبیعی، این اطلاعات بینش کاربر زیادی را هدایت می کند – صدها ترابایت در هنگام فراخوانی فعال و بیشتر در فضای ذخیره سازی سرد، به طور دقیق.

در سال ۲۰۱۸، کسب‌وکار شروع به جدی شدن برای دسترسی بیشتر کاربران به این بینش کرد – بدون داشتن برنامه‌های کدنویسی Python یا Scala – در حالی که هزینه‌های سرمایه‌ای خود را برای سخت‌افزار کاهش داد و شروع به جستجوی ابر کرد.

“ماشین های سرور SQL به زیبایی مقیاس نمی شوند”

این کسب‌وکار که قبلا با نام Ebates شناخته می‌شد، در سال ۲۰۱۴ توسط غول تجارت الکترونیک ژاپنی Rakuten خریداری شد و از آن زمان به سرعت در حال رشد بوده است و این امر باعث شده است که پشته فن‌آوری خود را مدرن‌سازی کند و به روشی که جذب می‌کند اطلاعات محورتر شود. مشتریان را حفظ می کند.

این با معماری شروع می شود. در سه سال گذشته، Rakuten Rewards اطلاعات کلان خود را از SQL عمدتاً اولیه به Hadoop اولیه به یک انبار داده ابری با حسن نیت Snowflake منتقل کرده است.

“ماشین‌های سرور SQL به زیبایی مقیاس نمی‌شوند، بنابراین ما با استفاده از Spark و Python برای اجرای ETL، Hadoop داخلی را با Cloudera انجام دادیم و عملکردی از آن به دست آوردیم. Tregear، به InfoWorld گفت.

او گفت: “مدیریت آن ساختار [Hadoop] پیش پا افتاده و تا حدودی پیچیده نیست، بنابراین وقتی دیدیم انبارهای ابری در حال آمدن هستند، تصمیم گرفتیم حرکت کنیم و این انبار داده و دریاچه در سطح سازمانی متمرکز را داشته باشیم.”

همانطور که مارک لیتوینچیک، توسعه‌دهنده سابق بلومبرگ و مشاور کلان داده در پست وبلاگ خود استدلال می‌کند “آیا Hadoop است مرده است؟»، جهان از Hadoop پس از روزهای halcyon در اوایل ۲۰۱۰ حرکت کرده است.

اکنون، چارچوب‌های ابری که بسیاری از کارهای سنگین را از تیم‌های مهندسی داده دور می‌کنند، در بین شرکت‌هایی که به دنبال کاهش هزینه‌های بیکار ماندن ماشین‌های اولیه هستند محبوبیت بیشتری پیدا کرده‌اند – و به طور کلی عملیات تجزیه و تحلیل خود را ساده‌سازی می‌کنند.

>

حرکت از Hadoop

بنابراین Stange-Tregear و مهندس داده پیشرو جوجی جان در اواسط سال ۲۰۱۸ تصمیم گرفت تا انتقال داده های عمده ای را از سیستم های اصلی خود به انبار داده ابری Snowflake در بالای زیرساخت ابر عمومی خدمات وب آمازون (AWS) آغاز کند.

این انتقال با لایه گزارش‌دهی و برخی از پرمصرف‌ترین مجموعه‌های داده در سراسر کسب‌وکار شروع شد، قبل از انتقال ETL و بارهای کاری تولید داده‌های واقعی، که همگی تا پایان سال ۲۰۱۹ تکمیل شدند و برخی از منابع انسانی و اعتبار حساس‌تر را منع کردند. اطلاعات کارت.

با استفاده از محاسبات ابری، Rakuten بهتر می‌تواند برای زمان‌های اوج خرید، بالا و پایین‌تر شود. Snowflake همچنین به شرکت اجازه می دهد تا دریاچه داده خود را به مجموعه ای از انبارهای مختلف با اشکال و اندازه های مختلف تقسیم کند تا نیازهای تیم های مختلف را برآورده کند، حتی در صورت لزوم، انبارهای جدید را برای پروژه های یکباره در نظر گرفته شود، بدون اینکه تیم ها بر سر ظرفیت حافظه یا CPU رقابت کنند. روی یک خوشه.

Stange-Tregear توضیح داد: «قبلاً، «پرس و جوی بزرگ SQL از یک کاربر می‌توانست به‌طور مؤثری درخواست‌های دیگر کاربران دیگر را مسدود یا پایین بیاورد، یا بخش‌هایی از پردازش ETL ما را مختل کند». “با رشد شرکت و افزایش حجم داده های ما، اجرای پرس و جوها بیشتر و بیشتر طول کشید.

“ما در نهایت مجبور شدیم فقط برای جلوگیری از این مشکلات، داده ها را روی ماشین های مختلف تکثیر کنیم، و سپس یک سری مسائل دیگر را معرفی کردیم، زیرا مجبور بودیم حوزه تکثیر و همگام سازی داده در مقیاس بزرگ را مدیریت کنیم.”

>

چگونه Rakuten به تحلیلگران خود پاداش می دهد

اکنون Rakuten می‌تواند به راحتی هر روز بخش‌های مشتریان را تا کل تاریخچه خرید یک کاربر، دوباره پردازش کند. سپس می‌تواند مناطق مورد علاقه آنها را برای هدف‌یابی بازاریابی مؤثرتر یا مدل‌سازی توصیه‌ها بازسازی کند. این به مشتری کمک می‌کند در لحظه‌ای که واقعاً به خرید آن جفت کفش جدید فکر می‌کند، یک پیشنهاد هدفمند را به مشتری وارد کند، نه اینکه به آنها فرصت فکر کردن را بدهد.

Stange-Tregear توضیح داد: «برای ده‌ها میلیون حساب، می‌توانیم چندین بار در روز آن را انجام دهیم. “سپس آن را برای هر کاربر به یک مدل JSON بسته بندی کنید، برای هر نمایه عضو که برای همه کاربران چندین بار در روز محاسبه شود” تا فقط با چند خط SQL پرس و جو شود.

این امر تجزیه و تحلیل را بسیار دموکراتیک می کند، از بینش های دقیق دانشمندان داده با مهارت های Python یا Spark گرفته تا هر تحلیلگر آشنا با SQL.

Stange-Tregear اذعان می‌کند: «پیدا کردن افرادی که در SQL کد می‌نویسند، آسان‌تر از Scala، Python و Spark است. “اکنون تیم تجزیه و تحلیل من – برخی با مهارت های Python و کمتر با Scala – می توانند خطوط لوله داده را برای گزارش گیری، تجزیه و تحلیل و حتی مهندسی ویژگی ها راحت تر ایجاد کنند زیرا در یک بسته SQL زیبا ارائه می شود.”

سایر کارهای کلان داده، مانند پردازش پرداخت‌ها، به لطف افزایش عملکرد ابر، اکنون زمان بسیار کمتری را می‌گیرد.

Stange-Tregear گفت: “پردازش صدها میلیون دلار در پرداخت ها کار زیادی می طلبد.” “این اجراها قبلاً یک تلاش مادی سه ماهه بود که هفته ها طول کشید، اکنون می توانیم دوباره آن را بررسی و پردازش کنیم و ظرف چند روز مجدداً تنظیم کنیم.”

زندگی پس از هادوپ

همه این تلاش‌ها با هزینه‌هایی نیز همراه است. Stange-Tregear، جوجی جان، و مدیر مالی در حال حاضر همه گزارش‌های Tableau را دریافت می‌کنند که جزئیات هزینه‌های پردازش داده‌های روزانه را به تفکیک عملکرد کسب‌وکار تقسیم می‌کند.

Stange-Tregear توضیح داد: “ما می توانیم هزینه موثر برای هر [عملکرد] را ببینیم و آن را در طول زمان ثابت کنیم.” ما به راحتی می‌توانیم وارد شویم و ببینیم که کجا خرج می‌کنیم و زمان را برای بهینه‌سازی کجا صرف کنیم، و بارهای کاری جدید بلافاصله هزینه را به ما نشان می‌دهند. با Hadoop سخت بود.”

مانند بسیاری از شرکت‌های قبل از خود، Rakuten Rewards تا جایی که ممکن است از سرمایه‌گذاری در Hadoop خود سود می‌برد، اما زمانی که راه آسان‌تری برای حفظ آن پلتفرم پدیدار شد – در حالی که طیف وسیع‌تری از کاربران را قادر به بهره‌مندی می‌کرد – پاداش‌ها بسیار بیشتر از آن بود. هزینه ها.