همکاری در قلب کلان‌داده‌ها: چطور زپل نوتبوک‌های علم داده را برای تیم‌ها آسان کرد

ماجرا از کجا شروع شد؟

دانشمندان داده (Data Scientists) کدهای پیچیده ماشین لرنینگ را در محیط‌های متن‌بازی مثل Apache Zeppelin می‌نویسند. اما این ابزارها برای استفاده انفرادی روی لپ‌تاپ شخصی ساخته شده بودند.

وقتی شرکتی بزرگ می‌خواست ۱۰ متخصص داده همزمان روی یک پایگاه داده مشترک چند ترابایتی در فضای ابری کار کنند، با دیواری از مشکلات روبرو می‌شد: کنترل دسترسی‌ها، هزینه وحشتناک سرورها اگر کسی فراموش می‌کرد کلاستر را خاموش کند، و از همه بدتر، عدم توانایی مدیران غیرفنی برای خواندن گزارش‌های پر از خط کدهای گیج‌کننده. استودیوی Aerolab مأموریت یافت تا زپل (Zepl) را به گوگل داکسِ دنیای داده‌ها تبدیل کند.

چه تصمیمی گرفتند؟

ارولب معماری تعاملات را حول سه پایه اصلی بازطراحی کرد:

1. تفکیک حالت کدنویسی (Code View) از حالت گزارش (Report View): دانشمند داده می‌توانست با یک کلیک خروجی تمیز نمودارها را بدون خطوط کدهای پایتون به مدیر محصول یا سهامدار نشان دهد.
2. مدیریت شفاف کلاسترهای پردازشی: نمایش ویژوال اینکه کدام سرورها در حال کارند و تنظیم تایمر خودکار برای متوقف کردن کلاستر بعد از ۳۰ دقیقه بی‌کاری، که میلیون‌ها دلار در هزینه‌های ابری شرکت‌ها صرفه‌جویی کرد.
3. آنبوردینگ ۵ دقیقه‌ای با دیتابیس آماده: به جای اینکه کاربر تازه‌وارد مجبور باشد همان ابتدا به سرورهای پیچیده شرکت وصل شود، پروژه‌های نمونه با داده‌های آماده در اختیارش بود تا در عرض چند ثانیه اولین نمودار خود را اجرا کند.

چی شد که جواب داد؟

پلتفرم زپل توجه غول‌های فناوری را به خود جلب کرد و در نهایت توسط شرکت بزرگ امنیت ابری DataRobot خریداری شد و به عنوان استاندارد محیط‌های مشارکتی تحلیل داده شناخته شد.