הפעם רצינו לעסוק בנושא של בחירת כלי ה-ETL הנכון ביותר עבורכם.אם בעבר, כשהכל היה on prem, בחירת כלי ETL היתה פחות או יותר על הספקטרום שבין SSIS של מיקרוסופט לבין אינפורמטיקה – בא ה-Cloud ועשה את הדברים יותר מורכבים.
כיום, במקביל לכלים הותיקים והמוכרים – אשר ממשיכים להתקיים ואשר נוספו להם בשנים האחרונות גרסאות ענן – צצו להם כפטריות אחר הגשם כלים חדשים, שהם Cloud Native, כלומר כאלה שמתאימים ומיועדים במיוחד לסביבות הענן. כלים כמו Xplenty, Matillion, Stitch – וגם כלי Streaming כמו Alooma, שנרכשה לאחרונה על ידי Google, ו-Panoply שנותן פלטפורמת Data בנוסף ל-ETL עצמו – כל אלה הם הדור המודרני של כלי ה-ETL. מודלי התמחור שונים כמובן מכלי לכלי – למשל: חלקם עובדים לפי כמות מקורות נתונים, חלקם לפי צריכת משאבי עיבוד, וכיוב' - אבל כולם מתבססים על subscription.
לכלים אלה יש חיבורים (connectors) בנויים מראש למגוון רחב של מקורות ויעדי נתונים – החל מקבצים, עבור דרך בסיסי נתונים קלאסיים (SQL Server, Postgres וכיוב') ועד בסיסי נתונים אנליטיים בענן (Redshift, Google BigQuery), אבל לא פחות חשוב מכך – יש להם גם חיבורים לפלטפורמות SaaS מקובלות, כמו Salesforce, Shopify, Google Adwords, Facebook ועוד ועוד. המשמעות היא שבאמצעות כלים אלו ניתן – בדרך כלל בקלות יחסית וכמעט בלי לכתוב קוד – להביא נתונים ממגוון רחב מאוד של מקורות קלאסיים ומודרניים של נתונים, במגוון פורמטים - ולטעון אותם למגוון פלטפורמות אחסון ועיבוד מתקדמות בענן.
פירטנו כאן כמה שיקולים בבחירת כלי ETL ב-Cloud, מתוך הניסיון שלנו:
- מורכבות הלוגיקה העיסקית – ככל שהלוגיקה מורכבת יותר, צריך כלי ETL שיש לו מגוון גדול יותר של אובייקטים / יכולות שיכסו את הצרכים. במצב כזה גם היכולת לוותר על כלי ETL לחלוטין ולהשתמש רק בסקריפטים היא לא מומלצת.
- כמות מקורות הנתונים – ככל שיש יותר מקורות נתונים, הצורך בכלי ETL גדל והצורך שכלי ה-ETL יתמוך ביותר אפשרויות גדלה בהתאם.
- מגוון החיבורים ונוחות החיבור של הכלי למקורות הרלוונטיים – ישנם מגוון כלים אולם כל אחד נותן יכולת חיבור אחרת למקורות הנתונים – בחלקם החיבור יותר שלם ופשוט, ובאחרים הוא מחייב כתיבת קוד מסורבל לתחזוקה
- עלות חודשית משוערת – כיום ובעתיד. אנחנו ממש לא רוצים לרכוש כיום כלי זול, שבעתיד מחירו יקפוץ עם הגידול הצפוי בכמות הנתונים שעלינו לטעון.
- נוחות תפעול – מטרת כלי ה-ETL לפשט את פיתוח תהליכי הטעינה, ולחסוך פיתוח ותחזוקה של סקריפטים (ב-SQL, Python או שפות דומות). לכן – עליו להיות נוח לפיתוח ותפעול לאוכלוסית מפתחים רחבה ככל האפשר, ולא רק למתי מעט שיודעים לכתוב קוד מורכב.
- תמיכה – חשוב מאוד לוודא שלספק יש תמיכה 7*24, אשר מגיבה מהר ויודעת לפתור בעיות ולתת מענה.
ב"
דברים מעניינים מהרשת" הבאנו הפעם שני מאמרים:
המאמר הראשון עוסק ב-
Intelligent Enterprise – מושג יחסית חדש בתחום ה-
Data Analytics, אשר מתייחס לארגון שממנף וממצה את מלוא הפוטנציאל של ה-
Data שלו.הכותב טוען שארגונים כאלה לא רק יובילו בעתיד, אלא שללא יכולות אלו הם פשוט לא ישרדו! ל-
Intelligent Enterprise כמה היבטים:
- איסוף כל ה-Data במקום מרכזי אחד ובצורה אינטגרטיבית
- טיוב ושמירה על איכות ה-Data
- הפעלת יכולות חכמות על ה-Data, בין השאר באמצעות ML
הנושאים האלה מהווים אתגרים משמעותיים ל-CDOs בארגונים, וכותב המאמר מתאר איך ניתן להתמודד איתם.
מומלץ מאוד לקרוא!
המאמר השני מדבר על המורכבות שבבניית צוות Analytics בחברת סטארטאפ צעירה.הגישה של כותב המאמר היא Fuzziness – כלומר: לא להגדיר דברים בצורה קשיחה, מכיוון שבמילא הזמן יביא איתו שינויים קיצוניים בצרכים, בהגדרות התפקיד ובהיבטים נוספים. הגישה של "עדיף לבנות שני דברים מחדש, מאשר לעשות אינטגרציה של שני דברים קיימים" מאוד תואמת לרוח של סטארטאפים בכל העולם, ורלוונטית מאוד כשבאים לבחור את האנשים הנכונים ביותר לצוות Analytics. כמובן שבחירת האנשים הנכונים לא מספיקה – נדרשת גם מחוייבות וליווי מצד ההנהלה.התהליך המתואר במאמר מעניין מאוד, ושווה מחשבה.
כמו תמיד – נשמח לקבל פידבקים ושיתופים.
תהנו!
אדר שומרון
מנכ"ל ביונד
054-7722289
adar@biyond.co.il
