הפסח כבר באוויר...
בהזדמנות זו רצינו לאחל לכל עובדינו, לקוחותינו ושותפינו חג שמח ואביבי! 😊
הפעם רצינו לדבר על QA בפרוייקטי BI ו-Data.
אנחנו מתרשמים שבניגוד לפרוייקטי תוכנה – בהם QA הינו חלק מובנה בצוות ובתהליכי העבודה – בפרוייקטי BI ו-Data ארגונים רבים נוטים שלא להשקיע מספיק משאבים בנושא אבטחת איכות.
לצערנו, יש לכך משמעויות כבדות בהמשך הדרך – לאחר העלייה לאוויר – כאשר יש תקלות פרודקשן, בעיות נתונים קשות, קבלת החלטות שגויות כתוצאה מהתבססות על נתונים שגויים וכד'. בעבר פרוייקט Data נחשבו "לא קריטיים" מספיק לארגון, ולכן הושקעו בהם פחות משאבים – וגם תשומת הלב לאיכות לא היתה מהמשופרות, בלשון המעטה.לדעתנו, המצב הזה הולך ומשתנה בהדרגה עם כניסתן של תפיסות מודרניות לגבי המשמעות של Data לארגון כיום – ולכן בחרנו להעלות את הנושא בניוזלטר.
בהתאם למתודולוגיה ולגישה שלנו, בפרוייקט טיפוסי צריכים להיות לפחות 5 סוגי הבדיקות הבאים:
- Unit tests (בדיקות יחידה) – בדיקות שכל מפתח מבצע על אלמנטים אטומיים שהוא מפתח, כדי לוודא שהם פועלים תקין וכמצופה
- Integration tests (בדיקות אינטגרציה) – בדיקות המשלבות ממשקים בין הפיתוחים בפרוייקט ה-BI לבין מקורות נתונים ויעדי נתונים שונים המרכיבים את הפתרון אותו בונים
- Data tests (בדיקות נתונים) – בדיקות שהנתונים המוצגים למשתמש נכונים. בדיקות אלה עוברות החל מנתוני הקלט, דרך החישובים המופעלים עליהם ועד למידע הסופי המוצג בדוחות למשתמש
- System tests (בדיקות מערכת) – בדיקות שהפתרון כולו פועל כמקשה אחת, מקצה לקצה: הן בהיבט הביצועים, הן בהיבט נכונות המידע והן בהיבט הממשק למשתמש. הבדיקות באות לבדוק פעולה חלקה של הפתרון, ללא תקלות משמעותיות
- UAT – User Acceptance Tests (בדיקות קבלה, או: בדיקות משתמש) – בדיקה סופית של המשתמשים לפני עלייה לאוויר. הם בודקים שהפתרון נותן מענה על צרכיהם ותואם לדרישות האפיון – הן ברמת הממשק למשתמש והן ברמת המידע המוצג.
לעיתים מוסיפים נדבך בדיקות נוסף:
Stability tests (בדיקות יציבות) – הרצה של הפתרון כולו, כאילו הוא כבר בפרודקשן, במשך מספר ימים עד שבוע, כדי לוודא שהכל "מנגן" חלק לאורך זמן. למעשה, בדיקות אלה דומות ל-
System tests, אבל הן לא חד פעמיות אלא חוזרות על עצמן לאורך זמן.
כמה תובנות וטיפים שלנו, מניסיון של הרבה שנים והרבה פרוייקטים:
- לרוב אין הכרח באנשי QA ייעודיים (אם כי מומלץ שיהיו כאלה, אם ניתן). מפתחי הפרוייקט בהחלט יכולים לבדוק את עצמם, בהנחיית מנהל הפרוייקט / מנתח המערכות אשר מנחים אותם.
- QA של BI שונה מאוד מ-QA של פיתוח תוכנה. במידה ומשלבים אנשי QA ייעודיים, יש להכשיר אותם היטב ולשלב אותם כבר בשלב האפיון.
- לצערנו נתקלנו ביותר מדי מקרים בהם בדיקות הנתונים (Data QA) לא טופלו כלל או טופלו בצורה שטחית מאוד. לטעמנו, זה סוג הבדיקות שדורש הכי הרבה תשומת לב – הן בתכנון והן בביצוע – ויש לבצע אותו בצורה מובנית ומתודולוגית אחרת מפספסים מקרי קצה ומשלמים אחר כך מחיר כבד בתחזוקת פרודקשן.
- לאחר ביצוע הבדיקות מהסוגים השונים בצורה ידנית במהלך הפרוייקט, מומלץ לשלב לפחות את חלקן כבקרות אוטומטיות בתוך תהליכי הטעינה של ה-ETL ובמקומות נוספים. זה יאפשר לצמצם את הסיכויים לתקלות בפרודקשן. בנוסף, יש להגדיר תהליכי ניטור אוטומטיים של תקינות רכיבי הפתרון באמצעות כלי הניטור המשמשים את הארגון.
- בדיקות רגרסיה (Regression tests) הכרחיות בשלב התחזוקה, לאחר העלייה לאוויר. הן באות לוודא ששום דבר לא "נשבר" כתוצאה משינוי או תוספת – קטנה או גדולה - שבוצעה בפתרון.
- בדיקות המשתמשים (UAT) צריכות להיות מונחות על ידי צוות הפיתוח או אנשי מקצוע מתחום ה-BI. לא נכון פשוט לתת למשתמשים לבדוק מה שנראה להם, כי אז הכיסוי יהיה חלקי וככל הנראה לא יתגלו כל מקרי הקצה. המשתמשים בהחלט צריכים להביא ל-UAT תרחישי בדיקה על בסיס הניסיון שלהם, אבל זה לא מספיק: יש לבנות מטריצת כיסוי (Coverage Matrix) באקסל, שמאפשרת לכסות את הקומבינציות העיקריות של מטריקות ומימדים – מתוך הכמות האדירה של הפרמוטציות האפשריות.
- לעיתים, אנחנו מריצים תקופה של פיילוט עם כמות משתמשים מצומצמת, בתור "השקה שקטה". זה מאפשר לנו לבסס ולחזק את בדיקות המשתמשים (UAT) לתקופה נוספת, כמו גם לנצל תקופה זו לבדיקות יציבות (Stability tests). אם הזמן מאפשר ו/או אם הפתרון מורכב ורגיש מבחינת יציבותו ואמינות הנתונים שבו – אנו ממליצים מאוד על גישה זו.
ב"דברים מעניינים מהרשת" הבאנו הפעם שני מאמרים:
המאמר הראשון עוסק באתגרי ניהול הדאטה – בעיקר בארגונים גדולים - ובדרך להצליח בעידן המודרני באמצעות Data Management.המאמר מתאר את הקשיים שחווים חלק מהארגונים הגדולים ברחבי העולם בבואם להפיק תובנות וערך עיסקי מהנתונים שברשותם ומנסה למפות את הדרך להתמודדות עם קשיים אלו.
כביכול לא מדובר באתגרים חדשים – אבל המאמר טוען שהעידן החדש של התפוצצות המידע מחדד את הדברים ומעצים את האתגרים, ולכן פלטפורמת Data Management היא הכרחית.
המאמר השני מדבר על Datafication של ארגונים, ואיך היא יכולה לעזור מבחינה עיסקית.
הכוונה היא להתאים ארגונים – קטנים וגדולים – לעידן הדאטה, באמצעות שילוב של איסוף נתונים בכל דרך אפשרית ובכל תהליך עיסקי.הכותב נותן כדוגמה את הסטארטאפ הישראל Weissbeerger, שפיתח פתרון ל-Beverage Analytics: הפתרון מאפשר לבארים ופאבים לאסוף המון נתוני צריכה באמצעות סנסורים וכך לנהל בצורה חכמה את הביקוש, המלאי והרגלי הצריכה של לקוחותיהם. פאבים שהשתמשו בפתרון דיווחו על גידול של עד 30% במכירות – בהחלט מרשים!
באמצעות דוגמה זו, מסביר המאמר שהדרך להתייעלות עיסקית עוברת דרך איסוף אינטנסיבי של נתונים, עיבודם ושימוש בתובנות לשיפור התהליכים העיסקיים. זהו בהחלט לא מהלך טכנולוגי – זה מהלך שיש בו הרבה אספקטים "רכים" של תרבות ארגונית, תהליכי עבודה וכיוב'.
מעניין מאוד ומומלץ לקרוא!
לכבוד המהדורה החגיגית והאביבית הזו, אנחנו מצרפים לינק למאמר מעניין של הסטארטאפ הישראלי Dynamic Yield בנושא Data Science, שכולל בתוכו הרצאת TED: https://www.dynamicyield.com/blog/startup-data-science/
תהנו!
אדר שומרון
מנכ"ל ביונד
054-7722289
adar@biyond.co.il
