המלצות לקידום השדה

​

בשנים האחרונות מספר הולך וגדל של תכניות התערבות עוברות תהליכי הערכה. מגמה זו הינה חיובית אך מרבית המחקרים אינם בודקים תוצאות ארוכות טווח ואינם מסתמכים על שיטות מחקר בעלות תקפות גבוהה, כלומר שיטות המניבות עדויות ראויות, בעלות משמעות, אשר ניתן להתבסס עליהן כדי להסיק מסקנות ולקבל החלטות. לפיכך, היכולת לבחון "מה עובד" בשירותים חברתיים נשארת מוגבלת.

המלצות לקידום תחום ההערכה:

 

1. פיתוח מסד נתונים אינטגרטיבי ליצירת תשתית מחקרית (Data Lake)

​

מדינות אוספות מידע רב על אזרחיהן בהקשרים שונים ובמסדי נתונים נפרדים (נתוני לידה ותמותה, נתוני מערכות חינוך, נתוני מערכת הבריאות, צריכת שירותים, תעסוקה ועוד). מסד נתונים אינטגרטיבי אוסף נתונים ממקורות שונים על האוכלוסיה שבמסד, ומאפשר נגישות למידע, תחת מדיניות פרטיות מוסדרת,  לאנשי ממשל, מדיניות והערכה.      

 

יש לפתח מנגנון שיאפשר לתוכניות חברתיות לקבל מידע ממסדי נתונים אינטגרטיביים כבסיס ליכולת שלהם לתכנן ולעקוב אחר התוצאות של התוכנית.

תוכניות חברתיות זקוקות למידע על שתי אוכלוסיות: אוכלוסית מוטבי התוכנית, ואוכלוסיה שתוגדר כקבוצת השוואה. נתונים על אוכלוסיית מוטבי התוכנית (על פי פרופילים של מוטבים על מנת לשמור על פרטיות) יאפשרו לבחון השפעה עליהם לאורך זמן. נתונים על קבוצת השוואה בעלת מאפיינים דומים לאלו של המשתתפים בתוכנית,  יאפשרו  לקשר סיבתית בין השינוי שקרה אצל המוטבים לבין התוכנית עצמה.

כיום היכולת לקבל נתונים על האוכלוסייה שהשתתפה בתוכנית מוגבלת וכרוכה בהליך בירוקרטי ארוך. כמו כן, יש קושי לבנות קבוצת השוואה, מאחר ולא תמיד נאספים מראש נתונים על האוכלוסייה הכללית שיאפשרו להגדיר האם פרט מסוים יכול להימצא בקבוצת ההשוואה, והנתונים מפוזרים בין מסדי נתונים שונים, ולכן עלות הגדרת קבוצת השוואה והפקת נתונים סטטיסטיים עבורה גבוהה, ופרק הזמן הנדרש לכך ארוך.  

על מנת לבצע קפיצת מדרגה בתחום, ראשית יש למפות את המאפיינים של מקבלי השירותים העיקריים של הממשלה ואת מדדי התוצאות שאחריהם נרצה לעקוב, זאת על מנת להגדיר אילו נתונים יש לאסוף כדי לאפשר יצירה של קבוצות השוואה ומעקב אחר התוצאות שלה. במידה ויזוהו מאפיינים אשר לא נאסף לגביהם מידע כיום, יש להתחיל ולאסוף מידע זה.  בשלב השני, יש לפתח מסד נתונים מרכזי השואב נתונים ממספר מקורות מידע, על מנת שיהווה בסיס ליצירת קבוצות השוואה ובסיס למחקר על התחום. לדוגמא, מסד נתונים אחד הכולל מידע על המאפיינים של הפרט, היסטורית ההשכלה שלו, היסטורית התעסוקה שלו, והתמיכות שהוא קיבל מהמדינה. בשלב השלישי, יש לפתח מנגנון שיאפשר לכלל השחקנים לקבל מידע באופן ידידותי ובעלות נמוכה, תוך שמירה על עקרונות הפרטיות.

הנגשת המידע לתוכניות חברתיות היא חשובה ביותר אך גם משרדי הממשלה יהנו ממהלך זה שכן גם הם סובלים מעלויות גבוהות להשגת מידע. התרת חסמים משפטיים, והורדת משאבי הכסף והזמן שבהשגת המידע, יאפשרו להעלות את איכות המדידה בתוכניות עצמן, לבחון אפקטיביות של מודלי פעולה שונים, ולאורך הזמן לבנות מסד נתונים משמעותי על תוכניות חברתיות וההשפעה שלהן.

​

​

2. הגדרת קריטריונים לדירוג מחקרי הערכה

 

אנו ממליצים לבנות קריטריונים לדירוג מערכי מחקר אשר תגדיר אילו מערכי מחקר נחשבים כתקפים בהצבעה על תוצאות ארוכות טווח. על הפירמידה לכלול גם התייחסות לסוג מערך המחקר, וגם למדדים הקשורים לאיכות המחקר (גודל המדגם, אחוז נשירה במדגם).  הגדרה זו תאפשר יצירת שפה אחידה בין כלל השחקנים בשדה ו"קריאה נכונה" של מחקרי הערכה שונים ומה הם יכולים ללמד. כאשר יוכרו ההבדלים בין מחקרי הערכה השונים ניסויים/דמוי ניסוי/ולא ניסויים, ניתן יהיה גם ליצר תמריצים כלכליים שונים לרמות הערכה שונות.

הקריטריונים לדירוג מערכי מחקר יאפשרו להבין את איכות הידע העובדתי הקיים בישראל על כל תוכנית חברתית, ולאורך זמן תאפשר למקבלי ההחלטות להגדיר אילו תוכניות חברתיות נמצאו כאפקטיביות.

יש לציין כי ההיררכיה בין מערכי המחקר השונים אינה מבטלת את ערכם של מחקרי הערכה אשר אינם ניסויים. מחקרים אלו נעשים לרוב תוך כדי או בסיום התוכנית, כאשר עדיין מוקדם בכדי להסיק על התוצאות ארוכות הטווח של המחקר, אך הם חשובים לקבלת אינדיקציות תוך כדי התוכנית על התקדמותה ועל התוצאות קצרות הטווח שלה.

 

3. הגדרת מדיניות הערכה ארוכת טווח

​

מדיניות הערכה משרדית תזהה את מוקדי הידע אותם רוצה המשרד הממשלתי לקדם, ועל בסיסה יבנה המשרד הממשלתי תכנית עבודה רב שנתית לניהול פעילות ההערכה. סביב מוקדי הידע שייבחרו ינוהלו מערכי מחקר מתקדמים, ויפותחו מסדי נתונים תומכים. תוכנית עבודה רב שנתית תאפשר להקצות משאבים שונים להערכה לפי מידת החשיבות שהגדיר המשרד. 

​

​

4. חיבור תוכניות חברתיות למדדי תוצאה לאומיים

​

בסיס ליצירת שפה משותפת בין חברה אזרחית וממשלה יהיה חיבור של תוכניות חברתיות למדדי תוצאה לאומיים, כאלו אשר הוגדרו כיעדים על ידי ממשלת ישראל או אשר מבוססים על תוצאות ארוכות טווח כמותיות ומדידות כגון השתתפות בהשכלה גבוהה או בשוק התעסוקה. מומלץ לתוכניות חברתיות לבחון מראש לאיזה מדדים לאומיים הן יכולות להתחבר ולהתייחס אליהן בהערכת התוכנית שלהן. מן הצד השני, פיתוח של מסדי נתונים אינטגרטיביים יאפשר לתוכניות חברתיות לעקוב בקלות אחר מדדים אלו. 

 

5. הפניית משאבים להטמעת פתרונות טכנולוגיים לאיסוף, ניתוח ועיבוד נתונים ברמת התוכנית החברתית

​

בניית יכולות מעקב של מפעילי השירות אחר איכות השירות שהם מספקים ואחר התוצאות שלו תאפשר להם למידה מהירה ושיפור האפקטיביות של השירותים, אך תקצוב חסר אינו מאפשר להם לפתח יכולות אלו. תשתיות ה IT   ואנשי מקצוע מתחום הדאטה יקרים, ומן הצד השני עלות ניהול נתונים ומדידה אינה מתומחרת במסגרת המכרז, ולרוב אינה נתמכת על ידי הפילנתרופיה. על המדינה לדרוש ניהול נתונים מחד, ולתמחר את העלות במסגרת המכרז מאידך, או לחלופין לבנות תמריצים אחרים אשר יעודדו תוכניות חברתיות להשקיע בניהול נתונים.
 

​

6. הגדלת ההשקעה הממשלתית בתחום ההערכה

 

זהו אינטרס של המדינה לפתח פרקטיקות מדידה מתקדמות בקרב ארגוני השטח, ויש לבנות תורה מתי ואיך נכון להפעיל מערכי מדידה תוצאתיים, ולתמחר אותם בהתאם. ארגון results for America מציב בנצ'מרק של 1% מהתקציב הממשלתי כתקציב שצריך להיות מושקע במחקרי ההערכה על תכניות עליהם אחראי המשרד.

​