מתודולוגיה לבניית בנק מדדי התוצאה הרווחים​​​​​​

​

בנק המדדים מרכז קבוצות של מדדי תוצאה שנעשה בהן שימוש חוזר במחקרי הערכה הנכללים באתר שער להערכה, בתחומי הרווחה, החינוך והתעסוקה.

הבנק נועד לסייע לארגונים, לחוקרים ולאנשי מקצוע לאתר מדדים שנבחנו במחקרים בשנים האחרונות, להכיר את אופן המדידה שלהם, ולמצוא מחקרים וכלי מדידה רלוונטיים לצורך בחירה מושכלת של מדדים מתאימים.

​​

על אילו מחקרים מבוסס הבנק?

המחקרים המופיעים באתר שער להערכה אותרו על בסיס מקורות מקצועיים ומאגרי מידע שנבחרו לכל תחום. לצורך בניית בנק המדדים נבחנו המחקרים שנכללו באתר ופורסמו בשנים 2014-2024, כדי להתמקד במחקרים עדכניים.​ 

לצורך בניית בנק המדדים נבחנו וחולצו המדדים מכל מחקר, ומתוכם זוהו מדדי התוצאה. לאחר מכן אוחדו מדדים דומים לקבוצות ונבחרו הקבוצות שנעשה בהן שימוש חוזר במספר מחקרים. ​​

​

מהו מדד תוצאה?

במסגרת בניית הבנק נעשתה הבחנה בין מדדי תפוקה לבין מדדי תוצאה.

מדדי תפוקה מתארים את הפעילות שבוצעה או את היקף השירות שניתן, כגון מספר המשתתפים, מספר המפגשים או שיעור ההשתתפות בפעילות.

מדדי תוצאה משמשים לבחינת מצב או שינוי בקרב אוכלוסיית היעד, ביחס למטרות ההתערבות. אלה יכולים להיות, לדוגמה, הישגים לימודיים, תחושת מסוגלות, השתלבות בתעסוקה, רווחה נפשית או איכות הקשרים החברתיים.

הכללת מדד כמדד תוצאה אינה מעידה כשלעצמה שהמחקר הוכיח כי ההתערבות גרמה לשינוי שנמצא. היכולת להסיק על השפעת ההתערבות תלויה במערך המחקר, באיכות הנתונים ובשיטות הניתוח שבהן נעשה שימוש.

​

כיצד להשתמש בבנק המדדים?

בנק המדדים מאפשר ללמוד אילו מדדי תוצאה הופיעו בתדירות גבוהה במחקרי ההערכה שנבחנו וכיצד נעשה בהם שימוש. אפשר להיעזר בו לצורך היכרות עם דרכי מדידה קיימות, בחינת חלופות למדידה ואיתור מחקרים וכלים רלוונטיים.

עם זאת, אין לבחור מדד רק על בסיס שכיחות הופעתו. לפני שימוש במדד מומלץ לבחון את התאמתו למטרות התוכנית, לאוכלוסיית היעד, להקשר שבו פועלת התוכנית, למערך ההערכה ולמשאבים הזמינים. כאשר נעשה שימוש בכלי מדידה קיים, יש לבדוק גם את תנאי השימוש בו ואת התאמתו הלשונית והתרבותית לאוכלוסייה הנבדקת.

​

מגבלות הבנק

בנק המדדים משקף את המידע שנמצא במחקרים שנכללו באתר שער להערכה ונבחנו במסגרת התהליך. הוא אינו מתיימר לכלול את כלל המחקרים או את כלל המדדים האפשריים בכל תחום.

יש להביא בחשבון כמה מגבלות:

• הבנק מבוסס על מחקרים שכבר נכללו באתר ועל אופן הדיווח שלהם. מידע שלא פורסם בדוחות או שלא ניתן היה לזהותו בהם אינו מוצג.

• רמת הפירוט אינה אחידה בין המחקרים. בחלק מהדוחות מופיע תיאור מלא של כלי המדידה ואופן השימוש בו, ובאחרים מופיע רק שם המדד או תיאור כללי.

• החלוקה לקבוצות מדדים מבוססת על דמיון בתוכן ובמשמעות. במקרים מסוימים ניתן היה לסווג מדד ליותר מקבוצה אחת.

• שכיחות הופעתה של קבוצת מדדים אינה מעידה בהכרח על איכות המדדים, על תוקפם, על מהימנותם או על התאמתם לתוכנית מסוימת.

• הצגת כלי מדידה ששימשו במחקרים אינה מהווה המלצה להשתמש בהם. בחלק מהכלים עשויות לחול מגבלות שימוש או זכויות יוצרים.

• הבנק אינו מדרג את איכות המחקרים ואינו קובע אם הממצאים המוצגים בהם מאפשרים להסיק שההתערבות היא שגרמה לתוצאות שנמדדו.

לפיכך, יש לראות בבנק נקודת מוצא ללמידה ולבחירת מדדים ולא תחליף לבחינה מקצועית ומתודולוגית של המדד ושל התאמתו לצורכי התוכנית וההערכה.

​

מתודולוגיית בניית בנק המדדים

  1. בחירת המחקרים

בכל אחד מהתחומים נבחנו מחקרים שפורסמו בשנים 2014-2024 באתר שער להערכה.

​

  2. חילוץ המדדים

מתוך דוחות המחקר חולצו המדדים שנבחנו בהם.​ כלי בינה מלאכותית ייעודי סייע בחילוץ ובארגון הראשוני של המידע מתוך דוחות המחקר. תוצרי החילוץ נבדקו ידנית מול דוחות המקור.

​

  3. זיהוי מדדי התוצאה

המדדים שחולצו סווגו למדדי תפוקה ולמדדי תוצאה. בנק המדדים מתמקד במדדי התוצאה. מדדי תפוקה ומידע המתאר את עצם ביצוע הפעילות לא נכללו בו.

ככל שהמידע היה זמין בדוח, לצד כל מדד נאסף מידע על אופן המדידה, ובכלל זה:

• שם המדד בדו"ח עצמו

• כלי המדידה או שיטת איסוף הנתונים (שאלון, ריאיון, סקר טלפוני, וכד')

• מקורות המידע (דיווח עצמי, נתונים מנהליים, דיווח גורם מטפל, וכד')

• מועדי המדידה (לפני/אחרי התערבות, מדידת "אחרי" בלבד, אחת לשנה בתוכנית רב-שנתית, וכד')

• מערך המחקר (האם יש קבוצת השוואה או ביקורת, האם לפני ואחרי מזווג, וכד')

• שיטות הניתוח (הצגה תיאורית בלבד או שימוש בשיטות סטטיסטיות, פירוט המבחנים הסטטיסטים כשישנם)

​

  4. איחוד המדדים לקבוצות

במהלך העבודה זוהו מאות מדדים שונים. לצורך ארגון המידע והבלטת המרכזיים שבהם, מדדים זהים או קרובים במשמעותם אוחדו לקבוצות מדדים רחבות. לדוגמה, ניסוחים שונים המתייחסים לבדידות או לתחושת בדידות עשויים להיכלל בקבוצה אחת של מדדי בדידות.

האיחוד לקבוצות מאפשר להציג יחד מדדים שבוחנים תופעה דומה, גם כאשר שמותיהם או ניסוחיהם אינם זהים בין המחקרים.

​

  5. בחירת קבוצות המדדים הרווחות

לכל קבוצת מדדים נספר מספר המחקרים הנפרדים שבהם היא הופיעה. כאשר כמה מדדים מאותה קבוצה הופיעו באותו מחקר, המחקר נספר פעם אחת בלבד לצורך חישוב שכיחות הקבוצה.

בבנק נכללו קבוצות מדדים שהופיעו בתשעה מחקרים שונים לפחות. סף זה נקבע במסגרת הפרויקט כדי להתמקד בקבוצות שנעשה בהן שימוש חוזר במחקרים שנבחנו. הוא אינו כלל מתודולוגי מחייב ואינו מעיד על איכות המדדים.

​

​הטבלה הבאה מציגה את היקף המחקרים והמדדים שנבחנו בכל תחום, את מספר מדדי התוצאה שזוהו ואת מספר המדדים והקבוצות שנכללו בבנק.​