מילון למערכי מחקר

סוגי מערכי מחקר

מערך מחקר הוא תכנית המדריכה את החוקר כיצד לאסוף את הנתונים, לנתח אותם ולפרש אותם על מנת לענות על שאלות המחקר. תכנית זו מהווה למעשה תיאור של האסטרטגיה הכוללת של המחקר.

מערך המחקר קובע את מידת התקפות של המחקר בהוכחת סיבתיות, קרי הצבעה על השינוי כנובע מההתערבות הנחקרת ולא ממשתנים אחרים. מחקרים "לא ניסויים" אינם מצביעים בצורה מדויקת על סיבתיות.

מערך מחקרי דמוי ניסויי או ניסויי, הוא מערך אשר יכול סטטיסטית לקשור בין התוכנית לבין התוצאות שנראו לאורך זמן בקרב המוטבים, זאת מכיוון שאלו נבחנים אל מול קבוצת השוואה אשר לא השתתפה בתוכנית, או אל מול קבוצת ביקורת, שלא השתתפה ושאף נבחרה רנדומלית.

מערכי מחקר לא ניסויים יכולים לעזור בקבלת אינדיקציות על שביעות רצון ותוצאות ראשוניות של התוכנית והם מתאימים לשלב עיצוב התוכנית, אך הם לוקים בחסר כאשר רוצים להשתמש בהם להבנה של תוצאות ארוכות טווח של התוכנית, זאת מכוון שלא ניתן לדעת האם ניתן לקשור את התוצאות ברמת המוטב לתוכנית עצמה או להשפעות אחרות כגון שינויי מקרו ושינויים אחרים בסביבה בה פעלו המוטבים.  למידע נוסף ראה.י המלצות לקידום השדה.

לכל מערך מחקר יש חוזקות ומגבלות המאפיינות אותו. הבחירה במערך המחקר המתאים תלויה במטרות ובשאלות המחקר, במשתני המחקר ובשיקולים מעשיים רבים כגון עיתוי, תקציב, זמינות הנתונים, דחיפות הגשת הממצאים ועוד. להלן נציג בקצרה את שלושת הסוגים העיקריים של מערכי מחקר: מערכי מחקר ניסויים, דמוי ניסויים ולא ניסויים. בכל אחת מהקטגוריות מגוון מערכי מחקר ספציפיים, על המרכזיים שבהם מפורט בהמשך.

​​

מערכי מחקר ניסויים (Experimental)​

שיטת מחקר מדעית לבדיקת השערה בדבר קשר סיבתי בין הגורמים הנחקרים, על ידי השוואה בין שני מצבים אליהם מוקצים הנבדקים באופן אקראי. במצב אחד החוקר מחולל שינוי משמעותי ויזום במערכת הנחקרת, או במודל למערכת כזו ובמצב השני חוקר אינו מחולל שינוי כזה. העובדה שהשינוי המשמעותי במערכת נעשה ביוזמת החוקר מאפשרת לדעת מה הם קשרי הסיבה והמסובב במערכת הנחקרת.


בהתייחס למחקרי הערכה, מערך ניסויי יבקש לבחון את הקשר הסיבתי בין התערבות מסוימת לבין התוצאות שהיא מבקשת להשיג. מכיוון שלמערך מסוג זה תוקף פנימי גבוה (מידת הביטחון כי ההתערבות היא שהביאה לתוצאות שנמדדו ולא הסברים מתחרים), הוא מאפשר להסיק ברמת דיוק גבוהה מה הייתה ההשפעה של ההתערבות על קהל היעד שעליו היא נועדה להשפיע. כלומר, מה מידת המועילות (אפקטיביות) של ההתערבות. עם זאת, יש מספר איומים אפשריים על התוקף הפנימי של מערך מחקר זה, כגון השפעות הדדיות של קבוצת הטיפול וקבוצת הביקורת האחת על השנייה.


לצד התוקף הפנימי הגבוה שמאפיין מחקרים איכותיים מסוג זה, מערך מחקר ניסויי עלול להתאפיין בתוקף חיצוני נמוך (היכולת להכליל את ממצאי המחקר על אוכלוסיות, מצבים וזמנים שונים) בשל הסביבה המבוקרת יחסית שבה הוא נערך. סביבה זו אינה מדמה בהכרח באופן מיטבי את הסביבה שבה תופעל ההתערבות ואת אופן הפעלתה בפועל.


כמו כן, בעוד שמערך ניסויי מתמקד בהוכחת קשר סיבתי בין התערבות לתוצאותיה, מערך מסוג זה לבדו ייתן לעיתים מענה מוגבל בלבד לשאלות הערכה חשובות נוספות כגון מהו המנגנון הסיבתי (מדוע ההתערבות מביאה לתוצאות)? מהן הנסיבות שבהן ההתערבות מביאה לתוצאות? האם יש להתערבות תוצאות בלתי צפויות ומה הן? האם ההתערבות מיושמת היטב וכיצד ניתן לשפר את יישומה ועוד.  


מערכי מחקר ניסויים פחות מתאימים להתערבויות שנמצאות בשלבי עיצוב ופיתוח שכן הם מצריכים יציבות לאורך זמן בהפעלת ההתערבות על מנת להגיע לממצאים תקפים. הם גם פחות מתאימים לבחינה של התערבויות מורכבות, מרובות ממדים וקונטקסטואליות שכן פעמים רבות אלו לא תואמות למאפיינים הניסויים כמו הצורך בבקרה ובבידוד של המשתנים והגדרה שלהם מראש.


נוסף על כך, במקרים רבים יהיה גם קושי מעשי בשימוש במערך מחקר ניסויי מסיבות כגון מוסר ושיקולים יישומיים שונים. כך למשל, לעיתים תהיה התנגדות מוסרית למניעת הטיפול מקבוצת הביקורת. התנגדות זו בולטת במקרים של התערבויות בעלות השפעה ניכרת על איכות החיים (בתחומים כמו בריאות ורווחה) ובמיוחד כאשר יש מידע מוקדם (אם כי מוגבל) על האפקטיביות שלהן ועל כך שאינן גורמות לנזק.


בין הבעיות היישומיות נציין את העלות הגבוהה יותר של מחקרים מסוג זה, את הצורך בקבוצת נבדקים גדולה מספיק ואת הצורך להתחיל את המחקר לפני הפעלת ההתערבות והצורך להתאים את הפעלת ההתערבות לצרכי המחקר.

מערכי מחקר דמוי ניסויים/ ניסוי טבעי (Quasi - Experimental \Natural Experiment)

מערכי מחקר דמוי ניסויים חולקים רבים מהמאפיינים של מערך מחקר ניסויי אך אינם כוללים הקצאה אקראית של הנבדקים לקבוצת טיפול וקבוצת ביקורת. השימוש במערכים אלה נפוץ כאשר לא ניתן או שיש קושי לבצע הקצאה אקראית מסיבות שונות. במקום זאת, נעשה שימוש בטכניקות אחרות ליצירת קבוצת ההשוואה. היעדר ההקצאה האקראית מפחית את התוקף הפנימי של מערך המחקר (מידת הביטחון כי ההתערבות היא שהביאה לתוצאות שנמדדו ולא הסברים מתחרים) בשל האיומים האפשריים עליו, כגון הבדלים שיטתיים בין קבוצת הטיפול וההשוואה אשר גורמים להבדל בתוצאה בין הקבוצות.


בשל כך, במערכים מסוג זה לרוב יעשה שימוש בשיטות שונות על מנת לנסות להתמודד עם האיומים על התוקף הפנימי. ככל שניסיונות אלה אפקטיביים יותר, כך גדלה היכולת להסיק ברמת דיוק גבוהה מה הייתה ההשפעה של ההתערבות על קהל היעד שעליו היא נועדה להשפיע. כלומר, מה מידת המועילות (אפקטיביות) של ההתערבות.


בדומה למערך מחקר ניסויי, גם מערכים דמוי ניסויים מתמקדים בהוכחת קשר סיבתי בין התערבות לתוצאותיה. אך, בפני עצמם הם ייתנו מענה מוגבל בלבד לשאלות הערכה חשובות נוספות כגון מהו המנגנון הסיבתי (מדוע ההתערבות מביאה לתוצאות)? מהן הנסיבות שבהן ההתערבות מביאה לתוצאות? האם יש להתערבות תוצאות בלתי צפויות ומה הן? האם ההתערבות מיושמת היטב וכיצד ניתן לשפר את יישומה ועוד.  


כמו כן, מערכי מחקר דמוי ניסויים פחות מתאימים לבחינה של התערבויות שנמצאות בשלבי עיצוב ופיתוח שכן הם מצריכים יציבות לאורך זמן בהפעלת ההתערבות על מנת להגיע לממצאים תקפים. הם גם פחות מתאימים לבחינה של התערבויות מורכבות, מרובות ממדים וקונטקסטואליות שכן פעמים רבות אלו לא תואמות למאפיינים הניסויים כמו הצורך בבקרה ובבידוד של המשתנים והגדרה שלהם מראש.


ניסויים טבעיים הם ניסויים שבהם החוקר אינו שולט בהפעלת המניפולציה המחקרית אלא רק מבצע את המדידה של המשתנים במערכת הנחקרת. הפעלת ההתערבות מתרחשת במקרים אלה "באופן טבעי" ולא כחלק ממערך המחקר והחוקר מנצל את ההזדמנות שנוצרה. בתנאים אלה מנסה החוקר לאסוף נתונים מן המערכת באופן שיאפשר לבחון את ההשפעה של ההתערבות על אוכלוסיית היעד.


דוגמה למצב זה היא מדיניות ממשלתית שמופעלת בהדרגה בשל חוסר בתקציב. תחילה היא מופעלת במספר ערים ורק לאחר תקופה היא מופעלת בערים דומות נוספות. הבחירה באילו ערים תופעל המדיניות כבר בשלב הראשון נעשית באופן אקראי. חוקר שמבקש להעריך את השפעת שינוי המדיניות על אוכלוסיית היעד יכול לנצל מצב זה של הפעלה הדרגתית (אשר קרה באופן טבעי) ולהשוות בין הערים שבהן הופעלה המדיניות לבין הערים שבהן עדיין לא הופעלה המדיניות. זאת תוך שימוש במערכי מחקר מתאימים.


מכיוון שניסויים טבעיים מתרחשים בסביבה לא מבוקרת, לרוב קיימים איומים משמעותיים על התוקף הפנימי שלהם. לכן, יש לנסות לתת מענה מתודולוגי לאיומים אלה על מנת שאפשר יהיה להסיק ברמת דיוק טובה מה הייתה ההשפעה של ההתערבות על קהל היעד שעליו היא נועדה להשפיע.  
לעומת זאת, משום שהמחקר נעשה בתנאים טבעיים, התוקף החיצוני (היכולת להכליל את ממצאי המחקר על אוכלוסיות, מצבים וזמנים שונים) של מחקרים מסוג זה בדרך כלל גבוה.

מערכי מחקר לא ניסויים

קבוצה זו של מערכי מחקר כוללת מגוון רחב של מערכי מחקר כמותניים, איכותניים ומשולבים.


לרוב, מערכים מסוג זה לא יבקשו להוכיח סיבתיות, קרי להצביע על היקף השינוי במדדי התוצאה שנובע באופן בלעדי מההתערבות הנחקרת. אך חלקם כן יצביעו על השינוי שחל במדדי התוצאה בקרב אוכלוסיית היעד של ההתערבות וינסו להדגים כיצד שינויים אלה נובעים מההתערבות הנחקרת.


ככל שלמערך המחקר קיים תוקף נראה גבוה (face validity- התרשמות סובייקטיבית של בר דעת בתחום ביחס להתאמת המחקר למטרתו), ככל שהשינוי במדד התוצאה הוא גדול יותר, ככל שקיים קשר ישיר וברור בין ההתערבות לתוצאה וככל שנשללו באופן אפקטיבי הסברים מתחרים מוכרים, כך מערך המחקר הלא ניסויי יהיה חזק יותר מבחינת יכולתו להצביע על השינויים שחלו באוכלוסיית היעד בעקבות תכנית ההתערבות.


מערכי מחקר לא ניסויים, או שילוב מרכיבים מסוג זה במערכי מחקר ניסויים/דמוי ניסויים, עשויים לסייע לענות על מגוון רחב של שאלות הערכה מעבר לבחינת אפקטיביות ההתערבות, כגון מהו המנגנון הסיבתי (מדוע ההתערבות מביאה לתוצאות)? מהן הנסיבות שבהן ההתערבות מביאה לתוצאות? האם יש להתערבות תוצאות בלתי צפויות ומה הן? האם ההתערבות מיושמת היטב וכיצד ניתן לשפר את יישומה ועוד. בין היתר, מענה על שאלות אלו יאפשר לעצב ולשפר את התכנית ההתערבות ולהבין האם וכיצד ניתן ליישם אותה גם במקומות אחרים או בקרב קהלי יעד אחרים.   


כמו כן, לעיתים מערכי מחקר מסוג זה מאפשרים להגשים מטרות נוספות אפשריות של מחקר הערכה, כמו שיתוף ומעורבות של בעלי עניין שונים, כדוגמת משתתפי ההתערבות, בתכנון ההערכה ובביצועה.


השימוש במערכי מחקר לא ניסויים מתבצע בדרך כלל כאשר יש מגבלות מהותיות המקשות על שימוש במערך מחקר ניסויי או דמוי ניסויי או כאשר אמידה מדויקת של אפקטיביות התכנית אינה המטרה העיקרית של המחקר. 

מערכי מחקר ספציפיים

]
[

דוגמה:
בתכנית שנועדה לשלב אנשים בשוק העבודה אחד ממדדי התוצאה שנבחן הוא שיעור התעסוקה. במסגרת המחקר יוקצו נבדקים באופן אקראי לשתי קבוצות: קבוצה המשתתפת בתכנית התעסוקה החדשה (קבוצת הטיפול) וקבוצה שאינה משתתפת תכנית התעסוקה החדשה (קבוצת הביקורת). כעת, תערך מדידה ראשונה של שיעור התעסוקה וייבדק שאכן שיעור התעסוקה דומה בשתי הקבוצות (בשל ההקצאה האקראית לא אמור להיות הבדל שיטתי בין הקבוצות). לאחר מכן, קבוצת הטיפול תשתתף בתכנית התעסוקה החדשה. כעת, תערך מדידה שנייה של שיעורי התעסוקה. אם יימצא הבדל בין שיעור התעסוקה בקבוצת הטיפול ולשיעור התעסוקה בקבוצת הביקורת, יקבע כי הבדל זה הוא תוצאה של ההשתתפות בתכנית.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
O2   X    O1  R (קבוצת טיפול)
O2           O1 R (קבוצת ביקורת)
R - מסמל שהנבדקים נבחרו באופן אקראי
 O- מציין את נקודות המדידה
 X- מסמל את המניפולציה (תכנית ההתערבות)

הקצאה אקראית עם קבוצת ביקורת

(Randomized controlled trial)- ניסויי


ניסוי מבוקר שבו נערכת הקצאה אקראית של הנבדקים לקבוצה המשתתפת בהתערבות שנבחנת (קבוצת הטיפול) ולקבוצה שאינה משתתפת בהתערבות שנבחנת (קבוצת הביקורת).
ההקצאה האקראית מאפשרת להפחית באופן משמעותי הטיות שעלולות להביא להבדלים שאינם קשורים בהתערבות בין הקבוצות ובכך תורמת לזיהוי ההשפעה אמתית של התכנית. עם זאת, יש מספר איומים אפשריים על התוקף הפנימי של מערך מחקר זה, כגון השפעות הדדיות של קבוצת הטיפול וקבוצת הביקורת האחת על השנייה.
תוצאות ההתערבות נבחנות באמצעות מדידת ההפרש בין רמת מדדי התוצאה בקבוצת הטיפול לעומת קבוצת הביקורת לאחר ההתערבות. 

]

דוגמה:
בתכנית שנועדה להפחית חרדה באמצעות מוזיקה, אחד ממדדי התוצאה הוא רמת החרדה. לשם בחינת השפעת התכנית, תערך אצל הנבדק מדידה ראשונה של רמת החרדה. לאחר מכן, תושמע לו מוזיקה מרגיעה במשך מספר דקות ולאחר מכן תימדד שוב רמת החרדה. אם יימצא הבדל בין רמת החרדה של הנבדק לפני ואחרי ההתערבות, יקבע כי הבדל זה הוא תוצאה של החשיפה למוזיקה מרגיעה.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
O2   X     O1  1S
O2   X     O1  2S
O2    X     O1  iS
iS – מציין את הנבדקים
 O- מציין את נקודות המדידה
 X- מסמל את המניפולציה (תכנית ההתערבות)

[

מקרה בודד/מחקר היחיד

(Single-case\Single-subject)- ניסויי


מערך של ניסוי מבוקר שבו כל נבדק משמש כקבוצת הביקורת של עצמו. השימוש במערך שכיח בפסיכולוגיה, חינוך ומדעי ההתנהגות.

]
[

דוגמה:
בתכנית לאומית המיועדת לכל דורשי העבודה ונועדה לשלבם בשוק העבודה, אחד ממדדי התוצאה שנבחן הוא שיעור ההשמה בעבודה (מציאת עבודה). רכיב משמעותי בתכנית הוא מענק לכל דורש עבודה אשר מוצא עבודה. שיעור ההשמה בקרב דורשי עבודה נמדד באופן רציף מידי חודש בשנים האחרונות. על מנת לבחון את השפעת המענק, ייבדק האם המגמה בשיעור ההשמה השתנתה בעקבות התחלת תשלום המענק. אם יימצא כי חל שינוי במגמה בעקבות תשלום המענק, יקבע כי שינוי זה נובע מתשלום המענק.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
O1, O2, O3  X  O4, O5, O6
O- מציין את נקודות המדידה
 X- מסמל את המניפולציה (תכנית ההתערבות)

סדרה עתית מופסקת

(Interrupted time series)- ניסוי טבעי


מערך שבו נעשות מספר מדידות לפני הפעלת ההתערבות ומספר מדידות לאחר הפעלת ההתערבות. במקרים רבים מדובר בניסוי טבעי שבו עושים שימוש במדד אשר נמדד בכל מקרה בקרב האוכלוסייה לאורך זמן ומשווים בין הרמה של המדד לפני ואחרי שהתערבות כלשהי הופעלה על האוכלוסייה. נקודות המדידה המרובות מאפשרות לבחון באיזו מידה השינוי ברמת המדד נובע מההתערבות. ככל שיש שינוי משמעותי במגמה מיד לאחר ההתערבות, כך הסיכוי שהשינוי נובע מההתערבות ולא מגורמים אחרים גדול יותר.

]

דוגמה:
בתכנית שנועדה לשלב בוגרי תואר ראשון בשוק העבודה אחד ממדדי התוצאה שנבחן הוא שיעור התעסוקה. זכאים להשתתף בתכנית רק מועמדים שממוצע הציונים שלהם בתואר היה 90 ומעלה. במסגרת המחקר יוקצו נבדקים לשתי קבוצות: קבוצת טיפול שכוללת זכאים לתכנית שממוצע הציונים שלהם 90 או 91 וקבוצת השוואה שכוללת את מי שאינם זכאים לתכנית וממוצע הציונים שלהם 89 או 88. שיעור התעסוקה ימדד בשתי הקבוצות לפני שקבוצת הטיפול תשתתף בתכנית ולאחר ההשתתפות בתכנית.
אם יימצא כי השינוי בשיעור התעסוקה בין המדידות שונה בין הקבוצות, יקבע כי הבדל זה הוא תוצאה של ההשתתפות בתכנית.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
O1   iC X O2
O1   iC X O2
--------------
   O1   jC O2
O1   jC    O2
iC - מציין נבדקים מעל הסף (קבוצת הטיפול)
jC – מציין נבדקים מתחת לסף (קבוצת ההשוואה)
 O- מציין את נקודות המדידה
 X- מסמל את המניפולציה (תכנית ההתערבות)

[

רגרסיה בלתי רציפה

(Regression discontinuity)- דמוי ניסויי/ ניסוי טבעי

 

מערך של מדידה לפני-אחרי שבו ניתן לעשות שימוש כאשר נקבע סף מסוים לקבלת ההתערבות. מי שנמצא מעל הסף מקבל את ההתערבות, ומי שלא עבר את הסף אינו מקבל את ההתערבות. קבוצת הטיפול כוללת את אילו שנמצאים מעט מעל הסף שנקבע (ולכן קיבלו את ההתערבות) וקבוצת ההשוואה מורכבת מאילו שנמצאים רק מעט מתחת לסף (ולכן לא קיבלו את ההתערבות). ההנחה היא שאילו שנמצאים קצת מעל הסף ואילו שנמצאים קצת מתחת לסף הם דומים בסך הכל ולכן השוואה של השינוי במדד התוצאה בכל קבוצה תאפשר ללמוד על השפעת ההתערבות. 

]
[

דוגמה:
בתכנית שנועדה לשלב אנשים בשוק העבודה אחד ממדדי התוצאה שנבחן הוא שיעור התעסוקה. במסגרת המחקר נבחנות שתי קבוצות: קבוצת דורשי עבודה מעיר בינונית שבה זכאים להשתתף בתכנית (קבוצת הטיפול) וקבוצת דורשי עבודה מעיר דומה שבה הוחלט לא לאמץ את התכנית בשלב זה (קבוצת השוואה). כעת, תערך מדידה ראשונה של שיעור התעסוקה בשתי הקבוצות. לאחר מכן, קבוצת הטיפול תשתתף בתכנית התעסוקה החדשה. כעת, תערך מדידה שנייה של שיעורי התעסוקה.
במדידה הראשונה נמצא כי שיעור התעסוקה בקבוצת הטיפול הוא 30% ובקבוצת ההשוואה הוא 25%. ההפרש בין הקבוצות עומד לפיכך על 5 נקודות אחוז (5=30-25).
במדידה השנייה נמצא כי שיעור התעסוקה בקבוצת הטיפול הוא 45% ובקבוצת ההשוואה הוא 30%. ההפרש בין הקבוצות עומד לפיכך על 15 נקודות אחוז (15=45-30).
כעת נחשב את הפרש ההפרשים, קרי ההפרש בין הקבוצות במדידה השנייה פחות ההפרש בין הקבוצות במדידה הראשונה: 15-5=10. לפי ממצא זה, השתתפות בתכנית מגדילה את שיעור התעסוקה ב-10 נקודות אחוז.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
 O2   X    O1  (קבוצת טיפול)
O2          O1  (קבוצת השוואה מזווגת)
O- מציין את נקודות המדידה
 X- מסמל את המניפולציה (תכנית ההתערבות)

הפרש ההפרשים

(Difference in differences)- דמוי ניסויי/ ניסוי טבעי


מערך של מדידה לפני-אחרי שבו נעשה שימוש בטכניקה סטטיסטית לבחינת ההשפעה של התערבות באמצעות קבוצת השוואה שאינה זהה לקבוצת הטיפול (Non-equivalent comparison group). במערך זה, קבוצת טיפול אשר מקבלת את ההתערבות וקבוצת השוואה שאינה מקבלת את ההתערבות. בניגוד למערכים אחרים, אין במערך זה הנחה כי הקבוצות היו דומות במשתנים מרכזיים לפני קבלת ההתערבות. לכן, השוואה פשוטה בין רמת המדדים בכל קבוצה אינה מספיקה. על כן, בוחנים את הרמה של המדד לפני קבלת ההתערבות ואת הרמה של המדד אחרי קבלת ההתערבות. לאחר מכן מפחיתים את ההפרש בין קבוצת הטיפול לבין קבוצת ההשוואה לפני קבלת ההתערבות מההפרש לאחר קבלת ההתערבות. הפרש ההפרשים מצביע על השפעת ההתערבות.
חשוב לציין שבבסיס המערך גלומה ההנחה כי בהיעדר התערבות, הפער בין קבוצת הטיפול וההשוואה יהיה יציב לאורך זמן (Parallel trend assumption).  

בדרך כלל קבוצת ההשוואה תהיה קבוצה שכבר קיימת במציאות ללא קשר למחקר. למשל, בתחום החינוך, יתכן שביה"ס מסוים יקבל התערבות מסוימת ואילו ביה"ס דומה אחר באותו יישוב לא יקבל את ההתערבות. מטעמי נוחות, בית הספר שלא קיבל את ההתערבות יכול לשמש כקבוצת ההשוואה. עם זאת, לא ניתן להניח כי ביה"ס זה זהה בכל המאפיינים לביה"ס שקיבל את ההתערבות.
על כן, מערך זה פגיע במיוחד להטיית בחירה (Selection bias), שעלולה להביא לכך שהבדלים בין הקבוצות לפני התחלת המחקר יבואו לביטוי שונה במדידה לפני ובמדידה אחרי ולכן יביאו לאומדן מוטה של השפעת ההתערבות. ניתן להשתמש במספר טכניקות סטטיסטיות כדי להתמודד במידה מסוימת עם איום זה.
נציין שמערכי מחקר פרה-פוסט עם קבוצת השוואה לא מזווגת (Non-equivalent comparison group) שבהם לא נעשה שימוש ברור בניתוח של הפרש ההפרשים, מסווגים במאגר כמערכי מחקר לא ניסויים.

]
[

דוגמה*:
מחקר בתחום הבריאות מבקש לבחון את ההשפעה של עישון על מצב הבריאות. המחקר מצא כי יש מתאם בין היקף העישון למצב הבריאות- כלומר, ככל שמעשנים יותר מצב הבריאות פחות טוב. עם זאת, ידוע כי עישון קשור גם לגורמים אחרים שעלולים להשפיע על הבריאות כגון שתיית אלכוהול, דיכאון ועוד. לפיכך, יתכן שלא העישון מוביל לירידה במצב הבריאות אלא משתנים אחרים שקשורים בו.
לכן, המחקר עושה שימוש במשתנה עזר- כזה שמשפיע על מצב הבריאות רק דרך עישון סיגריות וללא קשר לגורמים האחרים (כגון דיכאון). למשל, גובה המיסים על מוצרי טבק משפיע על היקף העישון אך לא קשור לשתיית אלכוהול או דיכאון. הוא גם אינו משפיע ישירות על מצב הבריאות, אלא רק דרך ההשפעה שלו על היקף העישון. לכן, אם נמצא שעלייה בגובה המס על מוצרי טבק מביאה לשיפור במצב הבריאות באוכלוסייה, אז נוכל להסיק כי לעישון השפעה שלילית על מצב הבריאות.

* לצורך פישוט לא נשתמש בדוגמה מתחום הערכת תכניות

משתנה עזר

(Instrumental variables)- דמוי ניסויי/ ניסוי טבעי


השימוש במשתנה עזר נועד להתגבר על בעיות מדידה שונות באמצעות שימוש במשתנה שמשפיע על המשתנה התלוי (התוצאה הרצויה) רק דרך המשתנה הבלתי תלוי (ההתערבות).

השפעות קבועות

(Fixed effects)- דמוי ניסויי/ ניסוי טבעי


מודל סטטיסטי שנועד לסייע בשליטה על הטרוגניות בלתי ניצפת, כאשר הטרוגניות זו קבועה לאורך זמן. המודל מסייע לבידוד ההשפעה של ההתערבות.

]
[

דוגמה:
בתכנית שנועדה לשלב אנשים בשוק העבודה אחד ממדדי התוצאה שנבחן הוא שיעור התעסוקה. במסגרת המחקר נבחנות שתי קבוצות: קבוצה של משתתפי התכנית מעיר מסוימת (קבוצת הטיפול) וקבוצה של אנשים מעיר שבה לא פועלת התכנית והינם בעלי סיכוי הדומה ככל הניתן להיכלל בתכנית בהשוואה לאלה שמשתתפים בה בפועל (קבוצת השוואה).
כעת, תערך מדידה ראשונה של שיעור התעסוקה וייבדק שאכן שיעור התעסוקה דומה בשתי הקבוצות. ככל שימצאו הבדלים בין הקבוצות, יבוצעו התאמות סטטיסטיות כדי לפצות על הבדלים אלה. לאחר מכן, קבוצת הטיפול תשתתף בתכנית התעסוקה החדשה. כעת, תערך מדידה שנייה של שיעורי התעסוקה. אם יימצא הבדל בין שיעור התעסוקה בקבוצת הטיפול לשיעור התעסוקה בקבוצת ההשוואה, יקבע כי הבדל זה הוא תוצאה של ההשתתפות בתכנית.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
O2   X    O1  (קבוצת טיפול)
O2         O1  (קבוצת השוואה מזווגת)
O- מציין את נקודות המדידה
X- מסמל את המניפולציה (תכנית ההתערבות)

פרה-פוסט עם קבוצת השוואה מזווגת (Pre-post with a matched comparison group)- דמוי ניסוי


מערך של מדידה לפני-אחרי שבו נעשה שימוש בטכניקות שונות ליצירת קבוצת השוואה הדומה ככל האפשר לקבוצת הטיפול. עם זאת, משום שיצירת קבוצת ההשוואה נעשית באמצעות יצירת דמיון במשתנים נצפים שנבחרים על ידי החוקר/ת (כגון מין, גיל, רמת הכנסה וכדומה), ההנחה היא הדמיון בין הקבוצות יהיה קטן יותר מזה שמושג באמצעות הקצאה אקראית שמאפשרת יצירת דמיון גם בכלל המשתנים הנצפים (ולא רק כאלה שנבחרים על-ידי החוקר/ת) וגם במשתנים בלתי נצפים (כגון מוטיבציות, שאיפות, ערכים שאין לחוקר/ת מידע עליהם).
המדידה שנערכת לפני ההתערבות מאפשרת לבחון את מידת הדמיון בפועל בין הקבוצות, לפי הפרמטרים שנמדדים. במקרה שנמצאו הבדלים בין הקבוצות, ניתן לבצע התאמות סטטיסטיות על מנת להתגבר על הבדלים אלו.  
תוצאות ההתערבות נבחנות באמצעות מדידת ההפרש בין רמת מדדי התוצאה בקבוצת הטיפול לעומת קבוצת ההשוואה לאחר ההתערבות.  
שיטה בולטת ליצירת קבוצת השוואה הדומה ככל הניתן לקבוצת הטיפול, היא השוואת ציוני היתכנות (Propensity score matching). לפי שיטה זו, כל תצפית מקבלת ערך (ציון היתכנות) המציין את ההסתברות שהיא תהיה חלק מקבוצת הטיפול על פי פרמטרים שנמצאו כמנבאים. לאחר מכן, לכל פרט בקבוצת הטיפול מותאם פרט עם ציון היתכנות זהה, אשר לא קיבל את הטיפול, והוא נכלל בקבוצת ההשוואה.

]
[

דוגמה:
בתכנית שנועדה לשלב אנשים בשוק העבודה אחד ממדדי התוצאה שנבחן הוא שיעור התעסוקה. במסגרת המחקר נבחנות שתי קבוצות: קבוצה של משתתפי התכנית מעיר מסוימת (קבוצת הטיפול) וקבוצה של אנשים מעיר שבה לא פועלת התכנית והינם בעלי סיכוי הדומה ככל הניתן להיכלל בתכנית בהשוואה לאלה שמשתתפים בה בפועל (קבוצת השוואה).
קבוצת הטיפול תשתתף בתכנית התעסוקה החדשה. כעת, תערך מדידה של שיעורי התעסוקה בשתי הקבוצות. אם יימצא הבדל בין שיעור התעסוקה בקבוצת הטיפול לשיעור התעסוקה בקבוצת ההשוואה, יקבע כי הבדל זה קשור, לפחות בחלקו, להשתתפות בתכנית.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
 O   X    (קבוצת טיפול)
O          (קבוצת השוואה מזווגת)
O- מציין את נקודות המדידה
 X- מסמל את המניפולציה (תכנית ההתערבות)

פוסט עם קבוצת השוואה מזווגת (Post with a matched comparison group)- לא ניסויי


מערך של מדידה המתבצעת רק לאחר ההתערבות, שבו נעשה שימוש בטכניקות שונות ליצירת קבוצת השוואה הדומה ככל האפשר לקבוצת הטיפול. עם זאת, משום שיצירת קבוצת ההשוואה נעשית באמצעות יצירת דמיון במשתנים נצפים שנבחרים על ידי החוקר/ת (כגון מין, גיל, רמת הכנסה וכדומה), ההנחה היא הדמיון בין הקבוצות יהיה קטן יותר מזה שמושג באמצעות הקצאה אקראית שמאפשרת יצירת דמיון גם בכלל המשתנים הנצפים (ולא רק כאלה שנבחרים על-ידי החוקר/ת) וגם במשתנים בלתי נצפים (כגון מוטיבציות, שאיפות, ערכים שאין לחוקר/ת מידע עליהם).
בשל היעדר מדידה לפני ההתערבות, לא ניתן לבחון האם הרמה של מדד התוצאה אכן הייתה דומה בשתי הקבוצות לפני קבלת ההתערבות והאם נדרשות התאמות סטטיסטיות על מנת להתגבר על הבדלים אלה.
תוצאות ההתערבות נבחנות באמצעות מדידת ההפרש בין רמת מדדי התוצאה בקבוצת הטיפול לעומת קבוצת ההשוואה לאחר ההתערבות. ככל שהיו הבדלים בין שתי הקבוצות ברמת מדד התוצאה לפני ההתערבות, הממצאים לגבי תוצאות ההתערבות לא יהיו מדויקים.
שיטה בולטת ליצירת קבוצת השוואה הדומה ככל הניתן לקבוצת הטיפול, היא השוואת ציוני היתכנות (Propensity score matching). לפי שיטה זו, כל תצפית מקבלת ערך (ציון היתכנות) המציין את ההסתברות שהיא תהיה חלק מקבוצת הטיפול על פי פרמטרים שנמצאו כמנבאים. לאחר מכן, לכל פרט בקבוצת הטיפול מותאם פרט עם ציון היתכנות זהה, אשר לא קיבל את הטיפול, והוא נכלל בקבוצת ההשוואה.

]
[

דוגמה:
מערך פרה-פוסט
בתכנית שנועדה לשפר את רמת השכר של יוצאי אתיופיה בשוק העבודה, אחד ממדדי התוצאה שנבחן הוא רמת השכר. במסגרת המחקר נערכת מדידה של רמת השכר בקרב משתתפי התכנית לפני ואחרי התכנית. ההפרש ברמת השכר לפני ואחרי התכנית מצביע על שינוי שיתכן שחל בעקבות התכנית. במסגרת המחקר, נאסף מידע גם על רמת השכר בקרב כלל יוצאי אתיופיה המועסקים. השינוי שחל ברמת השכר בקרב כלל יוצאי אתיופיה המועסקים משמש כנקודת יחוס שמאפשרת הבנה טובה יותר של תוצאות התכנית. עם זאת, מכיוון שכלל יוצאי אתיופיה המועסקים עלולים להיות שונים מאוד במאפייניהם ממשתתפי התכנית (למשל ברמת המוטיבציה שלהם לשיפור בשכר) ועשויים היו להיות מושפעים באופן שונה ממשתתפי התכנית בין שתי המדידות, אין מקום לשימוש בשיטת הפרש ההפרשים להערכת השפעת התכנית.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
 O2   X    O1  (קבוצת טיפול)
 O2          O1 (קבוצת השוואה)
מערך פוסט
בתכנית שנועדה לשפר את ההישגים הלימודיים של תלמידי תיכון בפריפריה, אחד ממדדי התוצאה הוא שיעור הזכאות לתעודת בגרות. בשל מגבלת תקציב, רק שתי כיתות מתוך ארבע כיתות בשכבה בעיר בפריפריה נכללות בתכנית. במסגרת המחקר, נבחן שיעור הזכאות לבגרות בקרב משתתפי התכנית ובקרב שתי הכיתות האחרות. ההפרש בין שיעור הזכאות לבגרות בכיתות שהשתתפו בתכנית ובכיתות שלא השתתפו בתכנית מהווה אינדיקציה מסוימת לשיפור שהושג בזכות התכנית.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
 O   X    (קבוצת טיפול)
 O          (קבוצת השוואה)
O- מציין את נקודות המדידה
X- מסמל את המניפולציה (תכנית ההתערבות)

פרה-פוסט/פוסט עם קבוצת השוואה לא מזווגת (Pre-post with a non-equivalent comparison group)- לא ניסויי


מערך של מדידה לפני-אחרי שבו נעשה שימוש בקבוצת השוואה שאינה זהה לקבוצת הטיפול. בדרך כלל קבוצת ההשוואה תהיה קבוצה שכבר קיימת במציאות ללא קשר למחקר. למשל, בתחום החינוך, יתכן שביה"ס מסוים יקבל התערבות מסוימת ואילו ביה"ס דומה אחר באותו יישוב לא יקבל את ההתערבות. מטעמי נוחות, בית הספר שלא קיבל את ההתערבות יכול לשמש כקבוצת ההשוואה. עם זאת, לא ניתן להניח כי ביה"ס זה זהה בכל המאפיינים לביה"ס שקיבל את ההתערבות.
מערך זה דומה מבחינה מבנית למערך הפרש ההפרשים הדמוי-ניסויי, אך תחת הסיווג הלא ניסויי, נכללים מקרים שבהם לא נעשה שימוש ברור בניתוח של הפרש ההפרשים. למשל, כאשר נעשה שימוש במערך מסוג זה במחקר איכותני.  
מערך זה פגיע במיוחד להטיית בחירה (Selection bias), שעלולה להביא לכך שהבדלים בין הקבוצות לפני התחלת המחקר יבואו לביטוי שונה במדידה לפני ובמדידה אחרי ולכן יביאו לאומדן מוטה של השפעת ההתערבות.
מערך מחקר דומה הוא מערך של מדידה אחרי, שבו נעשה שימוש בקבוצת השוואה שאינה זהה לקבוצת הטיפול. מערך מסוג זה פגיע אף יותר לאיומים על התוקף שלו ולהטיות שונות, שכן לא ידוע מה הייתה רמת התוצאה בשתי הקבוצות לפני ההתערבות.

]
[

דוגמה:
בתכנית שנועדה לשלב אנשים בשוק העבודה אחד ממדדי התוצאה שנבחן הוא שיעור התעסוקה. במסגרת המחקר נבחן שיעור התעסוקה בקרב משתתפי התכנית לפני ואחרי ההתערבות. אם יימצא הפרש בין שיעור התעסוקה לפני ואחרי התכנית, ההנחה היא כי הבדל זה קשור, לפחות בחלקו, להשתתפות בתכנית.
זהו תיאור סכמתי של מערך מחקר בסיסי מסוג זה:
O2   X    O1  
O- מציין את נקודות המדידה
 X- מסמל את המניפולציה (תכנית ההתערבות)

פרה-פוסט ללא קבוצת השוואה (Pre-post)- לא ניסויי


מערך של מדידה לפני-אחרי שבו נמדדת רמת מדד התוצאה בקרב משתתפי התכנית לפני תחילת ההתערבות ולאחריה. ההנחה היא כי ההפרש בין המדידות קשור, לפחות בחלקו, להשתתפות בתכנית.
חסרונו העיקרי של מערך זה הוא כי בהיעדר קבוצת ביקורת/השוואה, קשה לקבוע כמה מהשינוי ברמת מדד התוצאה הושג בזכות ההתערבות וכמה מהשינוי היה מתרחש בכל מקרה, גם ללא ההתערבות. לכן, חשוב במיוחד לשלול הסברים מתחרים לשינוי ברמת מדד התוצאה בעת שימוש במערך זה.

]
[

דוגמה:
פוסט בלבד
בסיום התיכון (ההתערבות), עוברים התלמידים מבחן הישגים שבוחן את רמת הידע שלהם. ציון עובר מצביע על כך שהגיעו לסף המינימלי הנדרש ולכן סיימו בהצלחה את הלימודים. הציון אינו מעיד בהכרח על שיפור שחל בעקבות הלימודים בתיכון ויתכן שחלקם היו מגיעים לציון דומה עוד לפני התיכון או ללא הלימודים בתיכון. עם זאת, ככל שניתן לבסס את ההנחה כי בכניסה לתיכון לא היה לתלמידים הידע שנדרש לעמידה במבחן הבגרות (למשל שהם מעולם לא למדו את הנושא), כך ניתן להניח כי חל שינוי ברמת הידע שלהם במהלך התיכון.
כמו כן, ככל שניתן להראות כי הם לא נחשפו בזמן זה להתערבויות נוספות שיכלו לחזק את הידע שלהם בתחומים אלה וכי אין סיבה להניח שהידע שלהם יגבר ללא התערבות חיצונית, כך ניתן להניח כי חלק ניכר מהשינוי ברמת הידע קשור ללימודים בתיכון.
תרומה נתפסת
בסיום התיכון, מתבקשים התלמידים להעריך עד כמה הלימודים תרמו להרחבת הידע שלהם בתחומי הדעת השונים.
פרה-רטרוספקטיבי
בסיום התיכון, מתבקשים התלמידים להעריך מה הייתה רמת הידע שלהם בכל אחד מתחומי הדעת לפני תחילת הלימודים בתיכון (למשל, בסולם של 1 עד 10) ומה רמת הידע שלהם לאחר סיום הלימודים. ההפרש בין הציונים משקף את הערכת התלמידים את הידע שרכשו במהלך הלימודים בתיכון. כדי להבין כמה מהפרש זה מייחסים התלמידים ללימודים בתיכון (לעומת גורמים אחרים שאולי השפיעו עליהם במהלך הלימודים), ניתן לשלב מערך של תרומה נתפסת שבו נשאלים התלמידים כמה מהפרש זה נובע להערכתם מהלימודים בתיכון וכמה נובע מגורמים אחרים.

פוסט / תרומה נתפסת / פרה רטרוספקטיבי (Post only / perceived benefits / retrospective pretest)- לא ניסויי

​מערכי מחקר שבהם נקודת מדידה אחת- אחרי ההתערבות. במערך פוסט בלבד, רמת מדד התוצאה נמדדת לאחר סיום ההתערבות. רמה זו אינה מעידה על השינוי שחל בקרב המשתתפים, אלא על הגעה לרמה מסוימת. ככל שיש כוונה להצביע על תוצאות שנובעות מתכנית התערבות, יש צורך לאסוף ראיות לכך שאכן חל שינוי ברמת מדד התוצאה וכי שינוי זה נובע מההתערבות. מערך מחקר של תרומה נתפסת מבוסס על הערכה עצמית של המוטב/משתתף את השפעת ההתערבות על עצמו. הערכה זו משקפת את השפעת ההתערבות מנקודת מבטו של המשתתף.   במערך מחקר פרה-רטרוספקטיבי מתבקש המוטב/משתתף להעריך את רמת מדד התוצאה שאליה הוא עצמו הגיע לפני תחילת ההתערבות ולאחר סיומה. הערכה זו מתבצעת בנקודת זמן אחת- לאחר ההתערבות. ההפרש בין רמות מדד התוצאה שעליהן הצביע המשתתף מעידות על השפעת ההתערבות מנקודת מבטו, אך מבלי שנשאל על כך ישירות. 

חקר מקרה- לא ניסויי


חקר מקרה (או מקרה בוחן) הוא גישה מחקרית שבה עוסקים במקרה בודד אשר נבחן לעומק ולאורך זמן. אין מדובר במערך מחקר מסוג אחד, אלא בגישה מחקרית שבמסגרתה ניתן לעשות שימוש במערכי מחקר ושיטות מגוונות לאיסוף נתונים. לעיתים, במסגרת מחקר אחד ינותחו מספר מקרי בוחן על-מנת להגיע לתובנות באמצעות השוואה בין המקרים.
לרוב, שימוש בגישה מחקרית זו יכלול שימוש בשיטות מחקר איכותניות או שילוב של שיטות איכותניות וכמותניות.
שימוש בגישה זו מאפשר העמקה בבחינת התוצאות של התערבות, העמקה בהסברים אפשריים לתוצאות אלה ושלילת הסברים מתחרים. בדרך כלל, בחינה זו תכלול ניתוח מנקודות מבט מרובות של בעלי עניין שונים. גישה זו מאפשרת גם בחינה מעמיקה של אופן יישום ההתערבות ואיכותה (מחקר יישום).  
גישה זו לעיתים עומדת בפני עצמה ולעיתים משמשת כמערך משלים למערכי מחקר אחרים שבהם נעשה שימוש. כמו כן, לעיתים היא משמשת לבחינה ראשונית של תכנית התערבות (גישוש), כבסיס לבחינה מאוחרת יותר באמצעות מערכי מחקר אחרים.  

לקריאה נוספת


רות בייט־ מרום, וקלי ספורטה. (2015). שיטות מחקר במדעי החברה: עקרונות המחקר וסגנונותיו. האוניברסיטה הפתוחה.
לוין-רוזליס, מ. (1998). הערכה ומחקר—האמנם חד הם?. מגמות, 319-303.‎

 
 
 
The Step-by-Step Guide to Evaluation

The Step-by-Step Guide to Evaluation

Impact Evaluation in practice

Impact Evaluation in practice

מדריך להטמעת RCT בהערכת תוכניות

מדריך להטמעת RCT בהערכת תוכניות

Key Items to Get RCT right

Key Items to Get RCT right

© 2019 שער להערכה

  • לדף הפייסבוק של נובה
  • לדף הלינקדאין של נובה

עיצוב : טאו סטודיו

עמותת נובה (ע"ר 580438786 ), סעדיה גאון 26 (בית העמותות)