הנחיות APA להערכה פסיכולוגית אונליין
במהלך משבר הקורונה
תרגום המאמר מתוך
אתר איגוד הפסיכולוגים האמריקאי (APA):
Guidance on psychological tele-assessment during the COVID-19 crisis, By A. Jordan Wright, PhD, Joni L. Mihura, PhD, Hadas Pade, PsyD, and David M. McCord April 3, 2020: https://www.apaservices.org/practice/reimbursement/health-codes/testing/tele-assessment-covid-19
רבים מהשירותים הפסיכולוגיים, ועולם בריאות הנפש הרחב יותר, נערכים מחדש בשבועות האחרונים בהתאמת הפרקטיקה הקלינית למגבלות הריחוק החברתי הנדרשות לאור משבר הקורונה. מרבית השירותים הקליניים, המבוססים במידה רבה על אינטראקציה מילולית בין הלקוח לפסיכולוג, עברו למודל של מתן שירות מרחוק, אשר נשען ברובו על טכנולוגיה של שיחות ועידה מרחוק, המתקיימות אונליין, על מנת להמשיך בקשר פנים אל פנים עם הצרכנים (לקוחות, הורים, בתי ספר וכו׳).
ואולם, המצב מאתגר יותר כאשר מדובר בשירותי הערכה, שלהם פרוצדורות אדמיניסטרטיביות מתוקננות הדורשות מגע אישי.
בעוד שיהיה זה זהיר מצד פסיכולוגים רבים להפסיק לקיים תהליכי אבחון פסיכודיאגנוסטי בזמנים אלו, אחרים עשויים לבצע הערכות שחייבות להיות מסופקות תוך פרק זמן מסוים, ו/או כאלה שיש בהן צורך גבוה ו/או כאלה הכרוכות בסיכון גבוה, שאכן קיים צורך להמשיכן. ההנחיות העכשוויות ביותר שצצות בנוגע לבריאות מרחוק מתמקדות ברובן בטיפול פסיכולוגי אונליין, ועל כן נחוצות הנחיות על אבחון והערכה מרחוק.
בתגובה לצורך בריחוק פיזי ולדרישות הבידוד, מוציאים לאור של מבחנים פסיכולוגיים החלו לשנות את אפשרויות מתן השירות שלהם, למשל את היכולת להשתמש באופציות של אבחון מרחוק (לדוגמה, לשלוח למשיב קישור לממשק המבחן או להציג גירויים דרך פלטפורמות מבחנים מרוחקות).
עם זאת, סוגי הערכה רבים, כולל הערכות קוגניטיביות, פסיכולוגיות ואבחון אוטיזם, עמוסים באופן לא-מידתי עקב הריחוק הפיזי הנוכחי, הקשר המוגבל והאילוץ להישאר בבתים. היסטורית, שיטות הערכה אלו נשענות על משימות ותהליכים בינאישיים שדורשים אינטראקציה אישית, למשל תפעול חומרים פיזיים, אינטראקציות מתוקננות בין מעריך לנבחן ותצפית קלינית על האדם בסביבתו הפיזית.
העקרונות להלן מהווים מאמץ להציע עזרה לאלו המספקים הערכות פסיכולוגיות תחת אילוצי ריחוק פיזי. הם לא נועדו להחליף את הפרקטיקות וההנחיות האופייניות בנסיבות נורמליות. כלומר, כאשר יהיה בטוח וישים לחדש את השירותים הקליניים, אסור שההמלצות הללו תבטלנה את הפרקטיקות האופייניות והמתוקננות. ואולם, הן נועדו לאפשר לפחות מידה כלשהי של המשכיות בטיפול ובשירותים הנחוצים המסופקים במהלך זמנים חסרי תקדים אלו.
ההקשר הכולל שבתוכו העקרונות הללו מפותחים הוא זה של הבנה כי בסיס המחקר והראיות לשקילות של האמצעים הקוגניטיביים, הנוירופסיכולוגיים והאינטראקטיביים האחרים בפורמט מקוון ומרוחק בהשוואה לפורמט מסורתי של פנים אל פנים מצוי לחלוטין בחיתוליו. קיימות כמה ראיות ראשוניות, תחת נסיבות מבוקרות מאוד, לשקילות אפשרית (e.g., Brearly, 2017; Cullum et al., 2006; Galusha-Glasscock et al., 2016; Harrell et al., 2014; Parmanto et al., 2013; Smith et al., 2017; Wadsworth et al., 2018; Wright, 2018) אך דרושות עוד רפליקציות של מחקרים וראיות עוד צריכות להצטבר. לכן, העקרונות הבאים מכוונים להמשכיות בטיפול לצד הבנה ששקילות בין מבחן אישי למבחן מרחוק אינה מובטחת. פירוש הדבר הוא שבדו"ח האבחוני יש להתייחס לתקפות המידע באופן גלוי.
הנחיות אלה מייצגות את הידע והדעות הזמינים הטובים והעדכניים ביותר של מועצת החברה להערכת אישיות ושל סקציה IX (הערכה) של יחידה 12 (החברה לפסיכולוגיה קלינית) של ה-APA (האגודה האמריקנית לפסיכולוגיה). העקרונות המוצגים כאן אינם בהכרח משותפים לכל הארגונים. למשל, ועדת הפרקטיקה הפנים ארגונית, קואליציה של ארגונים נוירופסיכולוגיים לאומיים הכוללת את יחידה 40 של ה-APA (חברה לנוירופסיכולוגיה קלינית), מפיקה הנחיות ספציפיות להערכה נוירופסיכולוגית מרחוק. זאת ועוד, אין לעקוב אחר שום הנחיה המסופקת כאן אם היא סותרת חוק פדרלי, מדינתי או מקומי המפקח על פרקטיקת הפסיכולוגים המספקים שירותי הערכה.
לבסוף, העקרונות הללו צריכים להילקח בחשבון בכללם. קרי, אף עיקרון לבדו לא נועד להתיר לפסיכולוגים את היכולת לשנות אדמיניסטרציה של מבחנים במידה שהעקרונות האחרים אינם נלקחים אף הם בחשבון.
מטרת העקרונות הללו היא לאפשר את הפרקטיקה הטובה ביותר האפשרית בתוך אילוצי הריחוק הפיזי הנוכחיים; ככאלה, יידרש שינוי בכמה מהשיטות האדמיניסטרטיביות המתוקננות. שינוי ההליכים האדמיניסטרטיביים הללו צריך להיעשות בזהירות, ביסודיות, בהתחשבות, בשיקול דעת ובמתכוון, עם מתן תשומת לב לאופן בו השינויים עצמם עשויים לשנות את המידע.פסיכולוגים, שהם בעלי הכשרה מלאה בהליכים האדמיניסטרטיביים המתוקננים של כל המבחנים שהם מתכננים לערוך, נדרשים גם לתרגל את ההליכים שלאחר השינוי עם אנשים שאינם לקוחותיהם לפני שיוכלו לגשת להערכות ממשיות.
עקרון 1: אל תסכנו את בטיחות המבחן
בעוד שעשויים להיות כמה מעקפים ביחס להתאמת חומרי והליכי המבחנים כדי להשיג ריחוק פיזי, אין על השינויים הללו לסכן את בטיחות המבחנים. ״העקרונות האתיים וקוד ההתנהגות של פסיכולוגים״ (2017) של האגודה האמריקנית לפסיכולוגיה מצהירים כי ״פסיכולוגים עושים מאמצים סבירים לשמר את היושרה והבטיחות של חומרי מבחנים ושל טכניקות הערכה אחרות באופן קונסיסטנטי עם החוק ועם חובות חוזיים, ובאופן שמתיר הצמדות לקוד אתי זה״ (סטנדרטים אתיים 9.11).
שליחת חומרים מתוך מבחנים (למשל, תמונות למבחן סידור קוביות, עותקים של גירויי משימה פסיכומוטורית או צורות תיעוד) אינה מהווה פתרון מעשי למשבר הנוכחי, אלא אם אושרה על ידי מפרסם המבחן. פיתוח שיטות מאושרות להצגת גירויים למסך מחשב עשוי להתאפשר, מכיוון שהוא פרוטקטיבי יותר לאבטחת מבחנים
למרות שאיננו יכולים לשלוט, למשל, בכך שלקוחות עשויים לתעד את מסך המחשב במהלך מפגש טיפולי מרחוק, הדבר סביר הרבה פחות מיכולתם לשכפל חומרים שישלחו אליהם פיזית.
עקרון 2: עשו כמיטב יכולתכם עם מה שזמין לכם
ודאו שאתם יודעים באופן יסודי כיצד להשתמש בטכנולוגיה הזמינה לכם. מחובכתם להבטיח שהחיבורים מאובטחים בשני הצדדים, שהרשת האלחוטית שלכם אמינה ושאתם מכירים את הפונקציות השונות של הפלטפורמה בה אתם משתמשים, וכן עליכם לחשוב לעומק על האופן בו תוכלו להשתמש בה על מנת להתקרב ככל הניתן לאדמיניסטרציה המסורתית המתוקננת.
פסיכולוגים צריכים לקחת בחשבון את הנסיבות הפרטניות של הנבחן – גיל (בייחוד ילדים ואוכלוסייה מבוגרת), מצבים מסוימים בבריאות הנפש, מוגבלויות פיזיות, גישה למרחב/תנאי מבחן וכו׳. פסיכולוגים חייבים להיות ערניים למשך המפגשים. בעוד רבים מאתנו מבלים זמן רב מול המסך, לרוב איננו מבצעים מטלות כאלה. חשוב שהפסיכולוג יכיר את גבולות האבחון מרחוק וישקול אם הגישה הזו מתאימה בהינתן שאלת ההפניה, הראיות, מאפייני/העדפות הנבחן והמומחיות הקלינית.
עשו את המיטב כדי לשמור על ההליכים האדמיניסטרטיביים קרובים ככל הניתן לפרוצדורות המסורתיות האישיות. למשל, חובה לבנות מערכת יחסים אוהדת עם הנבחן לפני העברת הסוללה. עבור מבחנים מבוססי ביצועים, כמו מבחני אינטליגנציה, יש לצפות בביצועי האדם על מנת שניתן יהיה להתערב כאשר יש צורך בכך ולקבוע אם דבר מה הפריע לתהליך התגובה האופייני למשימה.
הרכיב האינטראקטיבי העיקרי של שאלוני דיווח עצמי הוא בדרך כלל ההנחיות ההתחלתיות שניתנו לנבחן, והמבחן מבוצע אינדיבידואלית בחדר שקט. עם זאת, כאשר מנהלים שאלון דיווח עצמי מרחוק, חייבים להבטיח שהלקוח עצמו הוא אכן האדם שמבצע את המבחן ושהוא נמצא בחדר יחסית נטול הסחות.
כמה מפלטפורמות הבריאות מרחוק מאפשרות שיתוף מסך (כך שלקוח יכול לראות את מה שעל המסך שלכם), כמו גם שליטה מרחוק (כך שהלקוח שולט למעשה בעכבר/סמן שלכם). הדבר יכול לאפשר ללקוח להשלים טפסים מהמחשב שלהם כאילו הם יושבים על המחשב או הלפטופ שלכם.
עקרון 3: היו קשובים בקפידה לאיכות המידע
נכון להיום, המחקר והראיות לשקילות פורמט המבחנים המקוונים מרחוק לפורמט המסורתי פנים אל פנים הם מוגבלים. עליכם להשתמש בידע שלכם אודות תהליכים המונחים בבסיס ביצועים במשימות ואודות האופן בו סביר שהתהליכים הללו ייפגעו מהפורמט האדמיניסטרטיבי שלאחר השינוי, וזאת על מנת לשקול לעומק את איכות המידע שנאסף.
למשל, כמה מהמשימות שהן מילוליות לחלוטין עשויות לסבול משינויים קטנים מאוד באיכות המידע שנאסף, משום שהן נשענות בראש ובראשונה על שמיעה ודיבור, בעוד שמשימות לא-וורבליות רבות נמצאות בסבירות גבוהה יותר לסבול הרבה יותר מהפורמט הזה. עליכם לשקול לעומקה כל משימה בניהולכם ולהחליט עד כמה בדיוק סביר שאיכות המידע תפגע על ידי האדמיניסטרציה של הפורמט לאחר השינוי. איכותן של תמונות (טשטוש, צללים וכו׳) עבור הלקוח היא גורם שיש לשקול בשימוש פוטנציאלי בדימויים חזותיים רבים, שכן יש סבירות גבוהה יותר שישפיע באופן שלילי על התוצאות.
כאשר שוקלים את איכות המידע, חשוב לשקול בדיוק עד כמה סביר שהשינויים מזיקים לתקפות. אסור שאיש, כמובן, יסיק מסקנות או ייקח החלטות בהתבסס על מידע שהוא כה מסולף עד שאינו מייצג עוד את יכולותיו או את תפקודו של האינדיבידואל. נוסף על כך, חשוב להחליט האם עדיף להמשיך בתהליכי ההערכה שלאחר השינוי בסיטואציה פרטנית, או להשתמש באמצעים אלטרנטיביים שזמינים לשימוש בפורמט מרוחק או לחכות עד שהשירותים האישיים יהיו שוב ברי קיימא.
עקרון 4: חישבו בביקורתיות על החלופות למבחנים ולתתי-המבחנים
אין ספק שיהיו משימות שאותן לא יהיה ניתן לשכפל כרגע בפורמט של אבחון מרחוק. קחו למשל, סידור קוביות ממבחני וכסלר. מבלי שתוכלו לשלוח לנבחן קוביות (ולאחר מכן להשתמש בזוויות מצלמה מרובות כדי לראות גם את פניו של הנבחן וגם את ידיו/השולחן), בלתי סביר שיהיה ישים לנהל זאת כרגע. הדבר נכון גם למשימות אחרות הכוללות תפעול בטסט.
ואולם, תוכלו לשקול משימות שעושות שימוש במבנים דומים בדרכים דומות. למבחני וכסלר, למשל, יש תתי-מבחנים שנכנסים אל תוך התחום הרחב יותר של אינדקסים עם היסק מרחבי או תפיסתי, שאינם דורשים שימוש בקוביות. בנוסף על כך, הוספת משימת שילוב ויזואלית-מוטורית שונה לסוללה יכולה לחזק את המידע שנצבר כאשר תת-מבחן מרכזי אינו יכול להפיק תועלת.
זכרו שהמדדים החסונים והמשמעותיים ביותר במבחנים רבי-פנים הם לרוב האינדקסים הכלליים (״סקאלה מלאה״), ולא תתי-המבחנים (ראו לדוגמא, McGill et al., 2018). כלומר, הווריאציה האינדיבידואלית שבתתי-מבחנים יכולה להיות שימושית ואינפורמטיבית, אך הציון הכללי הוא לרוב פיסת המידע הקלינית האמינה ביותר. פירוש הדבר הוא שלבעיות קלות במידע (תוך כדי לקיחה בחשבון של עקרון 5) עשויות שלא להיות חשובות, בעלות משמעות או משבשות, שכן הן תורמות רק באופן חלקי לתוצאה כללית גדולה יותר.
עקרון 5: הרחיבו את מרווחי הביטחון כשאתם עושים שיקולים והחלטות קליניים
בסופו של דבר, הערכה פסיכולוגית דורשת את השיפוט הקליני של פסיכולוגים שמפרשים את תוצאת המבחן, כולל טווח הטעות שלו, בתוך ההקשר של אינדיבידואל ושל גורמים קונטקסטואליים, ובכלל זה הצגת בעיות, שיקולי מגוון ומידע אחר.
לעולם איננו צריכים לקבל החלטה קלינית על סמך תוצאה של טסט בודד, אפילו תחת התנאים האופטימליים ביותר. פסיכולוגים ימשיכו לעשות אינטגרציה של מידע ממבחנים תוך כדי הבנה של הפרט, הרקע שלו, הקונטקסט, התרבות שלו והנסיבות, על מנת להעביר מסקנות והחלטות קליניות.
אינטגרציה של מידע ממבחן אשר נגזר מתהליכי אדמיניסטרציה לא מתוקננים מרחיבה את טווח הטעות. חשוב להיות שקולים ומפורשים בנוגע למרווח הביטחון הרחב יותר ולפוטנציאל לטעויות בניהול התהליך, בפרשנות ובהערכה בכתב של התוצאות.
בהקשר של מרווח הביטחון, חשוב לזכור כי מידע קוגניטיבי ופסיכולוגי אחר שמקורו במבחן מייצג יכולות, תכונות, מצבים ותפקודים בסיסיים. אף תוצאת מבחן אינה מסבירה לעולם תכונה בסיסית ב-100% דיוק ובאופן מושלם. זו הסיבה העיקרית שבעטיה חשוב להשתמש בגישה רב-שיטתית, משולבת עם מומחיות קלינית (Bornstein, 2017).
זכרו שתוצאות המבחנים והמידע הללו אינם מושלמים ובמקרה הטוב יש בהם שגיאות והם אומדנים של מבנים שאנו מנסים להבין אודות הפרט. לכן, עם כל האזהרות לעיל, השתמשו בתוצאות מבחן שנאספו דרך אבחון מרחוק כידע אינדבידואלי בתוך תמונה רחבה יותר.
עקרון 6: שמרו על אותם סטנדרטים אתיים של טיפול כמו בשירותי הערכה פסיכולוגית מסורתיים
העקרונות האתיים שבבסיס הקוד האתי בנויים על יסודות עשיית הטוב, ההימנעות מפגיעה והיות הפסיכולוגים נאמנים והוגנים בעבודתנו. עקרונות אתיים אלה נותרים בתוקפם במהלך תקופת משבר זו.
נדרש להבטיח תהליך הסכמה מדעת יסודי, בהיר ומתמשך. קשיים פוטנציאליים יכולים לעלות כאשר מנהלים הערכה פסיכולוגית מרחוק באמצעי בריאות מרחוק ויש לדון בהם מפורשות. חשוב שהצרכנים יכירו את המגבלות מבעוד מועד, כאשר ניתן.
זאת ועוד, מכיוון שהערכה פסיכולוגית מרחוק היא תחום שאינו מוכר לרובם המכריע של הפסיכולוגים, חשוב לפנות להדרכה, אם הדבר אפשרי. בעוד שייתכן ולא יהיה ניתן לדבר עם מומחה בתחום מסוים, עליכם לדון בהשלכות עם קולגות שבקיאים בנושא.
מעבר לכך, נושאים של אי-צדק, שונויות וגיוון צריכים לקבל מענה לכל אורך התהליך. אפילו מֵעֵבֶר לגישה לטכנולוגיה ולחיבור אינטרנט יציב שיידרשו להשתתפות בתהליך מלכתחילה, רמת האוריינות הטכנולוגית של הלקוחות יכולה להשפיע הדדית על הביצועים האקטואליים שלהם במשימות שנשענות על טכנולוגיה.
לדוגמה, כאשר משימה דורשת מהלקוח להשתמש במחשב, עליכם לחשוב בזהירות אודות ההשלכות של הדבר על נבדקים שמגיעים מרקע מוחלש או כזה שבאופן מסורתי נמצא בשוליים, שיכולים להיות בעלי פחות ניסיון עם מחשבים, נוסף על איך שהדבר יכול להשפיע על ביצוע המשימה (למשל מהירות ודיוק). למרות שהנושא טרם נחקר, אפשרי בהחלט שהבדלים בעייתיים ושיטתיים בין קבוצות במבנים מסוימים יכולים להיות מועצמים בפורמטים של שירותי בריאות מרחוק.
לבסוף, כאשר תהליכי ההערכה עברו שינוי, חשוב לציין זאת בדו"ח המסכם ובמשוב של ההערכה הפסיכולוגית, כמו גם כיצד ייתכן שהשינויים הללו השפיעו, או סביר שהשפיעו, על המידע. חשוב להיות שקופים בנוגע לנסיבות החדשות תחתן בוצעה ההערכה, כמו גם בנוגע לשיקולים שהוכנסו אל האופן בו פורש המידע, עם שיקול דעת לאור השינויים, ובשילוב עם מידע אחר.
מסקנה
הרבה מעבודת ההערכה הפסיכולוגית, המנוהלת על ידי פסיכולוגים, מתרחשת בעיתוי מסוים, חיוני ובסיכון גבוה. במהלך תקופת המשבר הזו, עם ריחוק פיזי והוראות הישארות בבית, הדבר הטוב ביותר עבור פסיכולוגים רבים עשוי להיות פשוט הפסקה של עבודת ההערכה הפסיכולוגית. ואולם, עקב חוסר הוודאות בנוגע לשאלה כמה זמן המצב יימשך ובשל העובדה שפונים רבים פשוט צריכים שההערכות תבוצענה (חרף אילוצי הנסיבות הנוכחיות), ההנחיות הללו נועדו לעזור לפסיכולוגים להמשיך בעבודתם החשובה בצורה האתית והאחראית-קלינית האפשרית.
בכל פעם שהדבר מתאפשר, תהליכים אדמיניסטרטיביים צריכים לחקות או לפחות להתקרב לפרוטוקולים המתוקננים הנוכחיים במדריכי המבחנים. עם זאת, כאשר הדבר אינו אפשרי, על פסיכולוגים לנקוט צעדים לשם איסוף מידע איכותי ככל הניתן ולהשתמש בזהירות ובמומחיותם המקצועית בבואם לפרש את המידע ולשלב אותו עם מידע אחר על מנת להסיק מסקנות ולהודיע על החלטות קליניות.
הצהרה (Disclaimer)
ההנחה היא שכל הפסיכולוגים ייצמדו לחוקים ולרגולציות הפדרליים והמדינתיים שחלים עליהם, להנחיות האתיות של האגודה האמריקנית לפסיכולוגיה (בארץ, קוד האתיקה המקצועית של הפסיכולוגים בישראל) ולסטנדרטים של המבחנים החינוכיים והפסיכולוגיים.
ההבדל בין התאמה לבין שינוי של מבחנים חייב להילקח בחשבון, להיות מובן, ואם ישים – גם מדווח.
היוועצו בהוראות הטכניות של המבחנים בהם נעשה שימוש לשם מידע נוסף.
המידע שסופק כאן נחשב זמני לשימוש במהלך משבר הקורונה ללא תאריך תפוגה ידוע.
הקווים המנחים אינם מעידים על כך שהשירותים הללו ישופו. פסיכולוגים צריכים לוודא מול המשלמים על מנת לאשר מדיניות תשלום, קידוד ושיפוי.
לקריאה נוספת:
המלצות איגוד הפסיכולוגים האמריקאי (APA) לטיפול פסיכולוגי בתקופת הקורונה <
המלצות להעברה מרחוק של מבחן הרורשאך - מאת כותבי ה- R-PAS <
נכתב ע״י מומחי מכון טמיר
מקורות מתוך המאמר:
American Psychological Association (2017). Ethical principles of psychologists and code of conduct. Retrieved from https://www.apa.org/ethics/code/index.aspx
Bornstein, R.F. (2017). Evidence-based psychological assessment. Journal of Personality Assessment, 99(4), 435-445
Brearly, T.W., Shura, R.D., Martindale, S.L., Lazowski, R.A., Luxton, D.D., Shenal, B.V., and Rowland, J.A. (2017). Neuropsychological test administration by videoconference: A systematic review and meta-analysis. Neuropsychology Review, 27(2), 174-186
Cullum, C.M., Weiner, M.F., Gehrmann, H.R., & Hynan, L.S. (2006). Feasibility of telecognitive assessment in dementia. Assessment, 13(4), 385-390
Galusha-Glasscock, J.M., Horton, D.K., Weiner, M.F., and Cullum, C.M. (2016). Video teleconference administration of the repeatable battery for the assessment of neuropsychological status. Archives of Clinical Neuropsychology, 31(1), 8-11
Harrell, K.M., Wilkins, S.S., Connor, M.K., and Chodosh, J. (2014). Telemedicine and the evaluation of cognitive impairment: the additive value of neuropsychological assessment. Journal of the American Medical Directors Association, 15(8), 600-606
McGill, R.J., Dombrowski, S.C., and Canivez, G.L. (2018). Cognitive profile analysis in school psychology: History, issues, and continued concerns. Journal of School Psychology, 71, 108- 121
Parmanto, B., Pulantara, I.W., Schutte, J.L., Saptono, A., and McCue, M.P. (2013). An integrated telehealth system for remote administration of an adult autism assessment. Telemedicine and e-health, 19(2), 88-94
Smith, C.J., Rozga, A., Matthews, N., Oberleitner, R., Nazneen, N., and Abowd, G. (2017). Investigating the accuracy of a novel telehealth diagnostic approach for autism spectrum disorder. Psychological Assessment, 29(3), 245-252
Wadsworth, H.E., Dhima, K., Womack, K.B., Hart Jr, J., Weiner, M.F., Hynan, L.S., and Cullum, C. M. (2018). Validity of teleneuropsychological assessment in older patients with cognitive disorders. Archives of Clinical Neuropsychology, 33(8), 1040-1045
Wright, A.J. (2018). Equivalence of remote, online administration and traditional, face-to-face administration of the Woodcock-Johnson IV cognitive and achievement tests. Archives of Assessment Psychology, 8(1), 23-35