בימינו, ההסתמכות הגוברת על טכנולוגיה מורגשת בתחומים רבים – תחבורה, חינוך, בנקאות, רפואה, תקשורת, מדע ועוד – הן עבור מי שמחובר, וגם מי שאינו. המהפכה הדיגיטלית שינתה מן היסוד את העולם כפי שאנו מכירים אותו, אבל למעשה ישנו מספר קטן של אנשים אשר עומדים מאחורי תופעה רחבה זו. בהתאם, האינטרנט עצמו נגוע ברשמים מטעים ועיצוב מפלה, אשר יכולים בתורם לפגוע בשוויון וליצור אשליות תודעתיות אשר ישפיעו דורות קדימה. אילו הטיות מבניות קיימות במרחב המקוון, ומדוע? כיצד הטיות אלו מגבירות פערים חברתיים ומשפיעות על השוויון בחברה? כיצד הדבר משפיע על מיצוי זכויות ושילוב? האם וכיצד ניתן להתמודד עם אתגרים אלו? עו"ד עדן פרבר וד"ר טל מימרן עונים על השאלות.

א. ההיסטוריה של האינטרנט – ללא עיוורון צבעים

בשנת 2018 נחשף כי חברת הענק אמזון השתמשה בתכנת מחשב מבוססת בינה מלאכותית אשר הפלתה בקבלה לעבודה נגד נשים[1]. כיצד היא עשתה זאת? האלגוריתם המוטמע במערכת לא פעל בהוראה מכוונת לסנן נשים. אלא, הוא התבסס על נתונים שלימדו אותו להעדיף גברים בקבלה לעבודה. למשל, האלגוריתם פסל מועמדות של אנשים שלמדו במוסד שאין הרבה בוגרים ממנו בחברה, מה שהעצים את תת-הייצוג של נשים בחברה. כמו כן, הוא העלה בדירוג קורות חיים עם מילים "גבריות" באופן סטטיסטי כגון "executed" או "captured"[2]. כתוצאה, נשים סוננו החוצה מהליכי גיוס באמזון ובחברות אחרות אשר שילבו בינה מלאכותית במערכת הגיוסים, לפעמים עוד לפני שמועמדותן הוגשה לבני אדם שיכלו לזהות שנוצרה אפליה.

חשוב להכיר לעומק את הדרך שבה הטכנולוגיה הדיגיטלית עוצבה וכיצד הארכיטקטורה מאחורי העידן הדיגיטלי מעצימה פערים קיימים הפוגעים באוכלוסיות מוחלשות. עוד מן הימים הראשונים לפעילות האינטרנט, מרחב הסייבר היה מושפע, במידת מה, מאפליה. למשל, העיצוב הראשון של מחשב כלל שימוש בשמות בעייתיים אשר נתפסו כפוגעניים וחיזקו סטיגמות, דוגמת ה-"Master Disk" ו-"Slave Disk"[3]. שיום זה אמנם לא פגע בשימוש עצמו, אך היה בו פוטנציאל לפגוע ברגשות המשתמש וגם לנרמל את התחושה כי הטכנולוגיה החדשנית היא "מועדון לבנים", כלומר שדה אשר מעוצב על ידי קבוצה בעלת פריבילגיה – ואשר נעשה בו שימוש לטובתה. בעידן הנוכחי, הטיה בעיצוב טכנולוגי הפכה למורכבת יותר, מתוחכמת יותר ולרוב היא גם פועלת באופן סמוי בתוך קודים ואלגוריתמים שאנו לא רואים בחוויה האישית במרחב הדיגיטלי (על רקע תופעות כמו "הקופסה השחורה", בשדה הבינה המלאכותית).

משנות 1960 ואילך, מהנדסים ומדעני מחשב פיתחו והמציאו כלים דיגיטליים מהפכניים אשר שינו את חיינו מן היסוד. במהלך ההיסטוריה של המצאת האינטרנט, ניכר פער משמעותי בייצוג אוכלוסיות מגוונות בקדמת העיצוב והפיתוח, אשר משפיע בתורו על התוצרים בצורות גלויות ונסתרות. ככלל, היסטוריונים מצביעים על צוותי מדענים ב-MIT, בסטנפורד ובאוניברסיטת קליפורניה (UCLA) אשר רובם המכריע היו גברים והם אלו אשר הביאו את האינטרנט למה שהוא היום[4]. לצידם, ניתן לציין את אליזבת' פיינלר מסטנפורד ורדיה פרלמן מ-MIT[5], שתי נשים אשר תרמו משמעותית לפיתוחם של המחשב וטכנולוגיה דיגיטלית, ואת קהילת האמריקנים-אפריקנים הידועה בשם "אפרו נט" משנות 1980[6].

ועדיין, למרות שיש דוגמאות לנשים וקבוצות מיעוט שלקחו חלק במאמץ ההיסטורי החשוב הזה, בסופו של יום מקובל לראות את ההיסטוריה של האינטרנט בתור כזו שמתמקדת באמריקנים ממוסדות יוקרתיים, גברים ברובם, לבנים ברובם. מעבר לזהות מגדרית או אתנית של אותם מדעני מחשב, ברור כי לעובדה שההישגים המהפכניים ביותר הגיעו מארצות הברית, מדינה עשירה ומפותחת, ישנה השפעה על מדינות העולם האחרות. למעשה, גם בתוך ארצות הברית, מי שתרמו והשתתפו באופן נרחב בפיתוח האינטרנט השתייכו לאוכלוסייה של בעלי יכולות, כסף וכאלו שסבלו מפחות חסמים חברתיים על בסיס גזע או מגדר (אם בכלל). להם היו ההזדמנויות והמשאבים המתקדמים ביותר וחברה אשר תמכה בהם לפרוץ גבולות, לעומת אוכלוסיות אשר הודרו מהשתתפות במוסדות אלו[7].

מדוע זהות המדענים המובילים חשובה לדיון? אחת הסיבות לכך, היא שכאשר עסקינן בעולם של עיצוב האובייקט המעוצב מקדם את נקודת המבט של המעצב וגם את מעמדו והשקפתו[8]. כאשר מדובר בעיצוב של דבר פשוט, או דבר עם שימוש אחד ומוסדר, קל יותר להתמודד עם הטיה מבנית (למשל, מספריים נוצרו עבור אנשים עם יד ימין דומיננטית, אך כאשר שמו לב להטיה המבנית החלו ליצור מספריים לאנשים עם יד שמאל דומיננטית)[9]. אולם, כאשר מדובר בטכנולוגיה דיגיטלית, השימושים והממשקים עם אנשים רבים מדי ומגוונים מדי כדי למצוא פתרון אחד מופשט לכל צורות ההטיה המבנית בתוכן. כך, יש חשיבות רבה לעובדה שהאינטרנט, עם כל מה שיש לו להציע וכל האנשים המגוונים הנהנים ממנו, נוצר על ידי קבוצה הומוגנית בעלת פריבילגיה אשר מובנית לתוך הכלים והמערכות.

ב. מהי הטיה דיגיטלית?

בפן הטכני, הטיה מהווה סטייה מערכתית מערך אמיתי בעקבות ציפייה או מדגם לא מדויקים[10]. בפרט, בגלל חוסר במידע משקף, או בעקבות רושם ראשוני שלא סתרנו, אנו מצפים לתוצאה או התנהגות באופן לא סימטרי כלפי אוכלוסיות מסוימות. הטיה מתבטאת בתחומים שונים: יש הטיה תרבותית, לפיה אנו מאמינים במשהו בגלל השיוך הקהילתי, התרבותי או הדתי שלנו באופן אשר משליך על אנשים מחוץ לקהילה. יש גם הטיה קוגניטיבית אשר משפיעה על האופן שבו אנו מקבלים החלטות, בין אם בגלל לחץ אשר גורם לנו לקבל החלטות שגויות ולסנן באופן לא מודע מידע מורכב מדי, או מתוך השלמה אוטומטית של מידע חסר על בסיס ניסיון העבר והדמיון[11]. הטיות אלו משפיעות השפעה של ממש על אופן קבלת ההחלטות ועל תוכנן הסופי[12], וזאת לצד גורמים נוספים דוגמת אמונות דתיות, רגשות, רקע תרבותי וחברתי ועוד[13]. במרחב הדיגיטלי, הטיה מתבטאת בצורות שונות, וחשוב להכיר בכלל האופנים בהם היא יכולה להופיע ולהשפיע על חווית השימוש באינטרנט.

ראשית, ישנה הטיה בהשתתפות (engagement bias)[14]. כלומר, התופעה במסגרתה רק אחוז מועט של תוכן דיגיטלי מקבל את מרבית הצפיות, ונוצר מדבר דיגיטלי (digital desert) בו תוכן רב אינו זוכה לייצוג. במילים אחרות, אחוז מאוד קטן של יוצרי תוכן יכולים להשפיע על מרבית המשתמשים, בעוד שכמות גדולה של מייצרי תוכן לא תזכה לייצוג כלל, או לייצוג חסר. מבנה זה יכול לייצר תמונה מטעה אודות דעת ציבור הרוב בעניינים שונים. למשל, במחקר שנערך אודות השלכות הוריקן סנדי, אסון טבע שפגע במדינת ניו יורק בשנת 2012, אשר התבסס על פרסומים ברשתות חברתיות, עלה כי הכמות הגדולה ביותר של ציוצים הגיעו מן העיר מנהטן[15]. התיאור ברשתות יצר אשליה כי מנהטן חוותה את הנזק הכבד ביותר. אולם, במציאות, ערים קטנות הן אלו שספגו את מרבית הנזק, אבל הקול של הערים הקטנות לא נשמע מאחר ואחוז החיבור לאינטרנט שם היה נמוך יותר מלכתחילה (פער אשר הוחמר בשל נזקי ההוריקן), ומכאן התושבים לא יכלו לשתף את סיפוריהם בדומה לשכניהם שגרו במנהטן. לעיתים, הטיה זו משרתת מטרות זדוניות לשיבוש המציאות, דוגמת מבצעי השפעה אשר מוחלים במרחב המקוון משתמשים הרבה פעמים בחשבונות כוזבים, הנקראים "בוטים" אשר מגיבים בצורה או בהיקף מוקצן כדי להשפיע על התודעה של משתמשים אחרים[16].

שנית, ישנה הטיה בנתונים (data bias)[17] ביחס למידע הקיים במרחב הדיגיטלי. למשל, המידע באינטרנט קיים באנגלית באופן לא מידתי ביחס לשאר שפות העולם. בדומה, ניתן לראות כיצד באתרים דוגמת ויקיפדיה, כמות עמודי הביוגרפיה על נשים בהיסטוריה קטנה, ועל אף שניתן לשייך זאת לפערים מגדריים בהיסטוריה, נמצא שגם בקרב עורכי עמודי הביוגרפיה יש רק 12% נשים, וסביר להניח כי נתון זה משפיע על תת הייצוג בכתיבה ועריכה ובמגוון של הדפים הקיימים בוויקיפדיה. הטיה זו באה לידי ביטוי במידע הקיים (כגון הפצת פייק-ניוז ברשתות החברתיות או אף הסתה לאלימות); בייצוג יתר של אנגלית בתוכן ותכנות מחשב, דבר אשר גם משפיע על השתתפות אוכלוסיות מיעוט וגם על הפרשנות של המידע המוצג; וכן בהטיה בתוכן דיגיטלי ויזואלי המתבטאת בטכנולוגיית צילום אשר מעוצבת לרוב באופן אשר מקנה העדפה לבעלי עור בהיר יותר או בשיוך תמונות גזעניות או סקסיסטיות למילים במנגנוני חיפוש[18].

שלישית, ישנה הטיה אלגוריתמית (algorithmic bias)[19]. בקצרה, תוכנות מחשב רבות מתבססות על אלגוריתם כלומר סט כללים המופעל על ידי התוכנה באופן אוטומטי יחסית, על בסיס נתונים אשר הוזנו לתוכה. לרוב, השורש של הטיה אלגוריתמית הוא ייצוג יתר של אוכלוסיות לעומת תת-ייצוג אחרות (תופעה הנקראת ex-nomination) בנתונים הנלמדים על ידי התוכנה. לשם ההמחשה, נמצא שבשנת 2016 כ-70% מהעיתונאים היו גברים, ולכן אלגוריתם אשר הוזן מהחדשות למד בעיקר דפוסי לשון גבריים, מה שיצר הטיה לשונית בתוצרים המופקים. כמו כן, טכנולוגיה דיגיטלית-ויזואלית נוטה להעדיף אנשים לבנים דוגמת התופעה במסגרתה גוגל תמונות הגדירה גברים שחורים כ"גורילות", או תוכנה שמשפרת איכות תמונות שהפכה את ברק אובמה לגבר לבן[20]. בנוסף, מנגנוני חיפוש מבוססים על אלגוריתם, ובשנת 2013 נמצא שגוגל מראה הודעות ממומנות לבדיקת העבר הפלילי של אנשים שחורים יותר מלבנים, גם אם אין להם עבר פלילי בכלל. כמובן, בדומה לדוגמה של ויקיפדיה אליה התייחסנו לעיל, אפליה או תת-ייצוג בקרב מעצבים ומתכנתים משפיע ברמה התוצאתית גם כן על הטיה אלגוריתמית. בנוסף, הטיה אלגוריתמית מאפשרת ניצול לרעה, לדוגמה כאשר מבצעי השפעה משחקים על אלגוריתם אשר מגביר את החשיפה לפוסטים עם עמדה מסוימת (תופעה הנקראת "תא ההדהוד") בכדי לחזק את האשליה כי עמדה או דעה מסוימת נהנות מיותר מקובלות או לגיטימציה.

רביעית, ישנה הטיה בשימוש (bias in user interaction)[21]. התצוגה של מרחבים דיגיטליים משפיעה המון על האופן שבו נשתמש בהם, כגון מיקום מידע (אנשים דוברי אנגלית ושפות קשורות מרבים להסתכל קודם למעלה ושמאלה, למשל), וניתן להשפיע על החשיפה של תכנים או על הסיכוי שמישהו ימצא אותם בעיצוב ומיקום שלהם, מה שקורה הרבה בקידום תכנים ממונים על חשבון אחרים.

ג. הסיכונים בהטיה מבנית

בעוד שנדרש להתמודד עם אפליה מכל סוג בחברה ובמשטרים דמוקרטיים, כאשר מדובר בהטיה מבנית בטכנולוגיות, הסיכון מוגבר: הטיה אנושית היא תופעה טבעית, וככל שניתן לזהות אותה בקלות ניתן גם לפעול לתקן אותה. לעומת זאת, תכנה ממוחשבת אמורה לכאורה לא להתחשב בשיקולים זרים ונחשבת לכלי שיכול להיות עיוור לגזע, מגדר וכדומה. אם לא נבין כיצד פועלת התוכנה, על מה היא מתבססת ומה השיקולים הננקטים בפיתוח שלה ובהפעלתה, קל יותר להאמין לאשליה הזו.

הטיה אלגוריתמית, למשל, היא אפליה שפועלת מאחורי הקלעים, לרוב בשלבי עיצוב התכנה, אך היא מאיימת להגביר את האפליה במציאות באופן משמעותי, שכן אלגוריתמים יכולים לקבל מאות ואלפי החלטות במהירות יתר ולהשפיע על מערכות שלמות מסביב לעולם ובכל תחומי החיים. בהקשר של בינה מלאכותית, נוסיף כי עלולה להיות למשתמש נטייה גבוהה יותר להסתמך על התכנה בעיניים עצומות ולא לשקול שנית או לפקפק בתוצאות – שכן בינה מלאכותית משווקת כמוצר אשר "חושב" בשבילך. לנטייה זו ניתן לקרוא "הסתמכות יתר", ובהתאם אלגוריתם אשר מופעל בתוכנה המציעה להקל על המשתמש, לנהל את המידע עבורו ולהציע לו החלטה סופית או קרובה לכך, יכול להיות מסוכן עוד יותר.

בנוסף להטיה גזעית ומגדרית הנלמדת מאפליה הקיימת בעולם הקינטי, יש האומרים כי אלגוריתמים יכולים גם ללמוד הטיה על בסיס השתייכות לקבוצה חברתית או דעה פוליטית[22]. בהקשר זה, קבוצות מיעוט אידיאולוגיות או חברתיות, אשר לרוב כבר סובלות מתת-ייצוג, יכולות לחוות הדרה טכנולוגית כאשר אלגוריתם מוריד אותם או מחריג אותם כי הם לא מתכתבים עם הנתונים על בסיסם האלגוריתם למד[23]. באותה מידה, יש המזהירים כי אלגוריתמים לומדים ableism, כלומר אפליה נגד אנשים עם מוגבלויות, באותה הדרך בדיוק[24].

ד. הטיה מבנית בישראל

מדינת ישראל ידועה כ"אומת הסטרטאפ", מדינת בית לתחום הפיתוח והשיווק טכנולוגיות דיגיטליות חדשניות. עם כל העיצוב והפיתוח שמתרחש בישראל, חשוב גם לבחון את רמת הגיוון בשוק עצמו – שכן אופי המעצב, כאמור, משפיע על גיוון וייצוג בתוצר. בדו"ח גיוון בסטרטאפים לשנת 2022, אשר נערך על ידי קואליציה של למעלה מ-75 חברות הון סיכון ולמעלה מ-200 חברות סטרטאפ ישראליות, נבחנו 650 חברות פעילות בישראל עם לפחות 50 עובדים[25]. ראשית, נמצא שרק 34% מקרב העובדים היו נשים, ובגזרת תפקידי הפיתוח נשים מאיישות רק 27.8% מהתפקידים הטכנולוגיים. כמו כן, ערבים ישראלים מהווים רק 0.2% מכוח האדם בחברות, וכן 2% בחברות הייטק מבוססות (לא סטרטאפ) – על אף שהם מהווים 21% מהאוכלוסייה. באופן דומה, אוכלוסיית החרדים מהווה 3% מכוח האדם בחברות הייטק מסורתיות ורק 0.4% מחברות סטרטאפ. ממצאי הדו"ח גם התייחסו לקושי לגייס אחוז הולם של עובדים להט"בים, יוצאי אתיופיה ואנשים עם מוגבלויות. כך, בדומה למצב במקומות אחרים, כמו בארצות הברית, התעשייה הישראלית המובילה לא משקפת את מלוא הפוטנציאל לגיוון שיש לחברה הישראלית להציע.

במדינת ישראל המשלבת טכנולוגיה בתחומי חיים רבים, ואף ממציאה כלים חדשניים לשווקיה ושווקים בינלאומיים, חשוב להתייחס להשלכות בפועל של הטיה מבנית. למשל, ביטוי אחד להטיה אלגוריתמית בישראל הוא של המערכת לאיתור חשודים של נמל התעופה בן גוריון (נתב"ג), אשר מבקשת לאתר מבריחי סמים או עבריינים אחרים תוך הסתמכות על בינה מלאכותית. כאשר אדם מסומן בהתאם למערכת, אשר מייצרת רשימת חשודים המכונה "רשימת ההכללה", הוא יעוכב עם הגעתו לנתב"ג על ידי שוטר, ויעבור חיפוש פיזי או באמצעות מכונת שיקוף. זאת, גם אם אין מידע מודיעיני לפיו מדובר באדם שעבר על החוק. לא ידוע לנו מהם הקריטריונים אשר על פיהם פועלת המערכת – למשל מקום מגורים, תחום עיסוק, מוצא אתני, קיומו של רישום פלילי או משטרתי ועוד. כמו כן, לא ברור מהיכן נשאב המידע האישי המנותח על ידי המערכת, ובפרט האם הוא מועבר ממאגרים ממשלתיים בלבד או גם מאגרים פרטיים, והאם מדובר במידע אישי שניתנה הסכמה להעברתו[26]. לאחרונה, עלה חשש כי המערכת גורמת לאפליה נגד קבוצות שונות, ובהתאם בהליך פלילי משנת 2022 בנוגע למעצר אדם בשל הופעתו ברשימת ההכללה, ככל הנראה בשל נטייתו המינית, הביע בית המשפט המחוזי בלוד ביקורת על קיומה של מערכת הפועלת לפי פרמטרים לא ידועים, אשר הפעלתה יכולה להוביל לפגיעה במספר זכויות יסוד – ובמיוחד פרטיות וערך השוויון[27].

ה. סיכום ומבט קדימה

הטיה מבנית בכלים דיגיטליים היא חלק אינהרנטי מהשיח על הכללה דיגיטלית: היא גורמת לאפליה ממשית במציאות, כתוצאה ישירה מהשימוש בכלים דיגיטליים. שורשיה הן בתת-ייצוג ואפליה ממסדית, אולם כיום אנו יכולים להיאבק בהם ולדאוג כי עיצוב ושימוש בטכנולוגיות ייעשה באופן שלא מעצים פערים, אלא מקרב לבבות ומקדם את שיתוף הפעולה הבינתחומית והגלובלית.

עוד לפני שנכנסים לדיון על תיקוני חקיקה או הקמת גופי פיקוח או ייעוץ, הדבר הראשון שמדינת ישראל צריכה על מנת להתמודד עם אתגר הטיה מבנית הוא לגבש עקרונות פעולה שירכיבו אסטרטגיה לאומית. האסטרטגיה מכוונת להנחות את כל רשויות המדינה לקדם מדיניות המגשימה את תכליות ההכללה הדיגיטלית: קידום שוויון הזדמנויות, גיוון ושגשוג. בנייר הראשון ניסחנו מספר עקרונות יסוד לגיבוש אסטרטגיה לאומית בתחום ההכללה הדיגיטלית. כעת נסביר כיצד על אחד מהעקרונות הללו תורם להתמודדות עם בעיית ההטיה המבנית.

1. קואליציית ממשל-תעשייה חברה: פתרונות ישימים דורשים שיתוף פעולה בין-מגזרי – אשר מביא בחשבון את היתרונות השונים שמבאים לשולחן שחקנים דוגמת הסקטור הפרטי, האקדמיה והחברה האזרחית. ביחס להטיה מבנית, אין יכולת לקדם תכנית פעולה ישימה ללא התייעצות משמעותית בין הרגולטור ולבין התעשייה, אשר מתמחה בעיצוב הטכנולוגיות עצמן. פתרונות טכנולוגיים צריכים להיות ברי-יישום, ולשם כך נדרשת הסתכלות רב-תחומית. אסדרה אשר מביאה בחשבון את מגוון נקודות המבט, טכנולוגיות, מערכתיות ובין-אישיות כאחד, והמומחיות שבצדן, היא מדיניות אסדרה חכמה, רב ממדית וכזו אשר מסוגלת להתמודד בצורה טובה יותר עם אתגרי המציאות.
2. הרמוניה היא הדרך: חשוב להכיר בכך שעיקר ההטיה נובעת מגישה לא סימטרית של אוכלוסיות שונות למרחב המקוון ומוקדי עיצוב בו, והיא משפיעה לא רק על מימוש זכויות אלא גם על היכולת להתמצא במרחב הדיגיטלי. כאשר באים לבחון אם כלי דיגיטלי מוביל לאפליה או פגיעה בזכויות, חשוב לשלב התייחסות לכל היבט של הפער הדיגיטלי באופן הרמוני, ולבחון גם מי חווה חסם מפני גישה לאותו הכלי, כפי שפירטנו במאמר השני בסדרה. כמו כן, חשוב לבחון כיצד הטיה מבנית יכולה להוות חסם בפני עצמו לשימוש, והאם הכלי מונגש עבור קהלים שונים בעלי רמות שונות של אוריינות דיגיטלית. למשל, האם מדובר בכלי אשר פועל רק באנגלית? האם השימוש בכלי כרוך בידע מקדים של תוכנות אחרות?
3. גיוון הוא שורש הכוח שלנו: כאמור, טכנולוגיות יכולות לבטא הטיה על בסיס מוצא אתני, מגדר, נטייה מינית ואף זהות פוליטית או השתייכות חברתית. אנשים שונים חווים את הטכנולוגיה, וגם את ההטיה המבנית בתוכה, באופן שונה. חשוב להכיר בדפוסי האפליה המובילים בחברה, ובהתאם, לאפיין את ההטיה המשמעותית ביותר בהתאם לכל קבוצה פגיעה.
4. ניהול נכון הוא חלק מהפתרון: במקום לפעול להקמת גופים חדשים, מוצע לשלב את השיח של הטיה מבנית בטכנולוגיות בזירות ויוזמות קיימות, למשל כחלק מהעיסוק באתיקה באסדרה של פיתוח ושימוש בטכנולוגיה. כאמור, הטיה אלגוריתמית היא ביטוי מרכזי של הטיה מבנית אשר מתבטאת בעיקר בבינה מלאכותית, ולכן טבעי כי היא תהיה חלק מן הדיון שמתנהל כבר כיום ברגולציה בשימוש בכלי בינה מלאכותית.
5. ריבונות דיגיטלית דורשת אחריות ופיקוח: עוד חשוב שהרגולטור יסדיר את נושא הפיקוח של טכנולוגיות דיגיטליות ויקבע מהם הקווים האדומים. מומלץ כי הרגולטור יקבע מדדים לפיקוח על טכנולוגיות דיגיטליות, כולל בחינת ומניעת הטיה מבנית, בעודן בשלבי העיצוב, ככל הניתן. מעבר לכך, חשוב כי יהיה מעקב על השימוש בטכנולוגיות מבוססות אלגוריתם באספקה של שירותי ממשל או לצורך מילוי תפקיד ציבורי, בכדי לבחון מהי התוצאה בפועל ובמיוחד במובן של תוצאות מפלות. בנוסף, ביחס לשירותים רגישים במיוחד, כדאי לשלב בדיקות חוזרות והתערבות אנושית על מנת להקפיד הקפדה יתירה היכן שהדבר נחוץ.
6. ידע הוא כוח: מומלץ להגביר את المודעות ביחס להטיה עצמה, וכן לפעול בשקיפות בנוגע לשימוש בטכנולוגיות אשר יש חשש מהטיה מבנית שלהן או אשר יישומן יוביל בפועל לתוצאה מפלה (למשל, בינה מלאכותית מבוססת אלגוריתם). כחלק מכך, יש לשקף אם טכנולוגיה ממלאת תפקיד ציבורי בכדי להפנים את פוטנציאל הפגיעה של הטיה טכנולוגית אשר תשפיע על השירות. כמו כן, חשוב לעורר מודעות ביחס להטיה בנתונים בקרב משרדי ממשלה, בכדי להימנע מקבלת החלטות מבוססות נתונים שנאספו במרחב המקוון, אשר לא משקפים את מלוא האוכלוסייה בעקבות הפער הדיגיטלי. לבסוף, חשוב להעלות את המודעות, ברמה הלאומית, להטיה מבנית בקרב משתמשים בשירותים דיגיטליים וכן בקרב מעצבים ומתכנתים בפרט, כגון באמצעות הכשרה של שיטות עיצוב רגישות להטיה.
7. מבט קדימה: העולם משתנה, מהר ומהר יותר, ועלינו לנסות להשתלט על כדור השלג המתגלגל. כדאי גם להתמודד עם הטיה עכשווית וגם לצפות קדימה מה יהיו האתגרים הבאים. בהתאם, חשוב לפעול זה מכבר לכונן תכניות שיבטיחו לא לשחזר אפליה ממסדית במהפכת הבינה המלאכותית, לצד תיקון אלו שכבר מטעים.

עו"ד עדן פרבר – עורכת דין וחוקרת בתוכנית "האמנה החברתית לעידן הדיגיטלי" במכון תכלית.
ד"ר טל מימרן – ראש תוכנית "אמנה חברתית לעידן הדיגיטלי" במכון תכלית, חוקר ומרצה בתחומי המשפט הבינלאומי ומרחב הסייבר.

[1] Rachel Goodman, Why Amazon's Automated Hiring Tool Discriminated Against Women, ACLU (12.10.18).

[2] שם.

[3] Jessie Daniels, Race and racism in Internet Studies: A review and critique, 15 N. MED. & SOC. 5 (2013), pg. 696.

[4] התיעוד הראשון של היקשרות באמצעות רשתות היה במכון לטכנולוגיה של מסאצ'וסיטס (MIT), בארצות הברית, בשנת 1962, על ידי יו"ר הראשון לתכנית למדעי המחשב ג'יי.סי.אר. ליקלידר. בהמשך, מדענים נוספים פיתחו את המערך אשר מבסס את האינטרנט כפי שאנו מכירים היום – בהם וינטון סף, בוב קהן, וליונרד קליינרוק – כולם גברים לבנים אמריקאים. ראו: Jonathan Hogeback, Who Invented the Internet, BRITANNICA (2016).

[5] Tara L Conlet, The Women and People of Color who Invented the Internet, Ms. Magazine (4.6.12).

[6] Molly Wood, How the history of Blackness on the internet was erased, Marketplace (10.2.21).

[7] לעיל ה"ש 3.

[8] Marie Louise Juul Sondergaard & Lone Koefoed Hansen, Designing with Bias and Privilege?, 7 NORDES (2017).

[9] David Thomas, Making craft scissors for the other 15%, Ciselier (6.8.22).

[10] Ricardo Baeza-Yates & Leena Murgai, Bias and the Web in INTRODUCTION TO DIGITAL HUMANISM (Hannes Werthner, ed.) (2023), pg. 437.

[11] שם, בעמ' 438.

[12] Jeffrey J. Rachlinski, The Uncertain Psychological Case for Paternalism, 97 NW. U.L. REV. 1165 (2003).

[13] Donald C. Langevoort, Behavioral Theories of Judgment and Decision Making in Legal Scholarship: A Literature Review, 51 VAND. L. REV. 1499, 1503 (1998). לדיון באופן הטיות קוגניטיביות משפיעות על קבלת החלטות בתחום המאבק בטרור, ראו: עמיחי כהן וטל מימרן "עלות ללא תועלת במדיניות הריסת בתים" המכון הישראלי לדמוקרטיה (מחקר מדיניות 11, המכון הישראלי לדמוקרטיה, 2015).

[14] שם, בעמ' 430-441.

[15] Kate Crawford, The Hidden Biases in Big Data, Harvard Business Review (13.4.13).

[16] Jelena Vicic & Richard Harknett, Identification-imitation-amplification: understanding divisive influence campaigns through cyberspace, INT. & NAT. SEC. (2023).

[17] לעיל ה"ש 10, בעמ' 441-444.

[18] שם, בעמ' 444-446.

[19] שם, בעמ' 447-452.

[20] שם, בעמ' 450-451.

[21] שם, בעמ' 452-454.

[22] Uwe Peters, Algorithmic Political Bias in Artificial Intelligence Systems, 35 PHIL. & TECH. 25 (2022).

[23] שם.

[24] Meredith Whittaker et. al., Disability, Bias and AI, AINow Institute (2019).

[25] Power in Diversity Israel, 2022 Report.

[26] ביקורת בנושא שיתוף במידע בין רשויות, לעיתים ללא הליכים מוסדרים או הסמכה חוקית לעשות כן, הוצגה בעבר על ידי הממונה על יישומים ביומטריים מטעם מערך הסייבר. ר' הממונה על היישומים הביומטריים, דו"ח מספר 12 (18.5.22).

[27] תומר גנון "האלגוריתם שיעצור אתכם בנחיתה בנתב"ג" כלכליסט (10.11.22).