به نقل از خبرگزاری خبرآنلاین، البته هر تفاوتی میان خروجی های یک مدل الزاماً به معنای تبعیض نیست. گاهی تفاوت نتایج از تفاوت های واقعی در داده ها ناشی می شود؛ گاهی هم معیاری آماری ممکن است برای یک کاربرد مناسب باشد، اما برای کاربردی دیگر نه. ازاین رو، تشخیص سوگیری به بررسی دقیق داده ها، هدف سیستم، روش ارزیابی و پیامدهای واقعی تصمیم ها نیاز دارد.

یکی از برداشت های نادرست این است که چون یک مدل از فرمول های ریاضی استفاده می کند، نتیجه اش حتماً عینی و بی طرف است. ریاضیات می تواند تصمیم گیری را منظم تر کند، اما تضمین نمی کند مسئله ای که برای مدل تعریف شده یا داده ای که در اختیارش قرار گرفته، خود بی طرف باشد.

سوگیری ممکن است در هر مرحله از چرخه عمر یک سیستم شکل بگیرد؛ از انتخاب مسئله و گردآوری داده تا آموزش مدل، ارزیابی آن و حتی نحوه استفاده انسان ها از خروجی.

مدل های یادگیری ماشین از الگوهای موجود در داده ها می آموزند. اگر داده ها نماینده مناسبی از جامعه یا محیط واقعی نباشند، عملکرد مدل نیز ممکن است میان گروه های مختلف نابرابر باشد.

برای مثال، اگر سامانه تشخیص تصویر با مجموعه ای آموزش ببیند که بعضی گروه های جمعیتی در آن کمتر حضور دارند، ممکن است برای شناسایی اعضای آن گروه ها عملکرد ضعیف تری داشته باشد.

مشکل فقط کمبود داده نیست. کیفیت پایین داده ها، برچسب گذاری نادرست، قدیمی بودن اطلاعات و حتی شیوه تعریف متغیرها نیز می تواند بر نتیجه اثر بگذارد.

گاهی مسئله از اینجا آغاز می شود که چه کسانی اصلاً وارد مجموعه داده شده اند. اگر یک نظرسنجی آنلاین فقط پاسخ افرادی را ثبت کند که به اینترنت دسترسی مناسب دارند، نمی توان بدون بررسی بیشتر نتایج آن را نماینده کل جامعه دانست. در سامانه های هوش مصنوعی نیز داده ای که برخی گروه ها را کمتر یا بیشتر از واقعیت بازنمایی کند، می تواند تصویری ناقص از جامعه بسازد.

حتی اگر داده ها مناسب باشند، انتخاب هدفی که مدل باید بهینه کند می تواند نتیجه را تغییر دهد.

فرض کنید شرکتی بخواهد سامانه ای برای گزینش نیروی کار بسازد و از مدل بخواهد افرادی را پیدا کند که شبیه کارکنان موفق گذشته هستند. اگر ساختار نیروی انسانی در گذشته متوازن نبوده باشد، چنین معیاری ممکن است مدل را به بازتولید همان الگوها سوق دهد.

در این حالت، مشکل لزوماً در یک خط کد مشخص نیست؛ ممکن است مسئله از تعریف موفقیت و تبدیل آن به معیاری محاسباتی آغاز شده باشد.

یکی از نمونه های شناخته شده سوگیری در استخدام، به سامانه آزمایشی آمازون مربوط است. بر اساس گزارش رویترز در سال 2018، این شرکت ابزاری برای بررسی رزومه ها ساخته بود که با استفاده از داده های مربوط به متقاضیان سال های گذشته، نامزدها را رتبه بندی می کرد. در جریان آزمایش مشخص شد سامانه با رزومه هایی که نشانه هایی از زن بودن متقاضی داشتند، برخورد نامطلوبی می کند؛ مسئله ای که به الگوهای موجود در داده های تاریخی نسبت داده شد. آمازون در نهایت این پروژه را کنار گذاشت.

این نمونه نکته ای مهم را نشان می دهد: مدلی که از گذشته برای پیش بینی آینده استفاده می کند، ممکن است فقط الگوهای موفقیت را نیاموزد؛ بلکه بخشی از نابرابری های گذشته را هم بازتولید کند.

حوزه مالی یکی دیگر از عرصه هایی است که تصمیم های الگوریتمی در آن پیامدهای جدی دارند. سامانه های اعتبارسنجی ممکن است از اطلاعات گوناگون برای برآورد احتمال بازپرداخت وام استفاده کنند. اما اگر متغیرهای انتخاب شده یا داده های تاریخی با شرایط اجتماعی و اقتصادی خاصی درآمیخته باشند، امکان دارد تفاوت هایی ناموجه میان گروه های مختلف ایجاد شود.

به همین دلیل، بررسی دقت کلی مدل کافی نیست. باید پرسید این دقت برای چه گروه هایی به دست آمده و نرخ خطا برای هر گروه چگونه است.

از بحث برانگیزترین نمونه های سوگیری الگوریتمی، ابزارهای ارزیابی احتمال تکرار جرم هستند. در سال 2016، پژوهشی از سوی ProPublica درباره ابزار COMPAS در فلوریدا، با بررسی بیش از 10 هزار پرونده، تفاوت هایی را در نوع خطاهای سامانه میان متهمان سیاه پوست و سفیدپوست گزارش کرد. برای نمونه، در داده های بررسی شده، متهمان سیاه پوستی که بعداً مرتکب جرم مجدد نشدند، تقریباً دو برابر بیشتر از متهمان سفیدپوست مشابه در گروه پرخطر طبقه بندی شده بودند. در مقابل، متهمان سفیدپوستی که بعداً مرتکب جرم مجدد شدند، بیشتر از متهمان سیاه پوست در گروه کم خطر قرار گرفته بودند.

این پرونده نشان داد که بحث عدالت الگوریتمی ساده نیست. یک سیستم ممکن است بر اساس یک معیار آماری، عملکردی مشابه برای دو گروه داشته باشد، اما از نظر معیاری دیگر تفاوت معناداری نشان دهد. بنابراین، توصیف یک الگوریتم به عنوان دقیق به تنهایی برای ارزیابی عدالت آن کافی نیست.

با گسترش مدل های زبانی بزرگ و هوش مصنوعی مولد، مسئله سوگیری شکل تازه ای پیدا کرده است. مدل های زبانی از حجم عظیمی از متن ها و داده های انسانی می آموزند و ممکن است کلیشه های موجود در این داده ها را بازتاب دهند.

گزارش شاخص هوش مصنوعی استنفورد در سال 2025 نیز به پژوهش هایی اشاره می کند که نشان می دهند حتی مدل هایی که برای کاهش سوگیری طراحی شده اند، ممکن است در برخی آزمون ها همچنان الگوهای سوگیرانه ضمنی نشان دهند؛ از جمله ارتباط های کلیشه ای میان جنسیت، شغل و بعضی گروه های اجتماعی.

این به معنای آن نیست که هر پاسخ یک مدل زبانی الزاماً سوگیرانه است؛ بلکه نشان می دهد ارزیابی و آزمون مداوم چنین سیستم هایی ضرورت دارد.

راه حل جادویی و واحدی برای حذف کامل سوگیری وجود ندارد، اما می توان با اقداماتی خطر آن را کاهش داد.

یکی از نخستین گام ها، بررسی کیفیت، نمایندگی و ساختار داده هاست. توسعه دهندگان باید بدانند داده از کجا آمده، چه گروه هایی را دربرمی گیرد، چه گروه هایی کمتر دیده می شوند و هنگام برچسب گذاری چه خطاهایی ممکن است رخ داده باشد.

میانگین دقت مدل ممکن است تصویری ناقص ارائه دهد. در صورت ارتباط با کاربرد، باید شاخص هایی مانند نرخ مثبت کاذب و منفی کاذب و دیگر معیارهای عملکرد برای گروه های مختلف نیز بررسی شوند.

در تصمیم های حساس، اتکا به خروجی الگوریتم به عنوان حقیقت نهایی می تواند خطرناک باشد. در بسیاری از کاربردهای پرریسک، خروجی هوش مصنوعی باید یکی از ورودی های تصمیم گیری انسانی باشد، نه جایگزین کامل قضاوت انسان.

البته نظارت انسانی به تنهایی کافی نیست. اگر تصمیم گیرنده بدون بررسی، هر خروجی الگوریتم را تأیید کند، حضور انسان عملاً مسئله را حل نمی کند.

سوگیری فقط هنگام ساخت مدل اهمیت ندارد. داده های محیط واقعی تغییر می کنند، کاربران رفتارهای تازه ای نشان می دهند و شرایطی پیش می آید که هنگام آموزش مدل وجود نداشته است. چارچوب مدیریت ریسک هوش مصنوعی NIST نیز بر ارزیابی، پایش و مستندسازی مستمر تأکید دارد و توصیه می کند عملکرد و ریسک های سیستم پس از استقرار هم دنبال شوند.

یکی از نکته های مهم درباره سوگیری هوش مصنوعی این است که برای ایجاد نتیجه ای تبعیض آمیز، لزوماً به برنامه نویسی متعصب یا الگوریتمی با قصد تبعیض نیاز نیست.

NIST سه دسته مهم از سوگیری را مطرح می کند: سوگیری سیستمی، سوگیری محاسباتی و آماری و سوگیری شناختی انسانی. این سوگیری ها ممکن است حتی بدون قصد تبعیض آمیز شکل بگیرند.

به بیان ساده، ممکن است هیچ کس تصمیم نگرفته باشد گروهی خاص نادیده گرفته شود؛ بااین حال، ترکیب داده های ناقص، هدف نامناسب، طراحی نادرست، محدودیت های فنی و شیوه استفاده از خروجی مدل می تواند در نهایت چنین نتیجه ای ایجاد کند.

شاید انتظار بی طرفی مطلق از هوش مصنوعی از ابتدا انتظار دقیقی نباشد. این فناوری در خلأ اجتماعی ساخته نمی شود و نمی تواند با یک خط کد همه پیش داوری های موجود در جهان را از میان ببرد. هدف واقع بینانه تر، ساخت سیستم هایی است که سوگیری های احتمالی شان شناسایی، اندازه گیری و مستند شود و تا حد امکان زیر کنترل قرار گیرد.

NIST هوش مصنوعی قابل اعتماد را مجموعه ای از ویژگی ها می داند که در کنار انصاف و مدیریت سوگیری، اعتبار، قابلیت اطمینان، امنیت، شفافیت، توضیح پذیری، حفظ حریم خصوصی و پاسخ گویی را نیز دربرمی گیرد.

در نهایت، پرسش اصلی فقط این نیست که آیا هوش مصنوعی سوگیری دارد؟ ؛ پرسش های مهم تر این اند: سوگیری از کجا آمده، چه کسانی را تحت تأثیر قرار می دهد، چگونه می توان آن را اندازه گرفت و چه سازوکاری برای اصلاحش وجود دارد؟

هوش مصنوعی می تواند تصمیم گیری را سریع تر، ارزان تر و در بسیاری موارد دقیق تر کند؛ اما سرعت و مقیاس بالا ممکن است خطا را نیز سریع تر و گسترده تر کند. هرچه الگوریتم ها نقش بیشتری در تصمیم های روزمره ما پیدا کنند، شناخت سازوکار سوگیری آن ها نیز اهمیت بیشتری خواهد یافت.

مسئولیت پذیری در هوش مصنوعی از پرسشی ساده آغاز می شود: اگر انسانی چنین تصمیمی می گرفت، از او می خواستیم توضیح دهد چرا آن را گرفته است؛ پس چرا از یک الگوریتم انتظار کمتری داشته باشیم؟

1. NIST AI Risk Management Framework (AI RMF) و مطالب رسمی مؤسسه ملی استاندارد و فناوری آمریکا درباره سوگیری، انصاف و ویژگی های هوش مصنوعی قابل اعتماد

2. گزارش رویترز درباره ابزار آزمایشی استخدام مبتنی بر هوش مصنوعی آمازون و مسئله سوگیری جنسیتی، 2018

3. گزارش ProPublica درباره ابزار COMPAS و تفاوت الگوهای خطا در ارزیابی احتمال تکرار جرم، 2016

4. Stanford AI Index Report 2025، بخش هوش مصنوعی مسئولانه