فضای شبکه های اجتماعی این را به ما می آموزد که نظارت بر محتوا بدون قضاوت انسانی نمی‌تواند موفق باشد

 گاهی برای مقابله با آتش باید با آتش جنگید؛ اما وقتی صحبت از محتوای بی‌کیفیت تولیدشده با هوش مصنوعی و محتوای نفرت‌پراکن است که امنیت و ارزش شبکه‌های اجتماعی را تهدید می‌کند، اضافه کردن آتش بیشتر، یعنی استفاده بیشتر از هوش مصنوعی، می‌تواند مشکل را بدتر کند.

در بهترین حالت، شبکه‌های اجتماعی می‌توانند پناهگاهی برای افرادی باشند که می‌خواهند تجربه‌ها و دانش خود را با دیگران به اشتراک بگذارند. این پلتفرم‌ها زمانی به این هدف نزدیک‌تر می‌شوند که کاربران محتوای واقعی و ارزشمند تولید کنند؛ چه یک مطلب وبلاگی عمیق و متفکرانه باشد و چه یک ویدیوی آموزشی درباره ساخت رایانه شخصی.

اتکا بیش از حد به ابزارهای هوش مصنوعی برای حفظ این اصالت، چیزی را نادیده می‌گیرد که از ابتدا شبکه‌های اجتماعی را ارزشمند کرده است: انسان‌هایی که پشت این محتواها قرار دارند.

در ماه آوریل، یک کانال Slack مربوط به مدیران انجمن AskHistorians در ردیت معمولاً بسیار فعال بود. این کانال که به‌صورت خودکار لینک پیام‌های ارسالی برای مدیران را دریافت می‌کند، پس از آنکه ده‌ها نظر و پست مربوط به ۱۰ سال گذشته به‌طور خودکار از این انجمن حذف شدند، با تعداد زیادی هشدار مواجه شد.

دکتر سارا گیلبرت، یکی از مدیران این انجمن، گفت: «و هیچ کاری از دست ما یا حتی کارشناسانی که آن مطالب حذف‌شده را منتشر کرده بودند، برنمی‌آمد.»

این اتفاق آسیب زیادی به این انجمن وارد کرد، زیرا کاربران AskHistorians آن را مانند یک آرشیو از پاسخ‌های دقیق تاریخی می‌دانند؛ پاسخ‌هایی که مدت‌ها پس از انتشار همچنان به آموزش افراد کمک می‌کنند.

مدیران این انجمن معتقدند ابزارهای جدید هوش مصنوعی ردیت برای نظارت بر محتوا عامل این حذف‌ها بوده‌اند. پس از بازیابی متن برخی پست‌ها، یکی از مدیران AskHistorians متوجه شد تمام مطالب حذف‌شده به وب‌سایت Rare Historical Photos، یک سایت اشتراک‌گذاری تصاویر تاریخی، لینک داده بودند.

مدیران این انجمن احتمال می‌دهند ردیت این وب‌سایت را به‌عنوان منبع اسپم شناسایی کرده باشد و در نتیجه هر پستی که از محتوای آن برای توضیح یا نمایش تصاویر تاریخی استفاده کرده بود نیز به‌اشتباه حذف شده باشد.

حذف این محتواها باعث از بین رفتن اطلاعات ارزشمندی شد که جمع‌آوری آن‌ها زمان زیادی صرف کرده بود. گیلبرت می‌گوید برخی کاربران ساعت‌ها و گاهی حتی در طول چند روز، برای تحقیق و نوشتن پاسخ به پرسش‌های مطرح‌شده در این انجمن وقت می‌گذارند. با این حال، ممکن است همین حذف‌های اشتباه و موارد مشابه، به افزایش آمارهایی کمک کرده باشند که برای نشان دادن میزان موفقیت سیستم‌های نظارت مبتنی بر هوش مصنوعی در ردیت استفاده می‌شوند.

ردیت اعلام کرده است که به لطف هوش مصنوعی، «اقدامات نظارتی علیه محتوای نفرت‌پراکن و خشونت‌آمیز را بیش از ۲۰۰ درصد افزایش داده» و هوش مصنوعی باعث «نظارت سریع‌تر و گسترده‌تر» شده است. این شرکت همچنین در ماه جاری گفت ابزارهای هوش مصنوعی آن به کاهش بیش از ۴۰ درصدی مواجهه کاربران با محتوای بالقوه مضر کمک کرده‌اند.

ردیت همچنین اعلام کرده است که از مدل‌های زبانی بزرگ (LLM) برای شناسایی «الگوهای بسیار ظریف و هماهنگ رفتارهای جعلی و هیجان‌سازی مصنوعی» استفاده می‌کند.

اما همان‌طور که ماجرای AskHistorians نشان می‌دهد، نظارت بیشتر الزاماً به معنای نظارت بهتر نیست.

رشد هوش مصنوعی مولد، چالش‌های جدیدی برای نظارت بر شبکه‌های اجتماعی ایجاد کرده است. گیلبرت اشاره می‌کند که مدل‌های زبانی بزرگ، شناسایی اسپم را دشوارتر کرده‌اند؛ زیرا تلاش می‌کنند لحن و سبک واقعی انسان‌ها را تقلید کنند.

او گفت: «در دو تا سه ماه گذشته، ما به‌طور کامل با موجی از ربات‌های اسپم مجهز به مدل‌های زبانی بزرگ مواجه شده‌ایم.»

آژانس‌های بازاریابی نیز در حال تولید محتوای شبکه‌های اجتماعی هستند که با هدف قرار گرفتن نام برندها در پاسخ‌های چت‌بات‌های هوش مصنوعی طراحی شده است. بازاریاب‌ها مدت‌هاست از پست‌های غیرواقعی در شبکه‌های اجتماعی برای افزایش دیده‌شدن استفاده می‌کنند، اما ظهور چت‌بات‌ها یک مسیر جدید برای این کار ایجاد کرده است.

برای مثال، استارتاپ ReachLLM به‌طور ویژه روی بازاریابی از طریق چت‌بات‌ها تمرکز دارد. در همین راستا، نمایندگان این شرکت انجمن‌هایی را در ردیت ایجاد و مدیریت کرده‌اند.

این چالش‌ها باعث شده برخی شرکت‌های شبکه اجتماعی به دنبال روش‌های جدید نظارت مبتنی بر هوش مصنوعی باشند. ردیت برای نمونه می‌گوید ابزارهای هوش مصنوعی این شرکت روزانه تقریباً ۲ میلیون رأی جعلی را حذف کرده‌اند و از مدل‌های زبانی بزرگ برای شناسایی الگوهای پیچیده رفتار جعلی و تبلیغات مصنوعی استفاده می‌کند؛ الگوهایی که سیستم‌های قدیمی‌تر قادر به تشخیص آن‌ها نبودند.

با این حال، بسیاری از پلتفرم‌های شبکه اجتماعی بیش از حد به ابزارهای نظارت هوش مصنوعی وابسته شده‌اند؛ ابزارهایی که گاهی با سرعت بالا، کاربران را به دلیل انتشار محتوای کاملاً بی‌ضرر جریمه یا محدود می‌کنند.

سیستم‌های معمول نظارت مبتنی بر هوش مصنوعی در شبکه‌های اجتماعی، از الگوریتم‌های یادگیری ماشین برای تحلیل پست‌ها و شناسایی و علامت‌گذاری محتواهایی استفاده می‌کنند که قوانین پلتفرم را نقض می‌کنند. اما درک ظرافت‌هایی مانند طعنه، طنز، کنایه و اصطلاحات عامیانه برای ماشین‌ها بسیار دشوار است.

علاوه بر این، برخی پژوهش‌ها نشان داده‌اند که گروه‌های به‌حاشیه‌رانده‌شده ممکن است به شکل نامتناسبی تحت تأثیر سیستم‌های نظارت هوش مصنوعی قرار بگیرند. بدون نظارت انسانی، هوش مصنوعی ممکن است در نهایت همان جوامعی را جریمه کند که بیشتر در معرض محتوای نفرت‌پراکن قرار دارند و این سیستم‌ها قرار است از آن‌ها محافظت کنند.

گیلبرت که مدیر پژوهش آزمایشگاه شهروندان و فناوری دانشگاه کرنل نیز هست، می‌گوید: «گروه‌های آسیب‌پذیر و به‌حاشیه‌رانده‌شده از جمله کسانی هستند که بیشترین میزان نظارت و حذف محتوا را تجربه می‌کنند و معمولاً دلیل آن مثبت کاذب است.»

او توضیح داد که این خطاها اغلب به دلیل مواردی مانند مقابله با سخنان نفرت‌پراکن، بازپس‌گیری و استفاده دوباره از واژه‌های توهین‌آمیز توسط خود گروه‌ها، و پاسخ دادن به محتوای نفرت‌انگیز رخ می‌دهد.

گیلبرت افزود: «مثبت‌های کاذب یک مسئله مربوط به عدالت اجتماعی هستند. آن‌ها باعث می‌شوند گروه‌هایی که پیش‌تر نیز در حاشیه قرار داشته‌اند، بیش از پیش ساکت و سانسور شوند.»

ناظران هوش مصنوعی همچنین می‌توانند توانایی جوامع آنلاین برای مدیریت خودشان را کاهش دهند. برای مثال در ردیت، برخی مدیران انجمن‌ها ترجیح می‌دهند کاربرانی را که از ادبیات نفرت‌پراکن یا خشونت‌آمیز استفاده می‌کنند، پس از بررسی شرایط مسدود کنند. اما اگر هوش مصنوعی ردیت پیش از مشاهده محتوا توسط مدیر انسانی آن را حذف کند، مدیران دیگر نمی‌توانند بررسی کنند که آیا مسدود کردن آن کاربر واقعاً ضروری بوده است یا خیر.

برای افزایش کنترل مدیران انسانی، ردیت این هفته اعلام کرد آزمایش قابلیت Rules Hub را گسترش می‌دهد. این مجموعه ابزار به مدیران اجازه می‌دهد تعیین کنند کدام قوانین به‌صورت خودکار اجرا شوند، مشخص کنند هنگام نقض یک قانون چه اتفاقی بیفتد (ارسال به صف بررسی، فیلتر کردن یا حذف محتوا)، پیش از فعال‌سازی قوانین نتیجه را مشاهده کنند و گزارش‌ها و اطلاعات مربوط به عملکرد سیستم را بررسی کنند.

ردیت انتظار دارد Rules Hub در نهایت جایگزین ابزار AutoMod شود؛ ابزاری که بیشتر بر شناسایی کلمات کلیدی دقیق تکیه دارد.

هوش مصنوعی یک ابزار است، نه راه‌حل نهایی

مدیرانی که با آن‌ها گفت‌وگو شده، بارها رونق هوش مصنوعی مولد را عامل افزایش محتوایی دانسته‌اند که قوانین اختصاصی جوامع یا قوانین کلی پلتفرم‌ها را نقض می‌کند. این موضوع برای شبکه‌های اجتماعی که به مشارکت کاربران وابسته هستند، یک مشکل جدی محسوب می‌شود.

شرکت‌ها همچنان روش‌های جدیدی برای نظارت دقیق‌تر و مؤثرتر آزمایش خواهند کرد، اما کاهش نقش انسان یک گام به عقب است. محتوای کم‌ارزش تولیدشده با هوش مصنوعی چالش‌های جدیدی برای تیم‌های نظارت ایجاد کرده، اما همین موضوع نیاز به روش‌های قوی‌تر را بیشتر می‌کند؛ روش‌هایی که بتوانند تشخیص در مقیاس بزرگ توسط ماشین‌ها را با قضاوت و تخصص انسان‌ها ترکیب کنند.

همان‌طور که شبکه‌های اجتماعی بدون حضور انسان‌ها ارزشی ندارند، نظارت بر محتوا نیز بدون قضاوت انسانی نمی‌تواند موفق باشد.