۱. مقدمه و اهمیت پژوهش

گراف‌های دانش (Knowledge Graphs – KGs) پایگاه‌های اطلاعاتی ساختاریافته‌ای هستند که دانش جهان را به صورت موجودیت‌ها (Entities) و روابط (Relations) میان آن‌ها نمایش می‌دهند. این ساختارها نقش حیاتی در درک ماشینی اطلاعات، سیستم‌های پرسش و پاسخ، و توصیه‌گرها ایفا می‌کنند. با ظهور یادگیری ماشین، امبدینگ گراف دانش (Knowledge Graph Embeddings – KGEs) به عنوان روشی قدرتمند برای نمایش برداری موجودیت‌ها و روابط در این گراف‌ها ظهور کرده است. KGEs امکان انجام وظایفی مانند پیش‌بینی پیوند (Link Prediction) را فراهم می‌آورند، که در آن مدل تلاش می‌کند روابط ناشناخته بین موجودیت‌ها را حدس بزند.

با وجود کاربرد گسترده KGEs، آسیب‌پذیری‌های امنیتی آن‌ها کمتر مورد توجه قرار گرفته است. در دنیای هوش مصنوعی، حملات خصمانه (Adversarial Attacks) به مدل‌ها می‌توانند منجر به اختلال جدی در عملکرد آن‌ها شوند. این حملات با دستکاری داده‌های ورودی یا آموزشی، مدل را فریب می‌دهند تا پیش‌بینی‌های نادرست انجام دهد. در زمینه KGEs، این حملات می‌توانند پایگاه دانش را بی‌اعتبار کرده و نتایج سیستم‌هایی که به آن متکی هستند را مخدوش سازند.

پژوهش حاضر به بررسی و مقابله با یکی از انواع این حملات، یعنی حملات مسمومیت داده (Data Poisoning Attacks) بر روی مدل‌های KGE برای وظیفه پیش‌بینی پیوند می‌پردازد. این حملات در مرحله آموزش مدل صورت می‌گیرند و هدف آن‌ها ایجاد شکست در عملکرد مدل در زمان استنتاج (Test Time) است. اهمیت این پژوهش در کشف نقاط ضعف امنیتی KGEs و ارائه راهکارهای نوآورانه برای شناسایی و خنثی‌سازی حملات است که برای اطمینان از قابلیت اطمینان و امنیت سیستم‌های مبتنی بر گراف دانش ضروری است.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط Peru Bhardwaj، John Kelleher، Luca Costabello و Declan O’Sullivan نگاشته شده است. این تیم پژوهشی در حوزه یادگیری ماشین، هوش مصنوعی، محاسبات و زبان، و همچنین محاسبات عصبی و تکاملی فعالیت دارند. تخصص مشترک آن‌ها در طراحی و تحلیل مدل‌های یادگیری عمیق، به ویژه در حوزه نمایش معنایی داده‌ها و درک ساختارهای پیچیده اطلاعاتی مانند گراف‌های دانش، این تحقیق را در بستری علمی قوی قرار می‌دهد.

زمینه اصلی تحقیق در این مقاله، تقاطع سه حوزه مهم است:

• گراف‌های دانش (Knowledge Graphs): مطالعه ساختار، نمایش و استفاده از گراف‌های دانش.
• امبدینگ گراف دانش (Knowledge Graph Embeddings): توسعه و بهبود روش‌های یادگیری نمایش‌های برداری برای موجودیت‌ها و روابط در گراف‌های دانش.
• امنیت هوش مصنوعی (AI Security) و حملات خصمانه: بررسی آسیب‌پذیری‌های مدل‌های هوش مصنوعی در برابر دستکاری داده‌ها و توسعه روش‌های دفاعی.

این پژوهش تلاش می‌کند تا با تلفیق دانش از این حوزه‌ها، به درک عمیق‌تری از حملات امنیتی که مدل‌های KGE را تهدید می‌کنند، دست یابد و راهکارهای عملی برای مقابله با آن‌ها ارائه دهد.

۳. چکیده و خلاصه محتوا

مقاله با عنوان “حملات خصمانه بر امبدینگ گراف دانش از طریق روش‌های نسبت‌دهی نمونه” به بررسی آسیب‌پذیری‌های امنیتی مدل‌های KGE در برابر حملات مسمومیت داده می‌پردازد. نویسندگان ابتدا به این نکته اشاره می‌کنند که با وجود گستردگی استفاده از KGEs، درک اندکی از نقاط ضعف امنیتی که می‌توانند عملکرد آن‌ها را مختل کنند، وجود دارد.

در ادامه، این پژوهش بر حملات مسمومیت داده متمرکز می‌شود که در مرحله آموزش مدل، با افزودن یا حذف داده‌های مخرب، سعی در تخریب عملکرد مدل در مرحله آزمون دارند. نکته کلیدی و نوآورانه این مقاله، استفاده از روش‌های نسبت‌دهی نمونه (Instance Attribution Methods) از حوزه یادگیری ماشین تفسیری (Interpretable Machine Learning) برای شناسایی نمونه‌های آموزشی (سه‌تایی‌های اطلاعاتی) است که بیشترین تأثیر را بر پیش‌بینی‌های مدل بر روی داده‌های آزمون دارند.

نویسندگان از این سه‌تایی‌های تأثیرگذار به عنوان حذف‌های خصمانه (Adversarial Deletions) استفاده می‌کنند. علاوه بر این، یک روش ابتکاری (Heuristic Method) برای اضافات خصمانه (Adversarial Additions) پیشنهاد می‌شود که در آن، یکی از دو موجودیت در هر سه‌تایی تأثیرگذار، با هدف ایجاد اختلال، جایگزین می‌شود.

نتایج آزمایش‌ها نشان می‌دهد که استراتژی‌های پیشنهادی این مقاله، عملکرد بهتری نسبت به حملات مسمومیت داده پیشرفته (State-of-the-art) بر روی مدل‌های KGE دارند و میزان تخریب میانگین معکوس (Mean Reciprocal Rank – MRR) ناشی از حملات را تا ۶۲٪ نسبت به روش‌های پایه (Baselines) بهبود می‌بخشند.

۴. روش‌شناسی تحقیق

روش‌شناسی این پژوهش بر دو ستون اصلی استوار است: درک تأثیر نمونه‌های آموزشی بر پیش‌بینی‌های مدل و بهره‌گیری از این دانش برای اجرای حملات مسمومیت داده مؤثر.

الف) شناسایی نمونه‌های تأثیرگذار با روش‌های نسبت‌دهی نمونه:

مرحله کلیدی این تحقیق، استفاده از روش‌های نسبت‌دهی نمونه است. این روش‌ها که در حوزه یادگیری ماشین تفسیری توسعه یافته‌اند، به دانشمندان اجازه می‌دهند تا بفهمند کدام بخش از داده‌های ورودی یا آموزشی، بیشترین نقش را در یک پیش‌بینی خاص توسط مدل داشته‌اند. در این مقاله، هدف شناسایی سه‌تایی‌های (Triplets) آموزشی است که بیشترین تأثیر را بر پیش‌بینی یک پیوند خاص در زمان آزمون دارند.

• مفهوم سه‌تایی: در گراف دانش، هر گزاره به صورت یک سه‌تایی (موجودیت سر، رابطه، موجودیت دم) نمایش داده می‌شود، مثلاً (اینشتین، شغل، فیزیکدان).
• پیش‌بینی پیوند: مدل KGE برای یک جفت موجودیت (مانند (اینشتین، فیزیکدان))، احتمال وجود یک رابطه خاص (مانند “شغل”) را پیش‌بینی می‌کند.
• نسبت‌دهی نمونه: روش‌های نسبت‌دهی نمونه، مانند Shapley Values یا Gradient-based methods، برای هر سه‌تایی آموزشی، امتیازی محاسبه می‌کنند که نشان‌دهنده میزان تأثیر آن سه‌تایی بر پیش‌بینی مدل برای یک سه‌تایی آزمون است.

با استفاده از این روش‌ها، سه‌تایی‌های آموزشی که بیشترین تأثیر منفی را بر پیش‌بینی‌های صحیح در زمان آزمون دارند، شناسایی می‌شوند. این سه‌تایی‌ها نقاط ضعف مدل را آشکار می‌کنند.

ب) اجرای حملات مسمومیت داده:

پس از شناسایی سه‌تایی‌های تأثیرگذار، دو نوع حمله مسمومیت داده طراحی شده است:

• حذف‌های خصمانه (Adversarial Deletions): سه‌تایی‌های آموزشی که با امتیاز بالای تأثیرگذاری منفی شناسایی شده‌اند، از مجموعه داده آموزشی حذف می‌شوند. این حذف‌ها به گونه‌ای انتخاب می‌شوند که بیشترین آسیب را به عملکرد مدل در پیش‌بینی پیوندهای صحیح وارد کنند.
• اضافات خصمانه (Adversarial Additions): برای این نوع حمله، از یک رویکرد ابتکاری استفاده می‌شود. با انتخاب یکی از سه‌تایی‌های تأثیرگذار، یکی از دو موجودیت (سر یا دم) آن سه‌تایی با یک موجودیت جدید یا موجودیت نادرست جایگزین می‌شود تا یک سه‌تایی جدید به مجموعه داده آموزشی اضافه شود. این سه‌تایی‌های اضافه شده باعث می‌شوند مدل الگوهای نادرست را بیاموزد.

ج) ارزیابی:

عملکرد حملات با استفاده از معیارهای استاندارد پیش‌بینی پیوند، به ویژه MRR، ارزیابی می‌شود. MRR میانگین معکوس رتبه پیش‌بینی‌های صحیح مدل است؛ هرچه MRR بالاتر باشد، عملکرد مدل بهتر است. مقایسه MRR قبل و بعد از حمله، و همچنین مقایسه با سایر روش‌های حمله، نشان‌دهنده اثربخشی روش پیشنهادی است.

۵. یافته‌های کلیدی

نتایج این تحقیق، درک جدیدی از امنیت مدل‌های KGE ارائه می‌دهد و برتری روش‌های پیشنهادی را به اثبات می‌رساند:

• اثربخشی روش‌های نسبت‌دهی نمونه: این تحقیق نشان می‌دهد که روش‌های نسبت‌دهی نمونه، ابزاری قدرتمند برای شناسایی نقاط ضعف در مدل‌های KGE و همچنین طراحی حملات مسمومیت داده مؤثر هستند. برخلاف روش‌های سنتی که ممکن است نقاط تصادفی را هدف قرار دهند، این روش‌ها سه‌تایی‌های حیاتی را که بیشترین تأثیر را بر مدل دارند، شناسایی می‌کنند.
• برتری حملات پیشنهادی: حملات مسمومیت داده مبتنی بر حذف و اضافه سه‌تایی‌های تأثیرگذار، نتایج بهتری نسبت به حملات پیشرفته موجود دارند. این حملات قادرند به طور قابل توجهی عملکرد مدل را در وظایفی مانند پیش‌بینی پیوند مختل کنند.
• کاهش قابل توجه تخریب MRR: مهمترین یافته این پژوهش، توانایی روش‌های دفاعی (که بر اساس همین تحلیل حملات طراحی شده‌اند) در بهبود MRR ناشی از حملات است. این بهبود تا ۶۲٪ نسبت به روش‌های پایه اندازه‌گیری شده است. این بدان معناست که مدل‌ها می‌توانند با استفاده از این روش‌ها، مقاومت بیشتری در برابر حملات داشته باشند و عملکرد صحیح خود را حفظ کنند.
• مدل-آگنوستیک بودن: استفاده از روش‌های نسبت‌دهی نمونه که غالباً مدل-آگنوستیک (Model-Agnostic) هستند، به این معنی است که رویکرد پیشنهادی می‌تواند برای انواع مختلفی از مدل‌های KGE و معماری‌های یادگیری ماشین به کار گرفته شود، که این امر ارزش کاربردی آن را افزایش می‌دهد.

به طور خلاصه، این یافته‌ها نشان می‌دهند که مهاجمان می‌توانند با درک نحوه تأثیر داده‌ها بر مدل، حملات هدفمندی را طراحی کنند و از سوی دیگر، با استفاده از همین دانش، می‌توانیم مدل‌هایی مقاوم‌تر بسازیم.

۶. کاربردها و دستاوردها

دستاورد اصلی این پژوهش، افزایش امنیت و قابلیت اطمینان مدل‌های KGE است. این امر پیامدهای مهمی برای کاربردهای عملی گراف‌های دانش دارد:

• افزایش اعتماد به سیستم‌های مبتنی بر گراف دانش: سیستم‌های پرسش و پاسخ، موتورهای جستجو، و سیستم‌های توصیه‌گر که از KGEs استفاده می‌کنند، می‌توانند در برابر دستکاری داده‌ها مقاوم‌تر شوند. این امر منجر به ارائه نتایج دقیق‌تر و قابل اعتمادتر به کاربران می‌شود.
• توسعه روش‌های دفاعی جدید: این تحقیق سنگ بنای توسعه الگوریتم‌های دفاعی جدیدی است که می‌توانند به طور فعال حملات مسمومیت داده را شناسایی و خنثی کنند. با درک چگونگی تأثیرگذاری نمونه‌های آموزشی، می‌توان مدل‌هایی را آموزش داد که نسبت به داده‌های مخرب مقاوم‌تر هستند (Adversarial Robustness).
• درک عمیق‌تر از آسیب‌پذیری‌های KGE: پژوهش حاضر، شکاف دانش موجود در مورد امنیت KGEs را پر می‌کند و جامعه تحقیقاتی را به سمت توجه بیشتر به جنبه‌های امنیتی تشویق می‌نماید.
• کاربرد در حوزه یادگیری ماشین تفسیری: این مقاله نشان می‌دهد که چگونه مفاهیم از یادگیری ماشین تفسیری (XAI) می‌توانند در حل مسائل امنیتی در یادگیری ماشین به کار گرفته شوند، و این دو حوزه را به هم پیوند می‌زند.
• بهبود کارایی مدل‌ها در مواجهه با حملات: با کاهش تخریب MRR تا ۶۲%، این روش‌ها به طور عملی به حفظ عملکرد مطلوب مدل‌ها کمک می‌کنند، حتی زمانی که داده‌های آموزشی آلوده شده باشند.

به عنوان مثال، تصور کنید یک سیستم توصیه‌گر در یک پلتفرم تجارت الکترونیک از گراف دانش برای پیشنهاد محصولات استفاده می‌کند. اگر این گراف دانش توسط یک حمله مسمومیت داده دستکاری شود، سیستم ممکن است محصولات نامرتبط یا حتی مضر را به کاربران پیشنهاد دهد. با استفاده از روش‌های کشف شده در این مقاله، می‌توان چنین حملاتی را شناسایی و پیش از اینکه اثر مخربی بگذارند، خنثی کرد.

۷. نتیجه‌گیری

مقاله “حملات خصمانه بر امبدینگ گراف دانش از طریق روش‌های نسبت‌دهی نمونه” گامی مهم در جهت درک و تضمین امنیت مدل‌های KGE برداشته است. نویسندگان با رویکردی نوآورانه، نشان داده‌اند که چگونه می‌توان با استفاده از تکنیک‌های یادگیری ماشین تفسیری، سه‌تایی‌های آموزشی را که بیشترین تأثیر را بر عملکرد مدل دارند، شناسایی کرد.

این کشف، ابزار قدرتمندی را در اختیار مهاجمان قرار می‌دهد تا حملات مسمومیت داده مؤثری را طراحی کنند، اما در عین حال، اساس توسعه روش‌های دفاعی پیشرفته را نیز فراهم می‌آورد. نتایج تجربی نشان‌دهنده برتری این حملات نسبت به روش‌های موجود و همچنین توانایی چشمگیر روش‌های مبتنی بر تحلیل تأثیر نمونه در بهبود مقاومت مدل‌ها است.

اهمیت این پژوهش در تأکید بر این نکته است که امنیت باید به عنوان یک دغدغه اصلی در طراحی و استقرار سیستم‌های هوش مصنوعی، به ویژه آن‌هایی که بر پایه‌های دانش ساختاریافته تکیه دارند، در نظر گرفته شود. با ادامه این روند تحقیقاتی، می‌توانیم شاهد توسعه سیستم‌های هوش مصنوعی قوی‌تر، قابل اعتمادتر و امن‌تر باشیم که کمتر در معرض سوءاستفاده قرار گیرند.