A GPU neighbor can learn your model's identity and architecture (up to 97%), its decoding speed (up to 99.3%), and its workload type — but not the actual prompts or answers, only timing metadata.
Searchable transcript of Your GPU Neighbor Can Hear Your Model — Branislav Brzak, Stealthium — AI Engineer (13:21). Search for a phrase, then click its timestamp to jump straight to that moment in the video.
Captions sourced from the original video on YouTube, published by AI Engineer. The video, its captions and all related intellectual property remain the property of their respective owners; AINotes claims no ownership. Provided for research, accessibility and search — see the Transcript Notice and Copyright Policy.
00:00 مرحبًا بالجميع. يتناول هذا العرض مخاطر تسريب معلومات نموذجك اللغوي الكبير عبر أجهزة GPU مشتركة. إذا كنت تشغل نموذجًا في السحابة على وحدة معالجة رسوميات (GPU) مشتركة مع مستأجرين آخرين، فيمكن لشخص ما بجوارك معرفة معلومات عنه. يمكنهم معرفة النموذج الذي تشغله، ومدى سرعة استجابته، وحتى نوع العمل الذي يقوم به حاليًا، كل ذلك دون لمس البيانات، فقط من خلال مراقبة التوقيت.
00:20 هذا ما يغطيه هذا العرض. ما يمكن للمستأجر المشارك على نفس الجهاز معرفته عن نموذجك اللغوي من التوقيت وحده، وما يمكنك فعله حيال ذلك. للبداية، أنا برانيسلاف برزاك، باحث في الأمن السيبراني أعمل في شركة ستيلثيوم. في ستيلثيوم، نحن متخصصون في تأمين وتوفير إمكانية مراقبة البيئات التي تعمل عليها أنظمة الذكاء الاصطناعي. مجال تركيزي هو أبحاث أمن وحدات معالجة الرسوميات من المستوى المنخفض.
00:44 هذا ما يغطيه هذا العرض. عند مشاركة وحدة معالجة رسوميات بين المستأجرين، تتوقع عزلاً تامًا، لكن العزل المقدم قد لا يكون كافيًا. في حالة هذا الهجوم، لا يحتاج المهاجم حتى إلى أي أذونات خاصة مثل صلاحيات الجذر (root). كما أنه لا يحتاج إلى أي استغلال تقليدي للثغرات. الشيء الوحيد الذي يفعله هو توقيت أجزاء الأجهزة التي لا تزال مشتركة بين المستأجرين. هذا فيديو توضيحي يظهر كيف تبدو لوحات تحكم الضحية والمهاجم.
01:12 على اليسار، لدينا نموذج كوانت 3 يقوم بالاستنتاج. على اليمين، يستخدم المهاجم قناة جانبية يسربها كوانت 3 أثناء تشغيله. ومن خلال ذلك، يحدد بالضبط ماهية النموذج ونوع النص الذي ينتجه حاليًا. هذه مجرد الادعاءات الرئيسية، لكنها ليست القصة الكاملة. يمكننا معرفة ماهية النموذج، وهيكليته، وعمقه بدقة تصل إلى 97%. يمكننا معرفة سرعة فك التشفير بدقة تصل إلى 99.3%.
01:42 يمكننا معرفة متى وبأي قدر، وفترات الانشغال ، وعدد الرموز، وطول الإجابة. ما لا يمكننا معرفته هو نوع العمل الذي يقوم به، سواء كان برمجة، أو مرحًا، أو نثراً، أو JSON، أو استرجاع بيانات. لكن ما لا يمكننا معرفته هو المطالبات الفعلية ، أو الإجابات، أو المحتويات. فقط التوقيت. وكل هذا على وحدات H100 حقيقية تخدم نماذج لغوية حقيقية. نحن نستخدم أجهزة Nvidia. يتم تحقيق عزل وحدة معالجة الرسوميات باستخدام وحدة معالجة رسوميات متعددة المثيلات، أو MIG باختصار.
02:11 كل شريحة MIG معزولة لها وحدات حوسبة فيزيائية خاصة بها وذاكرة وصول عشوائي للفيديو (VRAM) مخصصة. هذا يوفر عزلًا للأجهزة في تلك الأجزاء. في مثالنا، يعمل النموذج اللغوي الذي نقدمه على شريحة بها ثلاث وحدات حوسبة و 48 جيجابايت من VRAM. يعمل المهاجم على وحدة حوسبة واحدة فقط و 10 جيجابايت من VRAM. ما يتم عزله هو وحدات الحوسبة ، وسعة الذاكرة، وحصص النطاق الترددي، وتحمل الأخطاء.
02:36 ذاكرة التخزين المؤقت من المستوى الثاني (L2 cache) مقسمة لكل مثيل أيضًا. لا يوجد إخلاء بين المثيلات. لذا، فهي ليست مشتركة بهذا المعنى. التسريبات الفعلية هي حواجز الذاكرة، أو الأعضاء، التي تشمل وحدة معالجة الرسومات بالكامل. حاجز مثيل واحد لا يزال يمس كل قسم L2 على البطاقة. التوقيت هو الشيء الوحيد غير المعزول. لذا، عندما يكون أحد المستأجرين مشغولاً، يتباطأ الآخرون قليلاً فقط.
03:03 النقطة الأساسية هي أن حاجز الذاكرة على مستوى وحدة معالجة الرسومات يسري على كل قسم L2 في البطاقة. الشريحة التالية تبني الهجوم بالكامل على هذه الحقيقة الواحدة. المتجه هو أن المهاجم يقرأ ذاكرته الخاصة فقط. إنه يوقّت عمليات القراءة الخاصة به فقط . إنه لا يلمس ذاكرة الضحية أبداً. هناك ثلاث خطوات. التحميل من مخزنه المؤقت الصغير، وتوقيت التحميل، والتكرار كل 5 ميكروثانية.
03:29 هذا المبدأ وتسريب عضو MIG نفسه ليس من اكتشافنا. يعود الفضل للباحثين الذين قدموا دراسة " Behind Bars" في مؤتمر Usenix Security. جزيل الشكر لعملهم. الآن، حاول النظر إلى فروق التوقيت. بالعين المجردة، عند مقارنة حالة خمول المستأجر بخدمة نموذج لغوي ضخم، لن تتمكن حتى من تمييزهما. متوسط زمن الاستجابة أعلى بـ 3 ميكروثانية فقط. بالنسبة للمهاجم، تلك الـ 3 ميكروثانية هي كل ما يحتاجه.
03:59 هذا يكفي لجمع كل المعلومات التي تحدثنا عنها بالفعل. يعمل نموذج Quantri بـ 8 مليارات متغير على شريحة الضحية طوال هذا الوقت . تم أخذ جميع البيانات المسجلة من نموذج حي. في الأعلى يظهر نشاط وحدة معالجة الرسومات بمرور الوقت، دفعة واحدة لكل رمز. في الأسفل يوجد طيف التردد لتتبع زمن استجابة المهاجم نفسه. هناك تردد أساسي 881 هرتز، وهو مجرد رموز في الثانية، بالإضافة إلى توافقيات، لأن كل رمز هو مزيج من ترددات متميزة، وليس تردداً واحداً صافياً.
04:30 هذا تتبع حقيقي، لرمز واحد في النطاق الزمني. يظهر الرمز إجمالي 39 نتوءاً. النتوءات ذات القمم الخضراء هي استدعاءات الطبقات، بينما البرتقالية هي معالجة إضافية بين الطبقات. في الشرائح اللاحقة، سنوضح كيف نحدد أعداد الطبقات الفعلية على الرغم من وجود تلك النتوءات الإضافية. هنا ننظر إلى سرعة فك التشفير نفسها. فقط عن طريق التوقيت، وجدنا معدل الرموز بشكل أعمى تماماً.
05:01 لذا، السرعة وحدها شيء يمكن للمهاجم استعادته بدقة. لكن السرعة بحد ذاتها ليست بصمة واضحة . يختلف معدل فك التشفير بين Quantri بـ 8 مليارات و Llama 3 بـ 8 مليارات بنسبة 1.6%فقط. لذا، من السرعة وحدها، ستظن أنهما نفس النموذج. إنها تضيق الاحتمالات، لكنها لا تحسم الأمر. نحتاج إلى شيء أدق، وهو عدد الطبقات. هذا ما تتناوله الشرائح القليلة التالية. نستخدم نفس أسلوب الطي والمتوسط من قبل.
05:28 هذه المرة نقوم بتشغيلها مرة واحدة لكل نموذج بدلاً من مرة واحدة لكل رمز. ما يظهر هو عدد بتات يصل تقريبًا إلى رقم صحيح تمامًا. متوسط المسافة عن عدد صحيح عبر 22 تتبعًا هو 0.028 فقط. هذا هو الدليل. لو كان هذا مجرد خلل ثابت في الأجهزة مقسوم على معدلات رموز مختلفة، لتوقعنا كسورًا، وليس أعدادًا صحيحة. كل عدد يؤول إلى عدد طبقات النموذج بالإضافة إلى ذروة واحدة إلى ثلاث ذروات إضافية.
06:00 يحتفظ كل نموذج ببصمات إشارة خاصة به، وهي مزيج من الإيقاع والبنية التوافقية. للتوضيح، هذا ليس مصنف تعلم آلي مدرب. لا توجد مجموعة تدريب، ولا تصنيفات، ولا تهيئة. إنه أقل من 30 سطرًا من الكود. تتحقق الطريقة من عمق كل مرشح من 16 إلى 48. تقيس مدى قوة ظهور التوقيع المتوقع لهذا العمق في التتبع الحقيقي. ثم تختار أياً من هذه هو الأفضل. بالنسبة لنموذج 3.8 مليار، تفوز الـ 36 طبقة بوضوح بفارق 4.5 مرة عن المرشح التالي.
06:34 لأن هذا اختبار "أفضل ملاءمة" وليس جدول بحث ، فإنه يعمل أيضاً على نماذج لم يرها من قبل. يشمل ذلك النماذج المملوكة أو غير المعلن عنها. حيث لا يوجد شيء يحتاج لرؤيته في المقام الأول. وهذا يعمل بشكل جيد بشكل مدهش. يخرج مصنف تغذية الطبقة أيضًا مستوى الثقة. خلال اختبارنا، تبين أن إجابتين فقط من الإجابات الأقل ثقة كانت خاطئة. تكتشف نفس الطريقة أيضًا الضبط الدقيق والنسخ التي تشترك في نفس النموذج الأساسي.
07:11 هذا لأن البنية وعدد الطبقات تظل كما هي دون تغيير. خذ ثلاثة نماذج ذات صلة كمثال. نموذج Llama 3 8B من Meta يحتوي على 32 طبقة. نموذج Llama 3.1 8B أيضاً من Meta يستخدم نفس العمود الفقري المكون من 32 طبقة مع ترقيات بسيطة. ونموذج R1 هو لا يزال Llama 8B من DeepSeek وهو تحسين فوق ذلك. يصل توقيت الطبقة الواحدة إلى 1.6 نانو ثانية فقط كمتوسط تحولات زمن الوصول عن بعضها البعض.
07:41 بقية الإشارة تبدو متشابهة. بغض النظر عن هذا، لا يزال مصنفنا قادرًا على التمييز بينها. الآن، نطرح سؤالاً أعمق على نفس القناة. ليس أي نموذج، بل ماذا يفعل الآن. ننظر إلى أربعة أنواع من أحمال العمل: النثر، والكود، و JSON، والاسترجاع. نصدر حكماً كل نصف ثانية بناءً على آخر 5 ثوانٍ من التوقيت. من أصل 40 حكماً لنصف ثانية، كان 31 منها صحيحاً، وتم تحديد أربع استجابات كاملة بشكل صحيح عن طريق تصويت الأغلبية.
08:13 هذا هو نفس المصنف من الفيديو السابق، بما في ذلك الأخطاء. يجدر ذكر شرط واحد. تم قياس هذا مع تشغيل فك التشفير التخميني. هذا خيار إضافي في VLLM، وليس الوضع الافتراضي. إليك الآلية. مدى قابلية النص للتنبؤ يغير عدد الرموز المسودة التي يتم قبولها في كل خطوة. هذا يغير وقت الخطوة، وهذه هي الإشارة التي نلتقطها. لقد اختبرنا 11 تكويناً، كثيفة ومزيجاً من الخبراء، و BF16 و FP8.
08:43 ظهر نفس نمط الشكل في كل مرة، ولكن بقوى مختلفة جداً. انتشار بنسبة 70.2%على GPT مقابل 20 مليار، مقابل 0.9%على GLM 49 مليار. ثم من بين 11 تشغيلاً، كان الأسرع في 10 منها، بينما الصدفة وحدها تعطيك واحدة فقط من أصل أربعة. لذا، لنفترض أن المهاجم يعرف النموذج بالفعل من الشرائح السابقة، وأن فك التشفير التخميني مفعل. يمكنه أيضاً معرفة نوع النص الذي يتم إنتاجه.
09:10 الآن ، سنقوم بإخراج الشريحة المشتركة من الصورة تماماً. تتطلب تقنية MLG وجود المهاجم على نفس القالب المادي . هذا الهجوم لا يتطلب ذلك. الإعداد هنا هو خادم يحتوي على ثماني وحدات H100 متصلة عبر نسيج تبديل NVLink. تعمل الضحية بتوازي الموتر عبر وحدة معالجة الرسومات صفر وواحد. يحتاج المهاجم فقط إلى أي وحدة معالجة رسومات أخرى في نفس الخادم، وحدة معالجة الرسومات اثنان في هذه الحالة.
09:36 الوصول المباشر عبر مفتاح NV هو ميزة حقيقية مقصودة. هذه هي الطريقة التي تعمل بها مهام تعدد وحدات معالجة الرسومات عادةً، وليست ثغرة يتم استغلالها. لا يمكن لتوازي الموتر في MIG أن يتعايش على نفس الجهاز . لذا، هذا في الواقع مجتمع مختلف من عمليات النشر، وليس مجرد تكرار لنفس الهجوم. المشكلة تقع على وحدة معالجة الرسومات 2. إنها تتعقب الذاكرة الموجودة فعلياً على وحدة معالجة الرسومات 0 عبر NVLink.
10:03 نقوم بتوقيت كل قفزة على طول الطريق. تستغرق القفزة في وضع الخمول حوالي 890 نانو ثانية. بمجرد أن تبدأ الضحية في العمل، يرتفع ذلك إلى 300 ميكرو ثانية. هذه ثلاث لقطات مرآة مدة كل منها نصف ثانية. ويمكنك في الواقع عد الرموز بالعين المجردة. ما نفقد مقارنة بـ MIG هو بتات الطبقة. إنها تحت مستوى الضوضاء عند هذه المسافة. لذا، عبر NVLink ، البصمات التي نترك بها هي زمنية في الغالب، وليست أعداد طبقات.
10:37 هنا، نختبر النماذج الخمسة على نفس إعداد الخدمة. النموذج نفسه فقط هو الذي يكشف هويته. هذه الطريقة تعطي دقة بنسبة 79.2%. الآن، إنها تفشل بالضبط حيث تتوقع أن يفشل القياس الزمني . Llama 3.5 بـ 8 مليارات و R1 distill كلاهما نموذجان بـ 8 مليارات يقومان بفك التشفير بفارق 3 هرتز. لذا، فهما يمتزجان معاً حيث كان من الممكن لأعداد طبقات MIG أن تفصلهما بسهولة. الخلاصة هي أن نسبة الإشارة إلى الضوضاء في NVLink أسوأ من MIG، لأنها تفقد بتات الطبقة.
11:12 لكن نسبة الإشارة إلى الضوضاء الأسوأ لا تعني الأمان . 79%مقابل خط أساس بنسبة 20%لا تزال بصمة حقيقية، وليست ضوضاء. أولاً، بعض الأخبار الجيدة. منتجنا الخاص في العمل اكتشف الهجوم مباشرة وبشكل تلقائي. تراقب Stealthy كل عملية تشغيل للنواة عبر كل وحدة معالجة رسومات، وتحلل أحمال العمل المشبوهة، وتمررها عبر مسار تنبيه كامل، وهو أمر لا يستطيع كل البائعين القيام به.
11:39 إليك ما جعل هذا النموذج متميزاً. تمت إعادة تشغيل نواة واحدة حوالي 3000 مرة، لتصل إلى نفس الـ 40 كيلوبايت من الذاكرة مراراً وتكراراً بدلاً من الانتقال إلى بيانات جديدة. تم إرسال كيلوبايت واحد فقط من البيانات إلى وحدة المعالجة المركزية طوال الوقت، لأن التوقيت نفسه كان هو الحمولة، وليس المخرجات. من الناحية الواقعية، يستغرق ذلك أقل من 600 مللي ثانية من البداية إلى النهاية مع أقل من 50 رمزاً في الرد.
12:06 لقد رصدناه قبل أن تكتمل كتابة نصف الرد حتى. إذاً، ثلاث نقاط رئيسية. أولاً، التحكم في الموقع أمر يملكه المشغلون فعلياً، لذا لا تضع شرائح MIG لمستأجر غير موثوق بجوار نموذج حساس. ثانياً، اعرف المقايضات. تستبعد MIG الاتصال المباشر بين الأقران، مما يعني عدم وجود توازي في الموتر ( tensor parallelism) على MIG. بدلاً من ذلك، يؤدي التقطيع عبر NVLink إلى قصر التسريبات على التوقيت فقط بدلاً من حسابات الطبقات.
12:39 ثالثاً، راقب وحدة معالجة الرسومات نفسها. تأكد من أن البنية التحتية للمضيف تتحقق بنشاط من عدم تشغيل أي أحمال عمل ضارة على الأجهزة. هذا بالضبط ما تفعله Salty I'm من خلال رصد هذه المحاولات مباشرة من سلوك النواة. مشاركة وحدة معالجة الرسومات تعني أن التوقيت وحده يمكن أن يكشف عن النموذج والسرعة وحمل العمل. هذا صحيح حتى عبر NVLink دون الحاجة إلى أي ثغرة على الإطلاق.
13:05 ترى Salty I'm هذا يحدث في الوقت الفعلي. معظم المؤسسات لا تزال تفتقر إلى هذا النوع من الرؤية. شكراً مرة أخرى للباحثين في Behind Bars. هذا العرض التقديمي بالكامل مبني على عملهم. شكراً لكم جميعاً على المشاهدة.