کارشناس امنیت شرکت به‌پرداخت ملت با هشدار نسبت به استفاده خارج از چارچوب سازمانی از ابزارهای هوش مصنوعی گفت: در صنعت پرداخت که با داده‌های حساس سروکار دارد حکمرانی داده و کنترل دسترسی به مدل‌های هوش مصنوعی ضروری است.

به گزارش ستاد خبری اینوتکس ۲۰۲۶، پنل هوش مصنوعی در صنعت پرداخت با حضور داریوش نجارزاده، کارشناس زیرساخت و شبکه؛ سعید علی‌اکبری، کارشناس هوش تجاری؛ امیر محسنی، کارشناس امنیت؛ محمد طیبی، مدیرکل زیرساخت و شبکه؛ محمد دماوندی، مدیرکل امنیت و محمدحسین حسینی، کارشناس ارشد هوش مصنوعی شرکت به‌پرداخت ملت، در حاشیه اینوتکس ۲۰۲۶ و همزمان با برگزاری سومین کنفرانس ملی و نخستین کنفرانس بین‌المللی هوش مصنوعی و اینترنت اشیا برگزار شد.

امیر محسنی، کارشناس امنیت شرکت به‌پرداخت ملت در این پنل با طرح این پرسش که «اگر اختیار حاکمیتی بر داده‌های خود نداشته باشیم، آیا می‌توانیم صرفا از نظر مهندسی و زیرساختی برای آن قانون بنویسیم؟» اظهار کرد: هوش مصنوعی دیگر یک ابزار جانبی در سازمان نیست بلکه به بخشی از قلب محیط عملیاتی و تولیدی سازمان‌ها تبدیل شده است.
استفاده از هوش مصنوعی به قلب فرآیندهای سازمانی رسیده است.

وی با اشاره به کاربرد گسترده ابزارهای هوش مصنوعی در بخش‌های مختلف سازمان افزود: تیم‌های فنی کدهای خود را به ابزارهای هوش مصنوعی می‌دهند و از آن‌ها کد دریافت می‌کنند؛ تیم‌های مالی گزارش‌های خود را در اختیار این ابزارها قرار می‌دهند و تیم‌های مانیتورینگ نیز برای تحلیل حجم گسترده لاگ‌ها از هوش مصنوعی استفاده می‌کنند؛ چراکه بررسی برخی از این داده‌ها از توان و زمان یک انسان خارج است.

محسنی ادامه داد: نتیجه‌ای که از سوی هوش مصنوعی ارائه می‌شود در نهایت در تصمیم‌گیری‌های سازمان مورد استفاده قرار می‌گیرد. بنابراین این ادعا که هوش مصنوعی اکنون به یک بخش اصلی از محیط عملیاتی سازمان تبدیل شده ادعای گزافی نیست.

shadowAI؛ تهدید پنهان در استفاده سازمانی از هوش مصنوعی

این کارشناس امنیت با اشاره به ابزارهایی مانند ChatGPT، Claude و DeepSeek گفت: یکی از مشکلات اصلی این سرویس‌ها برای سازمان‌ها این است که سند معماری دقیق آن‌ها را در اختیار نداریم و کنترل دسترسی، لاگ و نظارت کامل بر فرآیندهای آن‌ها نیز در اختیار سازمان نیست.

وی افزود: زمانی که یک کارمند یا نیروی فنی یک پرامپت را برای یک سرویس هوش مصنوعی ارسال می‌کند سازمان ممکن است نداند چه کسی این درخواست را ارسال کرده، چه زمانی و با چه محتوایی آن را فرستاده و این داده در ادامه چه مسیری را طی کرده است. حتی مالکیت این درخواست نیز برای سازمان مشخص نیست.

محسنی این وضعیت را نمونه‌ای از پدیده «Shadow AI» یا «هوش مصنوعی سایه» دانست و گفت: منظور از این مفهوم استفاده غیررسمی و خارج از چارچوب سازمانی کارکنان و نیروهای فنی از ابزارهای هوش مصنوعی است؛ موضوعی که در صنعت پرداخت می‌تواند اهمیت بسیار زیادی داشته باشد.

صنعت پرداخت با داده‌های بسیار حساس مواجه است

وی با بیان اینکه در صنعت پرداخت حتی بسته‌های شبکه باید ثبت، مشاهده و پایش شوند، اظهار کرد: در این صنعت فرآیندهای نظارتی، ممیزی و رگولاتوری وجود دارد اما در مورد فناوری به بزرگی هوش مصنوعی در بسیاری از موارد عملا غفلت کرده‌ایم و بدون آنکه چارچوب مشخصی داشته باشیم، از کنار این موضوع عبور می‌کنیم.

محسنی ادامه داد: این مسئله در صنعت پرداخت اهمیت بیشتری دارد زیرا داده‌ها در این صنعت بسیار حساس هستند و نمی‌توان بدون توجه به نحوه دسترسی، پردازش و استفاده از آن‌ها هوش مصنوعی را وارد فرآیندهای سازمانی کرد.

مسدودسازی ابزارهای هوش مصنوعی؛ راهکار یا «توهم امنیت»؟

این کارشناس امنیت با اشاره به نخستین راهکاری که ممکن است برای کنترل این وضعیت به ذهن برسد، گفت: شاید نخستین راهکار این باشد که دامنه‌های مرتبط با هوش مصنوعی را مسدود کنیم؛ اما این پرسش مطرح است که آیا مسدودسازی می‌تواند پاسخ صحیحی باشد؟

وی افزود: اگر صرفاً به دلیل نگرانی‌های امنیتی شروع به محدود کردن این ابزارها کنیم، ممکن است با پدیده‌ای مواجه شویم که در اصطلاح Security Theater نامیده می‌شود؛ یعنی سازمان تصور می‌کند امنیت ایجاد کرده در حالی که ریسک صرفا به نقطه دیگری منتقل شده است.

محسنی توضیح داد: اگر استفاده از هوش مصنوعی در شبکه سازمانی مسدود شود کارکنان ممکن است از گوشی‌های شخصی یا اینترنت خارج از شبکه سازمان برای انجام همان کار استفاده کنند. در این شرایط داده همچنان از سازمان خارج می‌شود، اما دیگر امکان مشاهده و کنترل آن نیز وجود ندارد.

سه پرسش کلیدی حکمرانی هوش مصنوعی

وی با اشاره به اصول اساسی حاکمیت هوش مصنوعی گفت: در بررسی چارچوب‌های مختلف حکمرانی در حوزه هوش مصنوعی، سه پرسش اساسی مطرح می‌شود؛ نخست اینکه مدل تا چه اندازه و به چه داده‌هایی دسترسی دارد؛ دوم اینکه مدل تا چه سطحی اختیار تصمیم‌گیری و انجام عملیات مستقل دارد و سوم اینکه در صورت بروز خطا چه کسی مسئولیت آن را برعهده خواهد داشت.

محسنی ادامه داد: زمانی که سازمان از نظر مهندسی و زیرساختی مالک و متولی سیستم هوش مصنوعی نیست، پاسخ دادن به هیچ‌یک از این سه پرسش ساده نیست؛ در واقع ممکن است اساسا پاسخی برای آن‌ها نداشته باشیم.

زیرساخت داخلی؛ راهکاری برای کنترل دسترسی و مسئولیت‌پذیری

کارشناس امنیت شرکت به‌پرداخت ملت یکی از راهکارهای قابل بررسی را ایجاد زیرساخت داخلی و استفاده از مدل‌های هوش مصنوعی متن‌باز دانست و گفت: سازمان‌ها می‌توانند زیرساخت‌های مورد نیاز را به‌صورت داخلی فراهم کنند و مدل‌های متن‌باز را در محیط خود مستقر کنند.

وی افزود: با این روش می‌توان به سه پرسش اصلی حوزه حکمرانی هوش مصنوعی پاسخ داد؛ از جمله اینکه چه کسی به چه داده‌ای دسترسی دارد، مدل چه اختیاراتی دارد و در صورت بروز خطا چه کسی مسئول است.

محسنی توضیح داد: در حوزه دسترسی به داده می‌توان ماتریس‌های RBAC یا Role-Based Access Control تعریف کرد تا مشخص شود هر نقش سازمانی به چه منابعی دسترسی دارد و افراد نیز بر اساس نقش خود از این دسترسی‌ها استفاده کنند.

وی ادامه داد: در مدل‌های هوش مصنوعی بسته سازمان عملا کنترل کاملی بر اینکه چه کسی به چه مدلی و چه داده‌ای دسترسی دارد ندارد اما در زیرساخت داخلی می‌توان این دسترسی‌ها را مدیریت و کنترل کرد.

«گاردریل» و سیاست‌های اجرایی برای کنترل اختیار مدل‌ها

محسنی با اشاره به دومین مؤلفه حکمرانی یعنی اختیار مدل، گفت: زمانی که مدل در زیرساخت داخلی سازمان مستقر باشد، امکان تعریف Guardrail و سیاست‌های اجرایی برای آن وجود دارد و می‌توان میزان اختیار مدل در انجام عملیات را کنترل کرد.

وی افزود: در چنین شرایطی، سازمان می‌تواند مشخص کند مدل چه اقداماتی را مجاز به انجام است و در چه سطوحی باید برای انجام یک عملیات تایید انسانی دریافت کند.

لاگ و تله‌متری؛ حلقه مفقوده پاسخگویی

این کارشناس امنیت درباره مولفه سوم یعنی پاسخگویی، اظهار کرد: وقتی مدل توسط خود سازمان سرو می‌شود، امکان ثبت لاگ و دریافت تله‌متری از آن وجود دارد و می‌توان یک سرویس یا اپراتور مسئول برای نظارت مستمر بر سیستم تعریف کرد.

محسنی ادامه داد: در این شرایط مشخص است چه کسی چه درخواستی ارسال کرده، درخواست چگونه ارسال شده و مدل چه پاسخی داده است. در نتیجه در صورت بروز خطا، امکان بررسی فرآیند و تعیین مسئولیت وجود خواهد داشت.

داده باید به سمت پردازش نرود؛ پردازش باید به سمت داده بیاید

وی یکی دیگر از مباحث مهم معماری سیستم‌ها را Data Locality عنوان کرد و گفت: یکی از اصول بنیادی معماری سیستم‌ها این است که به جای انتقال داده به سمت پردازش، پردازش را به سمت داده ببریم.

محسنی افزود: هنگامی که از سرویس‌هایی مانند OpenAI یا Claude استفاده می‌کنیم، عملا داده را به سمت پردازش ارسال می‌کنیم؛ در حالی که در یک زیرساخت داخلی و On-Premise، پردازش به سمت داده می‌آید و داده در محیط سازمان باقی می‌ماند.

فاصله مدل‌های متن‌باز و بسته در حال کاهش است

این کارشناس امنیت با اشاره به چالش‌های گذشته استفاده از مدل‌های متن‌باز گفت: یکی از چالش‌های گذشته این بود که مدل‌های بسته از نظر کیفیت و عملکرد فاصله قابل توجهی با مدل‌های متن‌باز داشتند و در مقطعی نیز اساساً مدل‌های متن‌باز قدرتمند به شکل امروزی در دسترس نبودند.

وی افزود: اکنون مدل‌های متن‌باز توسعه پیدا کرده‌اند و فاصله آن‌ها با مدل‌های بسته به‌شدت کاهش یافته است. البته همچنان یکی از چالش‌ها فراهم کردن زیرساخت محاسباتی و طراحی مناسب برای اجرای مدل‌هایی است که بتوانند با منابع محدودتر، کیفیت و دقت قابل قبولی در سطح سازمان ارائه دهند.

استقرار داخلی مدل‌ها همه مشکلات حکمرانی داده را حل نمی‌کند

محسنی در ادامه تأکید کرد: استقرار داخلی مدل‌های هوش مصنوعی به معنای حل کامل مسئله حکمرانی داده نیست و در این حالت صرفا نوع ریسک تغییر می‌کند.

وی توضیح داد: ریسک‌هایی که پیش از این پنهان بودند، ممکن است در زیرساخت داخلی به شکل دیگری ظاهر شوند و به ریسک‌های عملیاتی تبدیل شوند؛ برای مثال سازمان باید طبقه‌بندی داده‌ها و سطوح دسترسی را تعریف کند، مسئول سرویس را مشخص کند و زیرساخت را به‌صورت مستمر پایدار و قابل اتکا نگه دارد.

استقرار داخلی مدل‌ها؛ پیش‌شرط آغاز حکمرانی داده

کارشناس امنیت شرکت به‌پرداخت ملت در جمع‌بندی سخنان خود گفت: استقرار داخلی مدل‌های هوش مصنوعی به‌تنهایی به معنای خودحاکمیتی نیست بلکه یک پیش‌شرط برای آن است که سازمان بتواند فرآیند حکمرانی داده را آغاز کند.