شمارش جمعیت در تصاویر، یکی از چالش‌های اساسی در حوزه بینایی کامپیوتر است که کاربردهای فراوانی در زمینه‌هایی مانند مدیریت ترافیک، تحلیل رفتار جمعی، برنامه‌ریزی شهری، امنیت و نظارت تصویری دارد. با افزایش روزافزون دوربین‌های نظارتی و حجم عظیم تصاویر و ویدئوها، نیاز به سیستم‌های خودکار و دقیق برای شمارش افراد در این داده‌ها بیش از پیش احساس می‌شود. روش‌های سنتی شمارش جمعیت، اغلب بر پایه شبکه‌های عصبی کانولوشنی (CNN) استوار هستند و برای تخمین تعداد افراد، نقشه‌های دانسیته (density maps) را رگرس می‌کنند. این رویکرد، نیازمند حاشیه‌نویسی دقیق در سطح نقاط (point-level annotations) است، یعنی مشخص کردن موقعیت دقیق هر فرد در تصویر. این فرآیند حاشیه‌نویسی، بسیار پرهزینه، زمان‌بر و مستعد خطا است، خصوصاً در تصاویر با جمعیت متراکم.

نکته حائز اهمیت دیگر این است که در فاز ارزیابی و کاربرد عملی، این حاشیه‌نویسی‌های سطح نقطه عملاً مورد استفاده قرار نمی‌گیرند و تنها تعداد نهایی افراد است که اهمیت دارد. این موضوع، حاشیه‌نویسی دقیق سطح نقطه را زائد و ناکارآمد می‌سازد. در نتیجه، توسعه روش‌هایی که تنها به برچسب‌گذاری سطح شمارش (count-level annotations) متکی باشند، که روشی اقتصادی‌تر و کاربردی‌تر است، از اهمیت بالایی برخوردار است.

مقاله حاضر با معرفی TransCrowd، یک گام مهم در جهت حل این مشکل برمی‌دارد. این تحقیق، مسئله شمارش جمعیت با نظارت ضعیف را از منظری نوآورانه و با استفاده از معماری ترنسفورمر (Transformer)، که در پردازش زبان طبیعی (NLP) انقلابی به پا کرده است، مورد بازنگری قرار می‌دهد. TransCrowd نه تنها به دنبال دستیابی به عملکردی بهتر نسبت به روش‌های موجود با نظارت ضعیف است، بلکه با استفاده از قابلیت‌های منحصربه‌فرد ترنسفورمرها، دریچه‌ای تازه به سوی حل این مسئله باز می‌کند.

این مقاله توسط گروهی از محققان به نام‌های Dingkang Liang، Xiwu Chen، Wei Xu، Yu Zhou و Xiang Bai ارائه شده است. زمینه تخصصی این تحقیق در حوزه بینایی کامپیوتر و بازشناسی الگو (Computer Vision and Pattern Recognition) قرار دارد. نویسندگان با تکیه بر دانش روز در حوزه شبکه‌های عصبی عمیق و با الهام از معماری موفق ترنسفورمر در پردازش زبان طبیعی، این چارچوب جدید را برای شمارش جمعیت توسعه داده‌اند. هدف اصلی آن‌ها، ارائه یک راهکار کارآمد و مقرون‌به‌صرفه برای شمارش جمعیت در تصاویری است که تنها با اطلاعات تعداد افراد برچسب‌گذاری شده‌اند.

چکیده مقاله به طور خلاصه بیان می‌کند که روش‌های رایج شمارش جمعیت، از شبکه‌های عصبی کانولوشنی (CNN) برای رگرس کردن نقشه‌های دانسیته استفاده می‌کنند و این امر نیازمند حاشیه‌نویسی دقیق نقطه به نقطه است که عملی هزینه‌بر و زمان‌گیر است. همچنین، در مرحله آزمایش، این حاشیه‌نویسی‌ها بلااستفاده می‌مانند. در مقابل، روش‌های شمارش جمعیت با نظارت ضعیف، تنها از تعداد کل افراد در هر تصویر استفاده می‌کنند. این روش‌ها که عموماً بر پایه CNN و با رویکرد تصویر به شمارش (image-to-count) عمل می‌کنند، به دلیل محدودیت در میدان دید (receptive field) برای مدل‌سازی زمینه، با محدودیت‌هایی در عملکرد مواجه هستند و کاربرد عملی آن‌ها در دنیای واقعی محدود است.

مقاله TransCrowd، این محدودیت‌ها را با معرفی یک رویکرد جدید مبتنی بر ترنسفورمر حل می‌کند. این روش، مسئله شمارش جمعیت با نظارت ضعیف را به صورت دنباله‌ای به شمارش (sequence-to-count) با استفاده از معماری ترنسفورمر بازتعریف می‌کند. ترنسفورمرها، به دلیل مکانیزم توجه (attention mechanism) خود، قادر به مدل‌سازی روابط دوربرد در داده‌ها و داشتن میدان دید سراسری (global receptive field) هستند.

نویسندگان ادعا می‌کنند که TransCrowd می‌تواند اطلاعات معنایی جمعیت را به طور مؤثری با استفاده از مکانیزم خود-توجه (self-attention) ترنسفورمر استخراج کند. این اولین تلاش برای استفاده از یک ترنسفورمر خالص (pure transformer) در تحقیقات شمارش جمعیت است. نتایج آزمایش‌ها بر روی پنج مجموعه داده معیار (benchmark datasets) نشان می‌دهد که TransCrowd عملکردی برتر نسبت به تمام روش‌های CNN با نظارت ضعیف دارد و حتی در مقایسه با برخی روش‌های کاملاً نظارت شده (fully-supervised) محبوب، عملکردی بسیار رقابتی ارائه می‌دهد.

روش‌شناسی TransCrowd بر پایه معماری ترنسفورمر استوار است و رویکرد “دنباله‌ای به شمارش” را اتخاذ می‌کند. در ادامه به تشریح جزئیات این روش می‌پردازیم:

• بازتعریف مسئله به صورت Sequence-to-Count: برخلاف روش‌های قبلی که سعی در تخمین مستقیم شمارش از تصویر داشتند، TransCrowd تصویر ورودی را به مجموعه‌ای از “توکن‌ها” (tokens) تبدیل می‌کند. این توکن‌ها می‌توانند نشان‌دهنده قطعات کوچک تصویر یا ویژگی‌های استخراج شده باشند. سپس، این دنباله از توکن‌ها به یک مدل ترنسفورمر داده می‌شود تا خروجی نهایی، یعنی تعداد افراد، را پیش‌بینی کند.
• استفاده از معماری ترنسفورمر: معماری ترنسفورمر، که در پردازش زبان طبیعی موفقیت چشمگیری داشته است، به دلیل توانایی‌اش در مدل‌سازی وابستگی‌های دوربرد و استفاده از مکانیزم خود-توجه، برای این منظور بسیار مناسب است. مکانیزم خود-توجه به مدل اجازه می‌دهد تا اهمیت نسبی بخش‌های مختلف تصویر را در فرآیند شمارش بسنجد و ارتباط بین آن‌ها را درک کند. این امر به ویژه در تصاویر با تراکم جمعیت بالا و چینش‌های پیچیده، که مدل‌های CNN با میدان دید محدود در آن دچار مشکل می‌شوند، بسیار کارآمد است.
• استخراج ویژگی‌های معنایی: لایه‌های ترنسفورمر، به خصوص با استفاده از مکانیزم خود-توجه، قادر به استخراج ویژگی‌های سطح بالا و معنایی از ورودی هستند. این ویژگی‌ها می‌توانند شامل تشخیص سر افراد، الگوهای حرکتی، یا حتی گروه‌بندی‌های جمعیتی باشند. TransCrowd از این توانایی برای درک بهتر محتوای تصویر و تخمین دقیق‌تر تعداد افراد استفاده می‌کند.
• استفاده از حاشیه‌نویسی سطح شمارش: این روش صرفاً به اطلاعات تعداد کل افراد در هر تصویر برای آموزش مدل نیاز دارد. در مرحله آموزش، مدل سعی می‌کند با دریافت ورودی تصویر (تبدیل شده به دنباله توکن‌ها)، تعداد افراد ثبت شده در برچسب را پیش‌بینی کند. تابع زیان (loss function) مدل، تفاوت بین تعداد پیش‌بینی شده و تعداد واقعی را اندازه‌گیری و مدل را برای کاهش این خطا بهینه می‌کند.
• مدل‌سازی زمینه (Context Modeling): میدان دید سراسری ترنسفورمر به آن اجازه می‌دهد تا زمینه کلی تصویر را به طور مؤثرتری نسبت به CNN های با لایه‌های محدود، مدل‌سازی کند. این بدان معناست که مدل می‌تواند ارتباط بین افراد دور از هم یا الگوهای جمعیتی بزرگ را درک کند، که برای تخمین دقیق در سناریوهای پیچیده حیاتی است.

به طور خلاصه، TransCrowd با تبدیل مسئله شمارش جمعیت به یک مسئله دنباله‌ای و بهره‌گیری از قدرت پردازش ترنسفورمر، روشی نوآورانه برای شمارش جمعیت با نظارت ضعیف ارائه می‌دهد که توانایی مدل‌سازی بهتر زمینه و استخراج ویژگی‌های معنایی را دارد.

نتایج حاصل از آزمایش‌های TransCrowd بر روی پنج مجموعه داده معیار، نشان‌دهنده برتری قابل توجه این روش نسبت به روش‌های پیشین است. یافته‌های کلیدی این تحقیق عبارتند از:

• عملکرد برتر نسبت به روش‌های CNN با نظارت ضعیف: TransCrowd به طور مداوم عملکرد بهتری نسبت به تمام روش‌های شمارش جمعیت با نظارت ضعیف که بر پایه CNN بنا شده‌اند، نشان داده است. این برتری به ویژه در مجموعه داده‌هایی که چالش‌های بیشتری مانند تراکم جمعیت بالا، اندازه‌های متفاوت افراد و پس‌زمینه‌های پیچیده دارند، مشهودتر است.
• رقابت با روش‌های کاملاً نظارت شده: نتایج نشان می‌دهد که TransCrowd نه تنها روش‌های با نظارت ضعیف را پشت سر می‌گذارد، بلکه با برخی از محبوب‌ترین روش‌های کاملاً نظارت شده (که نیاز به حاشیه‌نویسی دقیق نقطه به نقطه دارند) نیز رقابت می‌کند. این امر اهمیت و قابلیت بالقوه بالای TransCrowd را در سناریوهایی که صرفاً برچسب شمارش در دسترس است، برجسته می‌سازد.
• قابلیت مدل‌سازی ارتباطات دوربرد: مکانیزم خود-توجه در ترنسفورمر به TransCrowd اجازه می‌دهد تا روابط بین بخش‌های مختلف تصویر را به طور مؤثرتری مدل کند. این قابلیت به درک بهتر زمینه و تخمین دقیق‌تر تعداد افراد، حتی در صحنه‌های شلوغ که افراد پراکنده هستند، کمک می‌کند.
• استخراج ویژگی‌های معنایی قوی: ترنسفورمرها در استخراج ویژگی‌های غنی و معنایی از داده‌ها مهارت دارند. TransCrowd از این ویژگی‌ها برای درک بهتر ساختار و توزیع جمعیت استفاده می‌کند که منجر به دقت بالاتر در شمارش می‌شود.
• اولین استفاده از ترنسفورمر خالص برای شمارش جمعیت: همانطور که نویسندگان ذکر کرده‌اند، این اولین تلاش برای استفاده از یک ترنسفورمر خالص برای تحقیقات شمارش جمعیت است. این نوآوری، راه را برای تحقیقات آینده در زمینه بهره‌گیری از معماری‌های مدرن‌تر در مسائل بینایی کامپیوتر هموار می‌کند.

این یافته‌ها تأیید می‌کنند که TransCrowd یک پیشرفت قابل توجه در حوزه شمارش جمعیت با نظارت ضعیف است و پتانسیل زیادی برای کاربردهای عملی دارد.

دستاورد اصلی TransCrowd، ارائه یک روش کارآمد، دقیق و اقتصادی برای شمارش جمعیت است که محدودیت‌های روش‌های قبلی را برطرف می‌کند. این امر پیامدهای مثبتی برای طیف گسترده‌ای از کاربردها دارد:

• مدیریت رویدادها و فضاهای عمومی: شمارش دقیق جمعیت در کنسرت‌ها، مسابقات ورزشی، مراکز خرید، و فضاهای عمومی برای مدیریت ایمنی، برنامه‌ریزی منابع و کنترل ازدحام بسیار حیاتی است. TransCrowd می‌تواند به طور خودکار و بدون نیاز به حاشیه‌نویسی پرهزینه، این اطلاعات را فراهم کند.
• ترافیک و حمل و نقل: تحلیل تراکم عابران پیاده در تقاطع‌ها، ایستگاه‌های مترو، یا ترمینال‌ها برای بهینه‌سازی جریان ترافیک و برنامه‌ریزی حمل و نقل عمومی.
• نظارت تصویری و امنیت: شناسایی و شمارش افراد در مناطق تحت نظارت برای اهداف امنیتی، تشخیص رفتارهای مشکوک و واکنش سریع به حوادث.
• تحلیل رفتار مصرف‌کننده: در حوزه خرده‌فروشی، شمارش مشتریان در فروشگاه‌ها و بخش‌های مختلف می‌تواند به درک الگوهای خرید و بهینه‌سازی چیدمان فروشگاه کمک کند.
• تحقیقات اجتماعی و شهری: مطالعه الگوهای تجمع انسانی در شهرهای بزرگ برای برنامه‌ریزی شهری، تحلیل فعالیت‌های اجتماعی و درک پویایی‌های جمعیتی.
• کاهش هزینه‌ها و زمان: مهمترین دستاورد TransCrowd، کاهش چشمگیر هزینه و زمان مورد نیاز برای جمع‌آوری داده‌های آموزشی است. با اتکا به حاشیه‌نویسی سطح شمارش، توسعه سیستم‌های شمارش جمعیت برای هر سناریوی جدید بسیار آسان‌تر و مقرون‌به‌صرفه‌تر خواهد شد.
• ارتقای دقت در شرایط چالش‌برانگیز: توانایی مدل‌سازی زمینه و استفاده از مکانیزم توجه، TransCrowd را قادر می‌سازد تا در تصاویر شلوغ و پیچیده، که روش‌های سنتی با مشکل مواجه می‌شوند، عملکرد بهتری از خود نشان دهد.

به طور کلی، TransCrowd با ارائه یک راهکار قدرتمند و انعطاف‌پذیر، قابلیت‌های بسیاری را برای سیستم‌های شمارش جمعیت خودکار و هوشمند فراهم می‌آورد.

مقاله TransCrowd یک گام پیشگامانه در حوزه شمارش جمعیت با نظارت ضعیف محسوب می‌شود. نویسندگان با موفقیت نشان داده‌اند که معماری ترنسفورمر، با قابلیت‌های منحصر به فرد خود در مدل‌سازی روابط دوربرد و استخراج ویژگی‌های معنایی، می‌تواند جایگزین قدرتمندی برای شبکه‌های عصبی کانولوشنی در این مسئله باشد. بازتعریف مسئله به صورت “دنباله‌ای به شمارش” و استفاده از ترنسفورمرهای خالص، منجر به توسعه روشی شده است که نه تنها نیاز به حاشیه‌نویسی پرهزینه را از بین می‌برد، بلکه عملکردی برتر نسبت به روش‌های قبلی با نظارت ضعیف و رقابتی با روش‌های کاملاً نظارت شده ارائه می‌دهد.

دستاورد کلیدی TransCrowd، افزایش چشمگیر کارایی و کاهش هزینه‌ها در جمع‌آوری داده‌های آموزشی است، که امکان توسعه و استقرار سیستم‌های شمارش جمعیت در مقیاس وسیع‌تر را فراهم می‌آورد. قابلیت‌های این روش، آن را به ابزاری ارزشمند برای کاربردهای متنوعی از مدیریت رویدادها و امنیت گرفته تا تحلیل شهری و رفتار مصرف‌کننده تبدیل می‌کند.

با توجه به نتایج امیدوارکننده، TransCrowd نه تنها یک پیشرفت فنی در زمینه بینایی کامپیوتر است، بلکه راه را برای تحقیقات آتی در زمینه بهره‌گیری از معماری‌های مدرن‌تر و روش‌های نظارت ضعیف در سایر مسائل پیچیده بینایی ماشین هموار می‌کند. این تحقیق نشان می‌دهد که مرزهای تکنولوژی هوش مصنوعی با الهام‌گیری از موفقیت‌های حوزه‌های دیگر، پیوسته در حال گسترش است.