ترجمه فارسی مقاله تقویت شناخت اقدامات انسانی و تشخیص خشونت از طریق یادگیری عمیق شنوایی و بصری

چکیده

This paper proposes a hybrid fusion-based deep learning approach based on two different modalities, audio and video, to improve human activity recognition and violence detection in public places. To take advantage of audiovisual fusion, late fusion, intermediate fusion, and hybrid fusion-based deep learning (HFBDL) are used and compared. Since the objective is to detect and recognize human violence in public places, Real-life violence situation (RLVS) dataset is expanded and used. Simulating results of HFBDL show 96.67% accuracy on validation data, which is more accurate than the other state-of-the-art methods on this dataset. To showcase our model’s ability in real-world scenarios, another dataset of 54 sounded videos of both violent and non-violent situations was recorded. The model could successfully detect 52 out of 54 videos correctly. The proposed method shows a promising performance on real scenarios. Thus, it can be used for human action recognition and violence detection in public places for security purposes.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک رویکرد یادگیری عمیق مبتنی بر همجوشی ترکیبی مبتنی بر دو روش مختلف ، صوتی و تصویری ، برای بهبود شناخت فعالیت های انسانی و تشخیص خشونت در اماکن عمومی ارائه شده است.برای استفاده از همجوشی سمعی و بصری ، فیوژن دیررس ، همجوشی میانی و یادگیری عمیق مبتنی بر همجوشی ترکیبی (HFBDL) استفاده و مقایسه می شود.از آنجا که هدف شناسایی و تشخیص خشونت انسان در اماکن عمومی است ، مجموعه داده های وضعیت خشونت در زندگی واقعی (RLV) گسترش یافته و مورد استفاده قرار می گیرد.شبیه سازی نتایج HFBDL نشان دهنده دقت 96.67 ٪ در داده های اعتبار سنجی است ، که دقیق تر از سایر روش های پیشرفته در این مجموعه داده است.برای نشان دادن توانایی مدل ما در سناریوهای دنیای واقعی ، مجموعه داده دیگری از 54 فیلم از هر دو موقعیت خشونت آمیز و غیر خشونت آمیز ضبط شد.این مدل می تواند با موفقیت 52 از 54 فیلم را به درستی تشخیص دهد.روش پیشنهادی عملکردی امیدوارکننده را در سناریوهای واقعی نشان می دهد.بنابراین ، می توان از آن برای شناخت اقدامات انسانی و تشخیص خشونت در اماکن عمومی برای اهداف امنیتی استفاده کرد.