تیمی از محققان دانشگاه پکن و JD AI Research اخیراً یک چارچوب استدلال چند دانه برای شناخت روابط اجتماعی تهیه کرده اند. چارچوب آنها ، در مقاله ای که از قبل در مورد arXiv منتشر شده است ، برای تجزیه و تحلیل تصاویر افراد در صحنه های مختلف و پیش بینی رابطه اجتماعی بین آنها آموزش داده شده است.
استنباط موثر در روابط اجتماعی بین مردم می تواند به عوامل هوشمند کمک کند تا درک بهتری از رفتارها و عواطف انسانی داشته باشند. شناخت رابطه اجتماعی مبتنی بر تصویر مستلزم توانایی طبقه بندی رابطه بین جفت افراد در یک تصویر در انواع روابط از پیش تعریف شده ، مانند دوستان ، خانواده ، آشنایان ، غریبه ها و غیره است.
ابزارهای شناسایی ارتباطات اجتماعی مبتنی بر تصویر می توانند کاربردهای مفیدی داشته باشند ، به عنوان مثال در جمع آوری تصویر شخصی و درک رویدادهای اجتماعی. پیشرفت های اخیر در یادگیری عمیق ، فرصت های جدیدی را برای شناخت روابط اجتماعی گشوده است و منجر به پیشرفت های چشمگیر در عملکرد می شود.
با این وجود ، به طور خودکار به رسمیت شناختن روابط اجتماعی در تصاویر ، تاکنون چالش برانگیز بوده است ، خصوصاً به دلیل شکاف اساسی بین حوزه های محتوای بصری و روابط اجتماعی. اکثر رویکردهای موجود با استفاده از ویژگیهای پردازش جداگانه مانند صورت ، ظاهر بدن و سرنخهای متنی کار می کنند.
محققان در مقاله خود نوشتند: "روشهای موجود برای شناخت روابط اجتماعی معمولاً از ویژگیهای بصری سطح پایین مانند ظاهر افراد ، ویژگیهای چهره و اشیاء متنی استفاده می کنند." "اگرچه برخی از رویکردها روابط بین اشخاص و اشیاء را مورد بررسی قرار می دهند ، اما تنها همزیستی را در یک تصویر در نظر می گیرند. با این وجود ، تنها با توجه به نمایندگی تک دانه ای می توان به سختی بر شکاف دامنه بین ویژگیهای بصری و روابط اجتماعی غلبه کرد."
مروری بر چارچوب استدلال چند دانه ای. اعتبار: ژانگ و همکاران.
با تجزیه و تحلیل ویژگیها به صورت جداگانه ، روشهای موجود برای شناسایی روابط اجتماعی به طور معمول قادر به ضبط معانی چند ذره ای ، مانند صحنه های کلی یا مکانهایی که افراد در یک تصویر قرار دارند ، و همچنین تعامل بین افراد و اشیاء نیست. برای رسیدگی به این محدودیت ها ، تیم محققان دانشگاه پکن و JD AI Research یک چارچوب استدلال چند دانه ای برای شناخت روابط اجتماعی در تصاویر طراحی کردند.
چارچوب آنها دانش کلی جهانی را از کل صحنه و جزئیات سطح میانی از مناطقی که افراد و اشیاء در یک تصویر قرار دارند ، کسب می کند. همچنین دانه های ریز و درشت نقاط کلیدی مردم را کشف می کند تا از تعامل بین افراد و اشیاء پرده برداری کند.
لینک فیلم: https://www.namasha.com/v/dFHRrToj
محققان در مقاله خود توضیح دادند: "به طور خاص ، نمودارهای شخصیت-هدایت شده برای شخص منفی و نمودار شخص-درخشان به منظور مدل سازی اقدامات از افراد به موضوع و تعامل بین افراد زوج به ترتیب پیشنهاد می شوند." "بر اساس این نمودارها ، استدلال در رابطه اجتماعی توسط شبکه های حلقوی نمودار انجام می شود. سرانجام ، ویژگی های جهانی و دانش استدلالی به عنوان یک بازنمایی جامع برای شناخت روابط اجتماعی ادغام می شوند."
محققان مدل خود را بر روی دو مجموعه داده روابط اجتماعی در مقیاس بزرگ ، یعنی افراد در زمینه اجتماعی (PISC) و مجموعه افراد در آلبوم عکس (PIPA) ارزیابی کردند. مجموعه داده PISC حاوی تصاویری از روابط اجتماعی مشترک در زندگی روزمره است ، در حالی که مجموعه داده PIPA حاوی تصاویر حاشیه نویسی بر اساس نظریه حوزه اجتماعی است که زندگی اجتماعی را به پنج حوزه و 16 روابط مختلف تقسیم می کند. در این آزمونها ، مدل آنها نتایج چشمگیری به دست آورد ، و از بسیاری از روشهای پیشرفته و برتر استفاده می کند.
با وجود این نتایج دلگرم کننده ، توسعه ابزار برای به رسمیت شناختن روابط اجتماعی بسیار چالش برانگیز است ، به خصوص وقتی این روابط صمیمی مانند روابط بین دوستان ، خانواده یا زوجین باشد ، که تشخیص بینندگان انسانی نیز می تواند دشوار باشد. در آینده محققان قصد دارند روشهای جدیدی را برای کشف نشانه های زمینه در تصاویر و غلبه بر چالش های ناشی از کمبود داده های موجود برای برخی از انواع روابط اجتماعی کشف کنند.
تیمی از محققان دانشگاه پکن و JD AI Research اخیراً یک چارچوب استدلال چند دانه برای شناخت روابط اجتماعی تهیه کرده اند. چارچوب آنها ، در مقاله ای که از قبل در مورد arXiv منتشر شده است ، برای تجزیه و تحلیل تصاویر افراد در صحنه های مختلف و پیش بینی رابطه اجتماعی بین آنها آموزش داده شده است.
استنباط موثر در روابط اجتماعی بین مردم می تواند به عوامل هوشمند کمک کند تا درک بهتری از رفتارها و عواطف انسانی داشته باشند. شناخت رابطه اجتماعی مبتنی بر تصویر مستلزم توانایی طبقه بندی رابطه بین جفت افراد در یک تصویر در انواع روابط از پیش تعریف شده ، مانند دوستان ، خانواده ، آشنایان ، غریبه ها و غیره است.
ابزارهای شناسایی ارتباطات اجتماعی مبتنی بر تصویر می توانند کاربردهای مفیدی داشته باشند ، به عنوان مثال در جمع آوری تصویر شخصی و درک رویدادهای اجتماعی. پیشرفت های اخیر در یادگیری عمیق ، فرصت های جدیدی را برای شناخت روابط اجتماعی گشوده است و منجر به پیشرفت های چشمگیر در عملکرد می شود.
با این وجود ، به طور خودکار به رسمیت شناختن روابط اجتماعی در تصاویر ، تاکنون چالش برانگیز بوده است ، خصوصاً به دلیل شکاف اساسی بین حوزه های محتوای بصری و روابط اجتماعی. اکثر رویکردهای موجود با استفاده از ویژگیهای پردازش جداگانه مانند صورت ، ظاهر بدن و سرنخهای متنی کار می کنند.
محققان در مقاله خود نوشتند: "روشهای موجود برای شناخت روابط اجتماعی معمولاً از ویژگیهای بصری سطح پایین مانند ظاهر افراد ، ویژگیهای چهره و اشیاء متنی استفاده می کنند." "اگرچه برخی از رویکردها روابط بین اشخاص و اشیاء را مورد بررسی قرار می دهند ، اما تنها همزیستی را در یک تصویر در نظر می گیرند. با این وجود ، تنها با توجه به نمایندگی تک دانه ای می توان به سختی بر شکاف دامنه بین ویژگیهای بصری و روابط اجتماعی غلبه کرد."
مروری بر چارچوب استدلال چند دانه ای. اعتبار: ژانگ و همکاران.
با تجزیه و تحلیل ویژگیها به صورت جداگانه ، روشهای موجود برای شناسایی روابط اجتماعی به طور معمول قادر به ضبط معانی چند ذره ای ، مانند صحنه های کلی یا مکانهایی که افراد در یک تصویر قرار دارند ، و همچنین تعامل بین افراد و اشیاء نیست. برای رسیدگی به این محدودیت ها ، تیم محققان دانشگاه پکن و JD AI Research یک چارچوب استدلال چند دانه ای برای شناخت روابط اجتماعی در تصاویر طراحی کردند.
چارچوب آنها دانش کلی جهانی را از کل صحنه و جزئیات سطح میانی از مناطقی که افراد و اشیاء در یک تصویر قرار دارند ، کسب می کند. همچنین دانه های ریز و درشت نقاط کلیدی مردم را کشف می کند تا از تعامل بین افراد و اشیاء پرده برداری کند.
لینک فیلم: https://www.namasha.com/v/dFHRrToj
محققان در مقاله خود توضیح دادند: "به طور خاص ، نمودارهای شخصیت-هدایت شده برای شخص منفی و نمودار شخص-درخشان به منظور مدل سازی اقدامات از افراد به موضوع و تعامل بین افراد زوج به ترتیب پیشنهاد می شوند." "بر اساس این نمودارها ، استدلال در رابطه اجتماعی توسط شبکه های حلقوی نمودار انجام می شود. سرانجام ، ویژگی های جهانی و دانش استدلالی به عنوان یک بازنمایی جامع برای شناخت روابط اجتماعی ادغام می شوند."
محققان مدل خود را بر روی دو مجموعه داده روابط اجتماعی در مقیاس بزرگ ، یعنی افراد در زمینه اجتماعی (PISC) و مجموعه افراد در آلبوم عکس (PIPA) ارزیابی کردند. مجموعه داده PISC حاوی تصاویری از روابط اجتماعی مشترک در زندگی روزمره است ، در حالی که مجموعه داده PIPA حاوی تصاویر حاشیه نویسی بر اساس نظریه حوزه اجتماعی است که زندگی اجتماعی را به پنج حوزه و 16 روابط مختلف تقسیم می کند. در این آزمونها ، مدل آنها نتایج چشمگیری به دست آورد ، و از بسیاری از روشهای پیشرفته و برتر استفاده می کند.
با وجود این نتایج دلگرم کننده ، توسعه ابزار برای به رسمیت شناختن روابط اجتماعی بسیار چالش برانگیز است ، به خصوص وقتی این روابط صمیمی مانند روابط بین دوستان ، خانواده یا زوجین باشد ، که تشخیص بینندگان انسانی نیز می تواند دشوار باشد. در آینده محققان قصد دارند روشهای جدیدی را برای کشف نشانه های زمینه در تصاویر و غلبه بر چالش های ناشی از کمبود داده های موجود برای برخی از انواع روابط اجتماعی کشف کنند.