جستجوي مبتني بر برچسب در فليكر با استفاده از تركيب اطلاعات فوكسونومي و ويژگي‌هاي بصري تصوير

Tag-based search on Flickr by combining folksonomy information and image visual features

با محبوبيت وب سايت‌هاي به اشتراك گذاري تصاوير مانند فليكر، پيكاسا و زومر، تكنولوژي‌هاي بازيابي موثر براي حجم زياد تصاوير موجود مورد نياز است. در بازيابي مبتني بر برچسب، بيشتر از روش‌هاي موجود با ويژگي‌هاي برچسب يا ويژگي‌هاي بصري به منظور تخمين ميزان ارتباط برچسب با تصاوير استفاده مي‌كنند و اطلاعات كاربران را مد نظر قرار نمي‌دهند. در اين مقاله روشي ارايه مي‌دهيم كه بر اساس اطلاعات استخراج شده از ارتباط سه‌تايي ميان كاربران، تصاوير و برچسب‌هاي موجود در فوكسونومي و ويژگي‌هاي بصري استخراج شده از تصاوير، شباهت ميان تصاوير و برچسب‌ها را به دست آورده، و از شباهت استخراج شده براي بازيابي مبتني بر برچسب استفاده مي‌كنيم. ما براي بدست آوردن شباهت ميان تصاوير بر اساس ويژگي‌هاي بصري از روش محاسبه شباهت كسينوسي ويژگي‌هاي محلي تصاوير استفاده مي‌كنيم. براي ارزيابي كار خود از ديتاست NUS-WIDE استفاده كرديم. به دليل اين‌كه اين ديتاست اطلاعات كاربران را شامل نمي‌شود، از API ارايه شده فليكر به منظور دريافت اطلاعات اختصاص برچسب‌ها و كاربران موجود در فوكسونومي استفاده كرديم. ارزيابي انجام شده، بهبود نتايج روش پيشنهادي مبتني بر تركيب ويژگي‌هاي بصري و فوكسونومي در بازيابي مبتني بر برچسب را نسبت به روش‌هايي كه به تنهايي از ويژگي‌هاي بصري يا از فوكسونومي بهره مي‌برند، نشان مي‌دهد.

In recent years, there are explosive photo sharing websites such as Flickr that users can upload and annotate images with arbitrary keywords called tags. Consequently users have been overwhelmed by the huge numbers of images that effective retrieval technology for this volume of images is needed. In tag-based image retrieval most existing methods use tags or visual characteristics and do not consider users information. In this paper we propose a system for tag-based image retrieval on Flickr. Base on extracted information from ternary relationships between users, images and tags in folksonomy and simultaneously visual features that extracted from images, the similarity between images and tags derive and use for tag-based image retrieval. A folksonomy can be viewed as a three-dimensional space of users, tags, and images; consequently this three-dimensional space can be projected onto three two-dimensional matrices user-tag, user-image and tag-image. We then extract Tag-Image similarity from tag-item matrix. To calculate similarity between images based on visual features we use cosine similarity between local features. To validate the effectiveness of our proposed approach on real-world web image datasets, we conduct extensive experiments on the image dataset NUS-WIDE. Since the NUS-WIDE dataset do not contain user information and only contain visual features and tag information, we use Flickr API to access users tag assignments. Experimental evaluations demonstrate that using simultaneously folksonomy and image visual features can improve results of tag-based image retrieval than using separated folksonomy information or image visual features.