استخراج روابط محلي وابسته به ترتيب كلمات با استفاده از يك مدل سلسله‌مراتبي بيز

در اين مقاله، يك مدل سلسله مراتبي بيز براي استخراج روابط محلي كلمات معرفي شده‌است. اين مدل را مي‌توان يك مدل براي زبان دانست. مدل‌هاي زباني كنوني به دليل وابستگي به ترتيب دقيق كلمات، به شدت از مشكل تنكي رنج مي‌برند. مدل پيشنهادي قادر است ضمن ناديده نگرفتن ترتيب كلمات، اين مشكل را تخفيف دهد. در مدل پيشنهادي كه يك مدل مولد است، فرض مي‌شود كه هر كلمه از يكي از كلمات قبلي خود در يك بازه محدود يا به‌بيان‌ديگر، يك پنجره با طول ثابت، توليد شده‌است. به‌اين‌ترتيب، هر كلمه خود توزيعي بر روي كلمات است. برخلاف مدل‌هاي n-gram كه توزيعي بر روي دنباله‌هاي كلمات هستند و درنتيجه دنباله‌هاي دقيقاً مرتب كلمات را مي‌شمرند، در مدل پيشنهادي به دنبال زوج‌كلماتي هستيم كه ممكن است با فاصله‌هاي مختلف از يكديگر رخ داده باشند. به‌اين‌ترتيب مشكل تنكي تا حد زيادي تخفيف مي‌يابد. مدل پيشنهادي از نظر تواناييش در مدل كردن داده‌ها با استفاده از معيار perplexity  با مدل n-gram مقايسه شده‌است و براي پنجره‌هايي با طول‌هاي مختلف، بهتر از مدل n-gram عمل كرده‌است.