تحليل آماري واژه‏هاي فارسي مقالات علوم انساني بر مبناي قانون زيف

در پي كمبود ابزارهاي ابتدايي پردازش زبان طبيعي فارسي و نياز روزافزون به برنامه‏هاي ماشيني مبتني بر زبان طبيعي، با مطالعه و اثبات تابعيت زبان فارسي از قوانين زبانشناسي كَمّي، مي‏توان بين زبان‌هاي برنامه‏نويسي و زبان‌هاي طبيعي پل ارتباطي ايجاد كرد. قانون زيف از جمله قوانيني است كه در زبانشناسي كمي، در عين سادگي مي‏تواند نقشي مهمي در پردازش زبان طبيعي فارسي ايفا كند. چرا كه با استفاده از نتايج و گزارش‏هاي حاصل از اين تحليل، مي‏توان برنامه‏ها و ابزارهاي پردازش زبان طبيعي را به گونه‏اي اصولي‏تر ساخت. در پژوهش حاضر پيكره‏اي كوچك مقياس، ساخته شد و سطح قابل قبولي از پيش‏پردازش با رويكردي زبانشناسانه بر روي آن اجرا و سپس قانون زيف بر روي آن پياده‏سازي و بردار و نمودارهاي زيف آن رسم شد. به منظور اعتبارسنجي از ضريب همبستگي پيرسون ما بين بسامدهاي تخميني و واقعي استفاده شد. همچنين بردارهاي رسم شد با بردارهاي زيف پيكره‏هاي ديگر به زبان انگليسي كه از اين قانون پيروي مي‏كنند مقايسه شد. نتيجه حاصل، تبعيت زبان فارسي از اين قانون بود.