تشخيص توهم مدل‌هاي زباني بزرگ به كمك روش دگرنويسي

Detecting Hallucinations Generated by Large Language Models using Paraphrasing Technique

توهم در مدل‌هاي زباني بزرگ به خروجي‌هاي در ظاهر صحيح اما در باطن برخلاف واقعيت يا عدم وفادار به منبع اطلاق مي‌گردد. تشخيص توهم در مدل‌هاي زباني بزرگ به جهت جلوگيري از انتشار اين توهم‌ها در كاربردهايي كه به طور مستقيم يا غيرمستقيم با مدل‌هاي زباني بزرگ ارتباط دارند، اهميت دارد. در اين پژوهش از الگوريتم ساده‌اي جهت تشخيص متوهم بودن يك مدل زباني بزرگ استفاده كرده‌ايم. فرضيه ما بر اين اساس است كه اگر مدل زباني بزرگ به دگرنويسي‌هاي يك پرسش پاسخ دهد و در ميان پاسخ‌هاي آن تناقضي كشف شود آن گاه گوييم دچار توهم شده است و اگر پاسخ‌ها سازگار باشند، به احتمال بالايي پاسخ درستي مي‌دهد. اين دو فرضيه را با آزمايش‌هايي بررسي و تأييد كرده‌ايم. به اين ترتيب روش پيشنهادي ما براي كشف توهم در پاسخ به يك پرسش، ايجاد دگرنويسي‌هاي مختلف آن پرسش و بررسي وجود ناسازگاري يا تناقض در پاسخ‌هاي داده شده به پرسش‌هاي توليد شده است. وجود يا عدم ناسازگاري، وجود يا عدم توهم را تأييد مي‌كند. آزمايشات نشان‌ مي‌دهند اين روش با دقت بالايي قادر به كشف توهم در پاسخ به سؤالات است.

Hallucination in large language models refers to outputs that appear correct but contradict reality or diverge from the source. Detecting hallucination in large language models is crucial to prevent the dissemination of these hallucinations in applications directly or indirectly related to such models. In this study, we have employed a simple algorithm to detect hallucination in a large language model. Our hypothesis is based on the hypothesis that if a large language model responds to the paraphrases of a question and an inconsistency is discovered among its answers, then we say that it is hallucination, and if the answers are consistent, it likely provides a correct answer. We have checked and confirmed these two hypotheses with experiments. In this way, our proposed method to discover the hallucination in answering a question is to create different paraphrases of that question and check the existence of inconsistencies or contradictions in the answers given to the generated questions. The presence or absence of inconsistency confirms the presence or absence of hallucinations. Experiments show that this method is able to detect hallucination in answering questions with high accuracy.