مبحث پردازش زبان­های طبیعی خود زیرمجموعه ­ای از حوزه­ گسترده­ی هوش مصنوعی است که توجهات دانشمندان و محققان فراوانی را به خود معطوف کرده است. شاید به ظاهر زبان­هایی که ما در زندگی روزمره برای ایجاد ارتباط با دیگران به کار می­گیریم، ساده باشند. اما در حقیقت این زبان­های انسانی پیچیدگی­های فراوانی دارند که همین پیچیدگی­ها منجر به شکل­ گیری زیرشاخه­های متعددی همچون ترجمه­ی ماشینی[2]، بازیابی اطلاعات[3]، پردازش متون[4]، تشخیص صحبت[5]، تحلیل گرامری[6] ، رفع ابهام معنایی[7] و غیره در زمینه­ پردازش زبان­های طبیعی شده است.

در واقع این مبحث نشأت گرفته از ابهامی است که در زبان­های طبیعی نهفته است؛ هرچند که وجود این ابهام­ها در اکثر مواقع از دید انسان پوشیده است. آنچه ابهام­های موجود بین سخنگویان بومی را مرتفع می­سازد توانش زبانی آنها، اطلاعات آنها در خصوص جهان پیرامون، طرح پرسش مجدد در صورت وجود یا احساس ابهام و بطور کلی مجموعه ­ای از اطلاعات زبانی و غیرزبانی است که سخنگویان بومی به آن مجهزند [40].

مسأله­ ابهام معنایی شامل تشخیص معنای صحیح یک کلمه با توجه به متنی است که در آن آمده است و در زمینه­ پردازش زبان­های طبیعی به آن رفع ابهام معنایی گفته می­ شود. این مهم در بسیاری از شاخه­های پردازش زبان­های طبیعی نیز مطرح بوده و کاربرد دارد که در این میان اصلی­ترین و مشهودترین مورد استفاده­ی آن در شاخه­ ترجمه­ی ماشینی است. لذا در این فصل ابتدا اشاره­ی کوتاهی به گستره­ی پردازش زبان­های طبیعی و زیرشاخه­های آن داشته، سپس مختصری به شرح مفهوم ترجمه­ی ماشینی و روش­های آن می­پردازیم.

1-2- پردازش زبان­های طبیعی

پردازش زبان­های طبیعی ‌كه معمولاً به اختصار به آن NLP گفته می­ شود یکی از نیازهای عصر فناوری جهت استفاده­ی بهینه از منابع اطلاعاتی است که امروزه با رشد حجم مستندات تولید شده و نیاز به نگهداری، دسته بندی، بازیابی و پردازش ماشینی و سریع آنها، توجه به این شاخه بیش از پیش خودنمایی می­ کند.

بنابراین می­توان گفت که یکی از زیرشاخه‌های با اهمیت در حوزه­ گسترده­ی هوش مصنوعی پردازش زبان­های طبیعی است؛ تا حدی که بسیاری از متخصصین در زمینه­ هوش مصنوعی بر این باورند كه مهمترین وظیفه ­ای كه هوش مصنوعی باید به آن بپردازد NLP است. دلیلی كه ایشان برای این اعتقاد خود ارائه می­كنند آن است كه پردازش زبان طبیعی راه ارتباط مستقیم انسان و كامپیوتر را از طریق مكالمه باز می­كند. به این ترتیب دیگر برنامه نویسی معمولی و قراردادهای مربوط به سیستم­های عامل كنار گذاشته خواهد شد. همچنین ‌اگر یک كامپیوتر بتواند یک زبان انسانی را درك كرده و به وسیله­ آن صحبت كند، دیگر به بسیاری از وظایفی كه باید توسط مهندسین نرم افزار طراحی شوند نیازی نخواهد بود. اما ابعاد و پیچیدگی­های زبان­های بشری دستیابی كامل به این قابلیت را دشوار ساخته است.

در پردازش زبان­های طبیعی، سعی می­ شود تا قابلیت درك دستوراتی كه به زبان­های انسانی استاندارد نوشته شده ­اند، به كامپیوتر داده شود. یعنی كامپیوتری داشته

خرید اینترنتی فایل متن کامل :

 

 

 باشیم که قادر باشد زبان انسان را تحلیل كند، بفهمد و حتی بتواند زبان طبیعی تولید كند. بدیهی است كه در راستای تحقق این هدف، نیاز به دانشی وسیع از زبان است. بنابراین علاوه بر محققان علوم كامپیوتر، دانش زبان­شناسان نیز مورد لزوم می­باشد. در زمینه­ پردازش زبان­های طبیعی باید پاسخ چهار سوال زیر مورد مطالعه قرار گیرد:

1. یک زبان از چه کلماتی تشکیل شده است؟
2. چگونه کلمات ترکیب می­شوند تا جملات زبان تشکیل شوند؟
3. معنی کلمات زبان چیست؟
4. معانی کلمات چگونه به کار گرفته می­شوند تا معنی جملات ساخته شود؟

به‌ طوركلی‌ نحوه­ كار این‌ شاخه‌ این‌ است‌ كه‌ زبان­های‌ طبیعیِ ‌انسان‌ را تقلید كند. در این‌ میان‌، پیچیدگی‌ انسان‌ از بعد روانشناسی‌ بر روی‌ ارتباط متعامل‌ تأثیر می‌گذارد. لذا پردازش زبان‌های طبیعی رهیافت بسیار جذابی برای ارتباط بین انسان و ماشین محسوب می‌شود و در صورت عملی شدنش به طور کامل، می‌تواند تحولات شگفت‌انگیزی را در پی داشته‌ باشد. شکل زیر یک شمای کلی از معماری پردازش زبان­های طبیعی را نشان می­دهد: