NLPga kirish

NLP nima? Bu tabiiy tilni qayta ishlash 😌. Hey 😡 Men sizdan NLP ning to'liq shaklini so'ramadim, NLP haqida qisqacha ma'lumot bering, u nima qiladi yoki u qanday ishlaydi?

Agar siz to'liq shakl emas, balki NLP nima ekanligiga javob bermoqchi bo'lsangiz, mening ushbu maqolamni oxirigacha kuzatib boring va keyingi safar kimdir sizdan NLP nima ekanligini so'rasa? unga bemalol javob bera olasiz.

Yaxshiroq tushunish uchun NLP ni ajratamiz.

Tabiiy til (NL):

Tabiiy til nima? odamlar bilan muloqot qilish uchun tabiiy ravishda ishlatiladigan har qanday til. Har bir davlatning o'z milliy tili bor, bu til ham tabiiy tildir. Odamlar o'rtasida muloqot vositasi sifatida ishlatiladigan har qanday til tabiiy tildir. Masalan, urdu, ingliz, arab, koreys, xitoy va boshqa ko'plab tillar butun dunyo bo'ylab tabiiy tillardir.

Qayta ishlanmoqda:

Qayta ishlash nima? Yangi bola, ya'ni yangi tug'ilgan chaqaloq tug'ilganda, u hech qanday tilni bilmaydi. U bizning so'zlarni tushunolmaydi, mening ona tilim - urdu, demak, men tug'ilganimda miyamda nimadir bor edi: "OK, men urdu tilini faqat tug'ilish orqali tushunaman, boshqa tilga o'rganmagunimcha, boshqa tilni tushuna olmayman" degan.

Yo'q, bu noto'g'ri, biz tug'ilganimizda miyamiz butunlay yangi qattiq disk kabi bo'sh bo'ladi va bolalik davrida atrofimiz, ya'ni ota-onamiz, do'stlarimiz, qarindoshlarimiz bizga ona tilimiz ma'lumotlarini taqdim etadilar, bu ma'lumotlar rasmiy, norasmiy va boshqalarni o'z ichiga oladi. bu til.

Bu ma'lumotlar bizning miyamizda saqlanadi va boshqa odam nima deyotganini tushunishimizga yordam beradi. ‘Kya haal hai?’ ← — — — Ishonchim komilki, siz “Qandaysiz?” degan gapni tushunmagansiz, lekin buni tushungansiz. Bu urdu tilida “Kya haal hai?” “qalaysiz?” degan maʼnoni anglatadi. siz buni tushunolmadingiz, chunki sizning miyangiz urdu tili uchun ma'lumotga ega emas, lekin siz uni ingliz tilida tushundingiz, chunki sizning miyangiz ingliz tili uchun ma'lumotlarga ega.

Biz odatda Turkiyadan mashhur fasl kabi dublyajli filmlarni ko'ramiz. Men ko'rishni yaxshi ko'raman “Kurulus Usmon” turk tilida ko'rsam, miyam hech narsani tushunmaydi, chunki miyamda turk tili haqida ma'lumot yo'q. miya bu til bilan ishlay olmadi. Ammo o'sha mavsumda men uni inglizcha dublyajda ko'rganimda hamma narsani tushuna olaman, chunki mening xotiramda ingliz tilidagi ma'lumotlar bor, shuning uchun miyam ularni qayta ishlay oladi va ma'nolarini tushunishimga yordam beradi.

Yuqoridagi barcha narsadan so'ng, biz tushunadigan narsadirMa'lumotlarNLP uchun juda muhimdir.

Tabiiy tilni birgalikda qayta ishlash :

Agar 50 yil oldin kimdir kompyuter tabiiy tilni tushuna oladimi deb so'ragan bo'lsa, javob katta YO'Q bo'lar edi. Ammo hozir bu davrda bu mumkin va bu imkoniyatTabiiy tilni qayta ishlashdeb ataladi.

Ha! kompyuterni inson tilini tushunishga o'rgatish Natural Language Processing (NLP)deb ataladi

"Temir odam" bilan tanishing, filmdagi bu yigit o'zining "Temir odam" to'plamida yordamchisi bilan gaplashadi. Bu yordamchi kompyuterdan boshqa narsa emas edi va u kompyuter nafaqat tushunar, balki tabiiy tildajavob ham berardi, chunki bu yigit ushbu kompyuterdaNLPni amalga oshirgan.

NLP ni amalga oshirish uchun bizga uchta asosiy narsa kerak bo'ladi:

  • Ma'lumotlar (biz kompyuterimizni o'rgatmoqchi bo'lgan til uchun ma'lumotlar)
  • NLTK (Natural Language Toolkit)
  • Mashina o'rganish

Ma'lumotlar:

Yuqoridagi muhokamadan so'ng, nima uchun bizga ma'lumotlar kerakligi haqida qisqacha izoh berishim shart emas deb o'ylayman. Agar NLP tana bo'lsa, ma'lumotlar ruhdir.

NLTK:

Bu kutubxona bizga NLP uchun ko'p narsalarda yordam beradi, masalan, ma'lumotlarni oldindan qayta ishlash, tozalash va hokazo. Biz uni keyingi maqolamda ko'proq tushunishga yordam beradigan amaliy misol bilan ishlatamiz.

Mashinani o'rganish:

Xo'sh, bizning kompyuterimiz tilni tushuna oladi endi nima??? Men salom deyman, lekin u menga salom aytadimi? Ha, bu bo'ladi, lekin biz modelimizdagi ML algoritmlarini qo'llaganimizdan keyingina.

Ushbu maqolani yakunlashdan oldin aytmoqchi bo'lgan oxirgi narsa. Ma'lumotni olganimizda, odatda, ma'lumotlar xom ma'lumotdir, biz bu ma'lumotlarni to'g'ridan-to'g'ri ML modelimizga o'tkaza olmaymiz, chunki biz buni qilsak, aniqlik nolga yaqin bo'ladi. Oddiy so'z bilan aytganda, NLTK ma'lumotlar va ML o'rtasidagi ko'prikdir. Shunday qilib, ma'lumotlar NLTK orqali o'tganda, u ML uchun tayyor bo'ladi va biz filtrlangan ma'lumotlarni NLTK dan ML ga o'tkazganimizda. ancha yuqori aniqlikka erishamiz.

Agar sizga men tushuntirganim yoqsa va men sizga NLPni tushunishga yordam bergan bo'lsam, iltimos, mening elektron pochta ro'yxatimga rioya qiling va obuna bo'ling, men keyingi maqolamda NLP seriyasini yaratishga va'da beraman, men NLP-da tokenizatsiya haqida yozaman va shu vaqtgacha men tugataman. NLP-da yozish siz noldan qahramonga o'tasiz.