Introducere în NLP

Ce este NLP? este procesarea limbajului natural 😌. Hei 😡 Nu ți-am cerut forma completă de NLP, dă-mi o scurtă prezentare a NLP ce face sau cum funcționează?

Dacă doriți să răspundeți ce este NLP și nu doar formularul complet, rămâneți cu acest articol până la sfârșit și data viitoare cineva vă va întreba ce este NLP? ii vei putea raspunde cu usurinta.

Să defalcăm NLP-ul pentru o mai bună înțelegere.

Limba naturală (NL):

Ce este limbajul natural? orice limbaj care a fost dezvoltat în mod natural folosit pentru comunicarea umană. Fiecare țară are propria limbă națională, care este și limba naturală. Orice limbaj care este folosit ca mediu de comunicare intre oameni este un limbaj natural. De exemplu, urdu, engleză, arabă, coreeană, chineză și multe alte limbi din întreaga lume sunt limbi naturale.

Procesare:

Ce este procesarea? Ei bine, când se naște un nou copil, adică nou născut, el nu știe nicio limbă. El nu poate înțelege cuvintele noastre, limba mea maternă este urdu, așa că înseamnă că atunci când m-am născut a existat ceva în creierul meu care spunea ok, pot înțelege urdu doar prin naștere și nu orice altă limbă până când sunt instruit pentru o altă limbă.

Nu, este greșit când ne naștem, creierul nostru este gol ca un hard disk nou și în timpul copilăriei, împrejurimile noastre, adică părinții, prietenii, rudele noștri ne furnizează datele din limba noastră maternă, care includ modalități formale, informale etc. limba respectivă.

Aceste date sunt stocate în creierul nostru și ne ajută să înțelegem ce spune cealaltă persoană. ‘Kya haal hai?’ ← — — — Sunt sigur că nu ai înțeles acest „Ce mai faci?’, dar ai înțeles asta. Aceasta este în urdu „Kya haal hai?” înseamnă „ce mai faci?” nu ai putut să-l înțelegi pentru că creierul tău nu are date pentru limba urdu, dar ai înțeles-o în engleză pentru că creierul tău are date pentru limba engleză.

De obicei ne uităm la niște filme dublate, cum ar fi un sezon celebru din Turcia pe care ador să-l văd este „Kurulus Osman”. creierul nu a putut procesa cu acest limbaj. Dar în același sezon în care îl urmăresc în dublare în engleză, pot înțelege totul, deoarece am date în limba engleză în memorie, de aceea creierul meu le poate procesa și mă poate face să înțeleg semnificațiile.

La urma urmei, un lucru pe care îl înțelegem este că Datele sunt foarte importante pentru NLP.

Procesarea limbajului natural în totalitate:

Dacă în urmă cu 50 de ani cineva ar fi întrebat dacă un computer poate înțelege limbajul natural, atunci răspunsul ar fi un mare NU. Dar acum, în această eră, este posibil și această posibilitate se numește Procesarea limbajului natural

Da! instruirea unui computer pentru a înțelege limbajul uman se numește Procesarea limbajului natural (NLP).

Cunoaște-l pe acest tip „Iron Man” pe care acest tip din film îl folosește pentru a vorbi cu asistentul său în suita lui „Iron Man”. Asistentul acela nu era altceva decât un computer și acel computer nu numai că înțelegea, ci și răspundea în Limbă naturalăpentru că acest tip a implementat NLPpe acest computer.

Pentru a implementa NLP am avea nevoie de 3 lucruri majore:

  • Date (date pentru limba pentru care dorim să ne instruim computerul)
  • NLTK (Setul de instrumente pentru limbajul natural)
  • Învățare automată

Date:

După discuția de mai sus, nu cred că trebuie să explic de ce avem nevoie de date doar o scurtă notă. Dacă NLP este corpul, atunci Data este sufletul.

NLTK:

Este o bibliotecă care ne va ajuta cu multe lucruri pentru NLP-ul nostru, cum ar fi preprocesarea datelor, curățarea și etc. O vom folosi în următorul meu articol cu ​​câteva exemple practice care vă vor ajuta să înțelegeți mai mult.

Învățare automată:

Ok computerul nostru poate înțelege limba acum ce ??? Salut, dar îmi va saluta înapoi? da, va fi, dar numai după ce vom folosi algoritmii ML pe modelul nostru.

Ultimul lucru pe care aș vrea să-l spun înainte de a încheia acest articol. Când obținem datele, datele sunt de obicei date brute, nu putem transmite direct aceste date modelului nostru ML, deoarece, dacă o facem, precizia va fi aproape de zero. Cu cuvinte simple, putem spune că NLTK este o punte între Data și ML. Deci, atunci când datele trec prin NLTK, sunt gata pentru ML și apoi când trecem datele filtrate din NLTK în ML nostru. obținem o precizie mult mai mare.

Dacă vă place modul în care v-am explicat și v-am ajutat să înțelegeți NLP, vă rugăm să urmați și să vă abonați la lista mea de e-mail, promit că voi face o serie de NLP în următorul meu articol, voi scrie despre tokenizare în NLP și până când voi termina scriind pe NLP vei trece de la zero la erou.