Wprowadzenie do NLP

Co to jest NLP? to jest przetwarzanie języka naturalnego 😌. Hej 😡 Nie prosiłem Cię o pełną formę NLP, daj mi krótkie wprowadzenie do NLP, co to robi i jak działa?

Jeśli chcesz odpowiedzieć na pytanie, czym jest NLP, a nie tylko w pełnej formie, trzymaj się tego artykułu do końca i następnym razem, gdy ktoś zapyta Cię, czym jest NLP? będziesz mógł mu z łatwością odpowiedzieć.

Rozłóżmy NLP dla lepszego zrozumienia.

Język naturalny (NL):

Co to jest język naturalny? dowolny język, który został opracowany w sposób naturalny i używany w komunikacji międzyludzkiej. Każdy kraj ma swój własny język narodowy, który jest jednocześnie językiem naturalnym. Każdy język używany jako środek komunikacji między ludźmi jest językiem naturalnym. Np. urdu, angielski, arabski, koreański, chiński i wiele innych języków na całym świecie to języki naturalne.

Przetwarzanie:

Co to jest przetwarzanie? Cóż, kiedy rodzi się nowe dziecko, czyli noworodek, nie zna on żadnego języka. Nie rozumie naszych słów. Moim językiem ojczystym jest urdu. Czy to oznacza, że ​​kiedy się urodziłem, w moim mózgu było coś, co mówiło „OK”. Rozumiem tylko urdu od urodzenia, a nie żaden inny język, dopóki nie nauczę się innego języka.

Nie, to źle, kiedy się rodzimy, nasz mózg jest pusty jak nowy dysk twardy, a w dzieciństwie nasze otoczenie, tj. nasi rodzice, przyjaciele, krewni dostarczają nam danych w naszym ojczystym języku, które obejmują formalne, nieformalne itp. sposoby ten język.

Dane te są przechowywane w naszym mózgu i pomagają nam zrozumieć, co mówi druga osoba. „Kya haal hai?” ← — — — Jestem pewien, że nie zrozumiałeś tego „Jak się masz?”, ale zrozumiałeś. To jest w języku urdu: „Kya haal hai?” oznacza „Jak się masz?” nie mogłeś tego zrozumieć, ponieważ twój mózg nie ma danych dla języka urdu, ale zrozumiałeś to po angielsku, ponieważ twój mózg ma dane dla języka angielskiego.

Zwykle oglądamy filmy z dubbingiem, na przykład słynny sezon z Turcji, który uwielbiam oglądać, to „Kurulus Osman”. Jeśli oglądam go w języku tureckim, mój mózg nic nie zrozumie, ponieważ nie mam w mózgu danych na temat języka tureckiego, stąd mój mózg nie był w stanie przetworzyć tego języka. Ale w tym samym sezonie, kiedy oglądam to z angielskim dubbingiem, wszystko rozumiem, ponieważ mam w pamięci dane w języku angielskim, dzięki czemu mój mózg może je przetworzyć i sprawić, że zrozumiem znaczenia.

W końcu rozumiemy jedną rzecz: Dane są bardzo ważne dla NLP.

Przetwarzanie języka naturalnego łącznie:

Gdyby 50 lat temu ktoś zapytał, czy komputer rozumie język naturalny, odpowiedź byłaby duża: NIE. Ale teraz, w tej erze, jest to możliwe i nazywa się to przetwarzaniem języka naturalnego.

Tak! szkolenie komputera w rozumieniu ludzkiego języka nazywa się przetwarzaniem języka naturalnego (NLP).

Poznaj tego gościa, „Iron Mana”, tego gościa w filmie, którego używa do rozmowy ze swoim asystentem w swoim apartamencie „Iron Man”. Tym asystentem był po prostu komputer, który nie tylko rozumiał, ale także odpowiadał w języku naturalnym, ponieważ ten facet zaimplementował NLPna tym komputerze.

Aby wdrożyć NLP, potrzebowalibyśmy 3 głównych rzeczy:

  • Dane (dane dla języka, dla którego chcemy trenować nasz komputer)
  • NLTK (zestaw narzędzi do języka naturalnego)
  • Nauczanie maszynowe

Dane:

Po powyższej dyskusji chyba nie muszę wyjaśniać, dlaczego potrzebujemy danych, wystarczy krótka notatka. Jeśli NLP jest ciałem, to Data jest duszą.

NLTK:

Jest to biblioteka, która pomoże nam w wielu rzeczach związanych z naszym NLP, takich jak wstępne przetwarzanie danych, czyszczenie itp. Będziemy jej używać w następnym artykule z praktycznym przykładem, który pomoże ci lepiej ją zrozumieć.

Uczenie maszynowe:

Ok, nasz komputer może teraz zrozumieć język, co ??? Mówię cześć, ale czy przywita się ze mną? tak, ale dopiero po użyciu algorytmów ML w naszym modelu.

Ostatnia rzecz, jaką chciałbym powiedzieć, zanim zakończę ten artykuł. Kiedy otrzymujemy dane, są to zwykle dane surowe, których nie możemy bezpośrednio przekazać do naszego modelu ML, ponieważ jeśli to zrobimy, dokładność będzie bliska zeru. W prostych słowach możemy powiedzieć, że NLTK jest pomostem pomiędzy danymi a ML. Zatem kiedy dane przechodzą przez NLTK, są gotowe do ML, a następnie, kiedy przekazujemy przefiltrowane dane z NLTK do naszego ML. uzyskujemy znacznie większą dokładność.

Jeśli podoba Ci się sposób, w jaki wyjaśniłem i pomogłem Ci w zrozumieniu NLP, uprzejmie śledź i zapisz się na moją listę e-mailową. Obiecuję, że w moim następnym artykule napiszę serię o NLP. Będę pisać o tokenizacji w NLP i zanim skończę pisząc o NLP, przejdziesz od zera do bohatera.