Powiązane publikacje 'nltk'


Klasyfikacja tekstu za pomocą TextCNN
Jeśli chcesz klasyfikować dane tekstowe, TextCNN to popularna i skuteczna architektura, której można używać do kategoryzowania tekstu na różne klasy. W tym artykule omówimy podstawy TextCNN i dowiemy się, jak wdrożyć je w PyTorch w celu klasyfikowania adresów na kategorie, takie jak instytucje edukacyjne, instytuty komercyjne, kompleksy sportowe i inne. Klasyfikacja tekstu to podstawowe zadanie w przetwarzaniu języka naturalnego (NLP), którego celem jest przypisanie fragmentowi tekstu..
Rozpoznawanie jednostek nazwanych (NER) – Część II, Implementacja z pakietami open source
Użyj SpaCy i NLTK, aby zaimplementować NER w kilku linijkach kodu Podsumowanie Proszę zapoznać się z moim poprzednim artykułem na temat NER, aby uzyskać przegląd tego, co oznacza NER, dlaczego jest przydatny i ogólny przebieg jego wdrażania. W tym poście… W tym poście przyjrzymy się najczęściej używanym pakietom open source dla NER — SpaCy i NLTK. Jak wspomniałem w poprzednim „artykule”, te…
Ćwicz NLTK, Word2vec , PCA, wordcloud, Jieba w serii o Harrym Potterze i chińskich treściach
Ostatnio uczę się NLP i uważam, że jest to dość trudne. NLP wydaje się bardziej skomplikowane niż wizja komputerowa, ponieważ wzory pikseli są uniwersalne, ale język jest zróżnicowany, sposób tworzenia modelu językowego w języku chińskim różni się od angielskiego czy niemieckiego. Weźmy na przykład tokenizację. Możemy użyć spacji, aby tokenizować angielskie zdanie „I am a boy”, ale jak przeprowadzić tokenizację w chińskim zdaniu „我是一個男孩”? W tym artykule pokrótce zademonstruję, jak..
Przygotowanie tekstu do NLP (Python)
Oto 7 kroków, które możesz wykonać, aby przygotować swoje dane do NLP. Nie jest konieczne, aby wszystkie 7 zadań musiało być zawsze wykonane lub aby były one istotne dla Twojego ogólnego obrazu sytuacji. Wyczyść dane. Usuń wszystkie anomalie i niezrozumiałe dane. Możesz napisać coś w stylu: #fileContent = "<li>Who drank my coffee?😡</li><li>I would say whoever ate your avocado toast😜</li>" import re processedText = "" with..
#AnalysingError: Nie znaleziono zasobu universal_tagset.
#AnalysingError: Nie znaleziono zasobu universal_tagset. Dlaczego tak się dzieje? Mam następujący kod w moim pliku Notebook/python. Jednak kiedy wykonałem ten kod na zupełnie nowej maszynie wirtualnej z tylko podstawową Anacondą, pojawiły się następujące błędy: --------------------------------------------------------------------------- LookupError Traceback (most recent call last) <ipython-input-2-03af1289e1af> in <module> 1 #..
Webografia dla 4 manekinów, aby zrobić to w uczeniu maszynowym — rozdział 23, scena 2
Klub Ratio Brytyjski fizjolog William Gray Walter (1910-1977) był jednym z pierwszych członków interdyscyplinarnego klubu Ratio. To… noosanakainisis.blogspot.com Profesor Harold Shipton Pionierska postać w elektronice medycznej, Harold Shipton, był uosobieniem naukowego głupka. Jego kamyk… www.thetimes.co.uk .readlines() – Wyszukiwarka Google readlines()..
Inżynieria funkcji z NLTK dla NLP i Pythona
W zeszłym tygodniu zapoznałem się z niektórymi „podstawowymi funkcjami” zestawu narzędzi języka naturalnego (NLTK) do przetwarzania języka naturalnego (NLP). Kontynuowałem moją podróż do NLP, stosując te podstawowe funkcje do Moby Dicka Hermana Melville'a. Dokument tekstowy jest dostarczany przez Project Gutenberg , kilka książek na tej stronie jest dostępnych za pośrednictwem pakietu Python NLTK. Szczegółowo opisałem proces czyszczenia w poprzednim blogu, w którym musiałem..