Potężne podejście do korekcji skośności, gdy zawodzi skaler Standard lub MinMax.
Witam, dzisiaj przyjrzymy się kolejnemu interesującemu tematowi o nazwie Power Transformer.
Zwykle mamy do czynienia z bardzo wypaczonymi danymi i prawie niemożliwe jest ich skorygowanie, a wiele modeli liniowych wymaga pewnej transformacji cech numerycznych, aby uzyskać rozkład normalny ze względu na założenia dotyczące modelowania liniowego.
StandardSCaler i MinMaxSclaer działają dobrze w przypadku większości rozkładów, ale nie w przypadku danych silnie skośnych, ponieważ ma to wpływ na podstawowe metryki rozkładu, takie jak wartości średnie, mediana, minimalne i maksymalne.
Zastosowanie sklearn PowerTransformer użyje transformacji logarytmicznej, aby przekształcić dowolną skośną cechę w rozkład normalny tak blisko, jak to możliwe.
Zobaczmy jak to działa.
import seaborn as sns
diamonds = sns.load_dataset("diamonds")
diamonds[["price", "carat"]].hist(figsize=(10, 5));
#Obydwa są mocno przekrzywione. Naprawmy to za pomocą transformacji logarytmicznej
from sklearn.preprocessing import PowerTransformer pt = PowerTransformer() diamonds.loc[:, ["price", "carat"]] = pt.fit_transform(diamonds[["price", "carat"]]) diamonds[["price", "carat"]].hist(figsize=(10, 5));
Oto jesteśmy……. zbliżony do rozkładu normalnego.
W ten sposób pomoże to naszemu modelowi osiągnąć większą dokładność.
Wspaniale jest znać takie nowe, zaawansowane techniki. Dzięki sklearnowi. Następnie zajmiemy się innym zaawansowanym wariantem regresji liniowej o nazwie Theil Sen Regresor
Jeszcze raz dziękuję za poświęcony czas. Jeśli spodobał Ci się ten krótki artykuł, w moim średnim repozytorium dostępnych jest mnóstwo tematów z zakresu zaawansowanej analityki, analizy danych i uczenia maszynowego. https://medium.com/@bobrupakroy
Niektóre z moich alternatywnych obecności w Internecie Facebook, Instagram, Udemy, Blogger, Issuu, Slideshare, Scribd i nie tylko.
Dostępne również w Quora @ https://www.quora.com/profile/Rupak-Bob-Roy
Daj mi znać jeśli czegoś potrzebujesz. Porozmawiamy wkrótce.
