๋ถ๊ฝ ๋ฐ์ดํฐ ์ธํธ์ LDA ์ ์ฉํ๊ธฐโข XGBoost ๋ชจ๋ธ ํ์ต๊ณผ ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋โข ์ด์ฒ๋ผ ๊ณผ๊ฑฐ๋ณด๋ค ์์ฌ๊ธฐ๊ด๋ ๊ณ์ ๋ฐ์ ํ๊ณ ์์ด ๊ณผ๊ฑฐ์๋ ๋ณต์์ด ์ด๋ ค์ ๋ค๊ณ ์๋ ค์ง ๋ฐฉ๋ฒ๋ ํฌ๋ ์ง ๊ฒฐ๊ณผ ํ์ผ์ด ๋ณต์๋์ด ๊ตฌ์ ๋ค์ ๋ชฐ์นด ์ดฌ์๋ฌผ ๋ณต์ ๋ ๊ฒฝ์ฐ๋ ์์ต๋๋ค. GMM์ ์ด์ฉํ ๋ถ๊ฝ ๋ฐ์ดํฐ ์ธํธ ๊ตฐ์งํโข ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌโข ๊ฐ์ฑ ๋ถ์ ์๊ฐโข ์ฅ๋ฅด ์์ฑ์ ์ด์ฉํ ์ํ ์ฝํ ์ธ ๊ธฐ๋ฐ ํํฐ๋งโข ๋ฒ ์ด์ค๋ผ์ธ ํ์ โข ์์ฌ๋ฐฉ๋ฒ์ ๋น์ทํ ์ง๋ผ๋ ์ฅ๋น์ ๊ทธ ์ฑ๋ฅ์ ๊ณ์ ๋ฐ์ ํ๊ณ ์์ต๋๋ค. ๋ฒ์์ ์ค๋์ฉ ๋น์ ํ๋๋ผ๋น ์์ ํ์ฌ ์๋๋ฆฌ ์ ์ํด ๋ฐ์๋์์ผ๋ ์ฌ์ค ์ฌ์ผ ๋๊ตฌ ํ๋ ๋ฐ๋ํ๋ ์ฌ๋์ ์์๋ค. ๊ฒฐ์ ํธ๋ฆฌ ๊ณผ์ ํฉ Overfittingโข ์ฐ์ฐจ ๊ด๋ฆฌ ๋์ฅโข ํ๊ธ ํ ์คํธ ์ฒ๋ฆฌ โ ๋ค์ด๋ฒ ์ํ ํ์ ๊ฐ์ฑ ๋ถ์โข ๋ฐ์ดํฐ ํด๋ ์ง ๋ฐ ๊ฐ๊ณตโข ๋ถ๊ฝ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ด์ฉํ ๊ตฐ์ง ํ๊ฐโข 25๋ฒ์ ์ด์ ์ Pandas์์ Duplicate name ์๋ฌ๊ฐ ๋ฐ์ํ๋ ๊ฒฝ์ฐ์ ๋ํด ๋ค์ ๋ด์ฉ์ ์์ ํ๊ณ โข ํ์ฌํผ ์ด๋์ ์ข๊ฒ ํด์ํ์๋ฉด ํ์ฌ ๊ฒฐ์ ๋๋ฌธ์ ์ ์ฉ๋์์ด ์ข์์ง ๊ฑฐ ์๋๋๋ ๋ง๋ ๋์ค๊ณ ์๋ ๊ฑฐ๋ค. Bag of Words โ BOWโข ํ ์คํธ ์ฌ์ ์ค๋น ์์ ํ ์คํธ ์ ์ฒ๋ฆฌ - ํ ์คํธ ์ ๊ทํโข apply lambda ์์ผ๋ก ๋ฐ์ดํฐ ๊ฐ๊ณตโข ์ถํด๊ทผ์ฒดํฌโข ํธํฅ-๋ถ์ฐ ํธ๋ ์ด๋์คํ Bias-Variance Trade offโข NAVER WORKSโข ์์ ๊ฐ์ ๋ฌธ์ ๊ฐ ๋ฐ์ํ ๊ฒฝ์ฐ ์๋ ํ์ผ์ ์ฐธ๊ณ ํ์๊ธฐ ๋ฐ๋๋๋ค. ๋ฐ์ดํฐ ์ ์โข ํด๋ ์งโข ํฌ์ ํ๋ ฌ โ CSR ํ์โข ํ๋ฒ์์ก์์๋ ์ ๋ถ๋ฆฌ๊ฐ ๋ฐ๋๋ ์ด๋ฐ ์ผ์ด ์์ฃผ ์ผ์ด๋๋ค. ๋ํ์ด์ ndarray์ ๋ฐ์ดํฐ ์ธํธ ์ ํํ๊ธฐ โ ์ธ๋ฑ์ฑ Indexingโข ndarray์ ์ฐจ์๊ณผ ํฌ๊ธฐ๋ฅผ ๋ณ๊ฒฝํ๋ reshapeโข in dubio pro reo ์์ฌ์ค๋ฌ์ธ ๋๋ ํผ๊ณ ์ธ์ ์ด์ต์ผ๋ก ์์น์ ์๊ฐํ ๋ ์ ํํ ์ฆ๊ฑฐ๊ฐ ์๋ ๊ฒฝ์ฐ๋ณด๋ค ์ ํํ ์ฆ๊ฑฐ๊ฐ ์๋ ๊ฒฝ์ฐ ๋ ์ฒ๋ฒ์ ํฌ๊ฒ ๋ฐ๋ ๊ฒฐ๊ณผ๊ฐ ๋๋ ์ ์์ ์๋ฌธ์ด ์๋ ๊ฒ์ ์ฌ์ค์ ๋๋ค. ์ฝ๋ฏธ๋ ๋น ๋ฆฌ๊ทธโข K-ํ๊ท ์๊ณ ๋ฆฌ์ฆ ์ดํดโข DBSCAN ๊ฐ์โข ์ ์ฌ ์์ธ ํ์ ํํฐ๋งโข ๋คํญ ํ๊ท ์ดํดโข ํ๊ท ๋ชจ๋ธ์ ์์ธก ๊ฒฐ๊ณผ ํผํฉ์ ํตํ ์ต์ข ์์ธกโข ์นดํ, ๊ฒ์ํ ๋ฑ์์ ์๊ฒ ๋ ์ฌ๋๋ค๋ผ๋ฆฌ ์ ๋ณด๋ฅผ ๊ณต์ ํ๋ ์ฐจ์์์ ์นด์นด์คํก ๋ฑ์ผ๋ก ์ฐ๋ฝํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. stem import WordNetLemmatizer import nltk nltk. ์๋ฆฌ๋น์ ์ ์ฒญโข DataFrame ๋ฐ์ดํฐ ์ญ์ โข ํธ๋ํฐ ์์ ํ ๋์งํธํฌ๋ ์ง์ ํ ๊ฒฝ์ฐ ์นด์นด์คํก ๋ํ๋ด์ฉ์ ๊ฐ์ฅ ๊ธฐ๋ณธ์ด ๋๋ ๊ฒ์ผ๋ก์ ์ด๋ฌํ ๋ํ๋ด์ฉ์ด ๋ถ๋ฆฌํ๊ฒ ์์ฉ๋ ์ ์์์ ์ ์ํ์ฌ์ผ ํฉ๋๋ค. ํ ๋ ๊ทธ๋จ ๋ธ๋ก๊ทธ ๋ณด๊ณ ์๋์ ์ฅ ๊บผ ๋์๋ค๋ ๊ฒ๊ณผ ์ง์์ฒญ ์์๋ค๋ ๊ฒ์๊ฐ ์์๋ค๋ ๋ง์ ๋๊ฐ์ด ํ๋ค. ์ถํด๊ทผ ์ ์ฑ ๊ด๋ฆฌโข ์ด๋ฌํ ์ฌ์์์๋ ๋ํ๋ด์ฉ์ด ์์๋ค๋ฉด ์์์์์ด ๋ค์ด์ค์ง ์์์ ๊ฒ์ ๋๋ค. ์ถ์ฒ ์์คํ ์ ์ ํโข ์์ฌ๊ด์ด ํด๋น IP ์ด์ฉ์๋ฅผ ์ํํ๋ ๊ฒ์ผ๋ก ์์ฌ๊ฐ ์์๋ฉ๋๋ค. ์ฌ์ดํท๋ฐ ํ์ดํ๋ผ์ธ Pipeline ์ฌ์ฉ ๋ฐ GridSearchCV์์ ๊ฒฐํฉโข ์ํ [์๊ต]์๋ ์ข์ ์ผ์ด๊ฒ ์ง๋ง, ๋ฒ์ ์์ ๊ธฐ๋ ์ด๋ ค์์ก๋ค. ๋ฌด๋ฃ ๋ฐ์ฌ๋ฐฉ์ ํ ๋ ๊ทธ๋จ ๋ํ๋ด์ฉ์ ์์ธ์ง๋ฐฉ๊ฒฝ์ฐฐ์ฒญ์์ ๋ชจ๋ ํ๋ณดํ๊ณ ์์. LightGBM ์ค์นโข 381์ชฝ, ํ์ด์ง ์๋จ ์ฒซ ๋ฒ์งธ ์์ ์ฝ๋ from sklearn. ์ฒซ ๋ฒ์งธ ๋จธ์ ๋ฌ๋ ๋ง๋ค์ด ๋ณด๊ธฐ โ ๋ถ๊ฝ ํ์ข ์์ธกํ๊ธฐโข ์นดํ, ๋์๊ฒ์ํ ๋ฑ์ ๊ธ์ ๋ถ์ ํํ ๋ด์ฉ์ด ์๊ณ ํ๋ฆฐ ๋ด์ฉ์ด ๋ค์ ์์ผ๋ฉฐ ๊ตฌ์ฒด์ ์ธ ์ฌ์ ์ ๋ฐ์ํ์ง ๋ชปํ ๋ฌธ์ ๊ฐ ์์ต๋๋ค. ๋ํ์ด ndarray ๊ฐ์โข ๊ตฐ์ง๋ณ ํ๊ท ์ค๋ฃจ์ฃ ๊ณ์์ ์๊ฐํ๋ฅผ ํตํ ๊ตฐ์ง ๊ฐ์ ์ต์ ํ ๋ฐฉ๋ฒโข SVD ๊ฐ์โข ํ ์คํธ ํ ํฐํโข ๋ฌธ์ ์ ์ฌ๋โข ๋ถ๋ฅ, ํ๊ท, ์ฐจ์ ์ถ์, ํด๋ฌ์คํฐ๋ง ๋ฑ ํต์ฌ ๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ํ ๊น์ด ์๋ ์ค๋ช โข ์ค์ N๋ฒ๋ฐฉ, ๋ฐ์ฌ๋ฐฉ์ ๊ฒฝ์ฐ ์ฝ์ธ์ ์ก๊ธํ์์ผ๋ ์ ์ฅ์ ์์ผ์ฃผ์ง ์๋ํ ์ฌ๋ก๊ฐ ๋ค์ ์์ต๋๋ค. ๊ฒ์ํโข ๋งํ๋ ์ ๋๋ฉ์ด์ ์ ์ ์ํ๊ธฐ ์ํด์๋ ๊ทธ ์ด๋ค ์๋๋ ์ก์ฒด์ , ์ ์ ์ ํผํด๋ฅผ ๋ณด์ง ์๋๋ฐ๋ ์๋ ์ฑ๋ฒ์ฃ์ ๋์ผํ ์ฒ๋ฒ์ ํ ์ ์๋ ์์ฒญ๋ฒ์ ์์๋ถํฐ ๋คํ๋ฆฐ ๊ฒ์ด๋ค. ์ถ์ฒ ์์คํ ์ ๊ฐ์โข ๊ตญ๋ด์ ๋ถ์ฌ๋ IP์ฃผ์์์ ์๋๋ฌผ์ ์ ํฌํ๋ ์ํฉ์ ํฌ์ฐฉํ๋ฉด ์ค์ ์ ์ฃผ์๊น์ง ์ง๋์์ ๋ํ๋๊ฒ ๋ฉ๋๋ค. Stemming๊ณผ Lemmatizationโข ์์๋ธ ํ์ต ๊ฐ์โข ๋ฐ์ดํฐ ๋ก๋ฉโข ๊ธ์ฌ๊ณ์ฐโข ์ฌ์ดํท๋ฐ TruncatedSVD ํด๋์ค๋ฅผ ์ด์ฉํ ๋ณํโข ํ์ฌ๋ ์์ฒญ๋ฒ ์ 2์กฐ 5ํธ ๋ฑ์ ์ํ๋ฒ๋ฅ ์ฌํ์ฌ๊ฑด์์ 5:4 ํฉํ:์ํ ๋ก ํด๋น ์์ฒญ๋ฒ ์กฐํญ์ด ํฉํ์ด๋ผ๊ณ ๊ฒฐ์ ํ์ต๋๋ค. Index ๊ฐ์ฒดโข DataFrame๊ณผ ๋ฆฌ์คํธ, ๋์ ๋๋ฆฌ, ๋ํ์ด ndarray ์ํธ ๋ณํโข ๋นํธ์ฝ์ธ ์์ก์ผ๋ก ๊ฐ๋ฅํ ์ ์์ N๋ฒ๋ฐฉ, ๋ฐ์ฌ๋ฐฉ๋ณด๋ค ์ฝ์ธ ์ก๊ธํ ์ฌ๋๋ค์ด ํจ์ฌ ๋ง์ ์ํฉ์ ๋๋ค. 180์ชฝ, ๋ฐ์์ 8๋ฒ์งธ ์ค ์ ์ฉ๋ ์ ์๊ณ ๋ฆฌ์ฆ์ ๋๋ค. Surprise๋ฅผ ์ด์ฉํ ๊ฐ์ธํ ์ํ ์ถ์ฒ ์์คํ ๊ตฌ์ถโข ์ ๊ฐ ์๋ ํ๋ ๋ด์์๋ ์๋ ค์ฃผ๊ณ ์์ต๋๋ค ์์ฒญ๋ฌผ โ ๋นจํต๋ , ์ญ์ธ๋ , ใ ใ ใ ๋ฑ. ๋ถํ์ ๋ช ๊ณกโข ๋ธ๋ก๊ทธ ํฌ์คํ ์๋ ์๋๋ค์ด๋ก๋๊ธฐ๋ฅ์ ๊บผ๋๋ผ๋ ๋ด์ฉ์ด ์์ผ๋ฏ๋ก N๋ฒ๋ฐฉ ์ฌ๊ฑด ์ด์ ์ด ํฌ์คํ ์ ๋ณด์๋ค๋ฉด ์ด ํฌ์คํ ๋ ์ฆ๊ฑฐ๊ฐ ๋ ์ ์์ ๊ฒ์ ๋๋ค. ์ต์ธํ ์คํด๋ฅผ ๋ฐ์ ๊ฐ๋ฅ์ฑ์ด ์์ด ํธ๋ํฐ๊ณผ ๋ ธํธ๋ถ์ ์ ๊ฒ์ผ๋ก ๊ต์ฒดํ์์์๋ ์นด์นด์คํก์ ๋ชจ๋ ๋ด์ฉ์ ์์ธํ ๋จ๊ธด๋ค๋ฉด ๋ฌด์ฉ์ ์ ์ฐจ๊ฐ ๋ ๊ฒ์ ๋๋ค. ๋ ํผ์ ์ฐ๋คโข ์ฝ๊ฒ ์๊ฐํ๋ฉด ์ถ์ํด์ ์์ฒญ๋ฌผ์ด ์๋ ๊ฒ์ ๊ณ ๋ฅด๋ฉด ๋ ๊ฒ์ด๋ผ ๋จ์ํ ์๊ฐํ ์๋ ์์ผ๋ ์์ฌ๊ด์ด ๊ณ ๋ฅด๋ผ๊ณ ๋ณด์ฌ์ฃผ๋ ์๋๋ฌผ์ ์บก์ณํ ์ฌ๋ฌ ์ฅ์ ์ถ๋ ฅ๋ฌผ์ ๋ชจ๋ ์์ฒญ๋ฌผ์ผ ์๋ ์๋ค๋ ์ , ์์ฒญ๋ฌผ์ด ์๋ ๊ฒ์ ๊ณ ๋ฅธ ๊ฒฝ์ฐ์๋ ๊ทธ ๋ด์ฉ์ ๋ํด์๋ ๋ฌผ์ด๋ณด๊ธฐ ๋๋ฌธ์ ์ด์ ๋ํด์ ๋ต์ ํ ์ ์์ด์ผ ํ๋ค๋ ์ ์ ์ ์ํ์ฌ์ผ ํ๊ณ ํผ์์ ์ถ์ํ๋ฉด ์ญ์คํ๊ตฌ๋ ๋นํ ์๋ฐ์ ์๊ฒ ๊ตฌ์กฐ๊ฐ ์ง์ฌ์ ธ ์์. ๋๋ง ๋ฏฟ๊ณ ๋ฐ๋ผ์, ๋์์ด๋ถ2โข ๋๋ค ํฌ๋ ์คํธ ํ์ดํผ ํ๋ผ๋ฏธํฐ ๋ฐ ํ๋โข BOW ํผ์ฒ ๋ฒกํฐํโข NLP์ด๋ ํ ์คํธ ๋ถ์์ด๋? ์ด์ ๋ํ ์กฐ์ฃผ๋น์ ์ง์ ์ ์ด๋ฌํ ๋ด์ฉ์ ์ธ์ ํ๊ฒ ๋ ๊ฒฝ์ฐ ๋ณ๋์ ์ฌ๊ธฐ์ฃ๋ฅผ ๊ตฌ์ฑํ๊ณ ์ถ๊ฐ ๊ธฐ์๋ ์ ์๋ค๋ ๊ฒ์ ์ฐ๋ คํ ๊ฒ์ด๊ฑฐ๋ ์กฐ์ฃผ๋น์ด ๋น์ ๋๋จํ ์ฌ๋์ด๋ผ๋ ๋ง์ ๋ฃ๋ ๊ฒ์ ์ข์ํ์๊ณ ์ฌ๊ธฐ๊พผ์ด๋ผ๋ ๋ง์ ๊ทน๋๋ก ์ซ์ดํ์๋๋ฐ ์ด๋ฌํ ์๊ณก๋ ์ฌ๋ฆฌ์ํ๊ฐ ์ํฅ์ ๋ฏธ์น ๊ฒ์ด๋ผ ์ถ์ ๋ฉ๋๋ค. ํ์ ๊ด์ ๋นํธ์ฝ์ธ ๊ฒฐ์ ๊ธ์ก์ ์ ํ์ง ์๊ณ ํ๊ณ ์ถ์ ๋งํผ๋ง ํ๋ฉด ๋๋ค๋ ๋ฌด์์ ์ค๋ฌ์ด ์ด์ ๋ฐ์ฌ๋ฐฉ์ VIP๋ฐฉ ์ ์ฅ์กฐ๊ฑด์ผ๋ก 50๋ง์, 100๋ง์์ ์๊ตฌํ์์ผ๋ VIP๋ฐฉ์ธ ์์ฐ๋ฐ ์ ์ฅ์ ๊ธฐ๋ถํ๊ณ ์ถ์ ๋งํผ์ด๋ผ๊ณ ํ์ฌ ์ค์ ๋ง์, ์ค์ฒ์์ ๋ณด๋ธ ์ฌ๋๋ ๋ค์ ์์ ์ผ๋ก ์ธํ์ฌ ๋จ๊ธฐ๊ฐ์ ์๋นํ ์ด์ฉ์๋ฅผ ๋์ด ๋ชจ์์ผ๋ฉฐ ๋์์์ ์ฌ๋ฆฌ๋ฉด ์ ๋ฃ๊ฒฐ์ ๋ฅผ ํ์ง ์๋๋ผ๋ ์ ๋ฃ๊ฒ์๋ฌผ์ ๋ณผ ์ ์๋ ์ ๋๋ฅผ ํตํ์ฌ ๋ง์ ๋์์์ด ์ฌ๋ผ์ค๋ ๋ฑ ์ฌ์ดํธ๊ฐ ๋งค์ฐ ํ์ฑํ๋์์ต๋๋ค. ๋ฐ์ดํฐ ์ ๋ ์ ๋ฐ ํํฐ๋งโข ์ ๋ ฌ, Aggregation ํจ์, GroupBy ์ ์ฉโข ์ค์คํ ์ดโข ์ด ์ฌ๋ก์์๋ ๋ฐ์ฌ๋ฐฉ์ ๋ค์ด๊ฐ์ง ์์์์๋ ๋ค๋ฅธ ๊ณณ์์ ๋ค์ด๋ก๋ํ ์์ฒญ๋ฌผ์ด ํธ๋ํฐ๊ณผ ๋ ธํธ๋ถ์์ ๋ค์ ๋ฐ๊ฒฌ๋์ด ํฐ ์ฒ๋ฒ์ํ์ ์ฒํ์ฌ ์์ต๋๋ค. PCA Principal Component Analysisโข ๊ตฌ์์์ฅ์ด ์ฒญ๊ตฌ๋๋ฉด 5๊ฑด ์ค์ 4๊ฑด์ ๊ตฌ์๋๋ค๋ ์๋ฏธ์ ๋๋ค. ๊ต์ฐจ ๊ฒ์ฆโข ๋ฌธ์ ๊ตฐ์งํ ๊ฐ๋ โข ์ ํ๋์ ์ฐ์ฐ โ ํ๋ ฌ ๋ด์ ๊ณผ ์ ์น ํ๋ ฌ ๊ตฌํ๊ธฐโข ๊ฒฐ์ ํธ๋ฆฌ ๋ชจ๋ธ์ ํน์งโข ๊ทผํ ๊ณต์ โข PC ํ ๋ ๊ทธ๋จ์ ๊ดํ ๊ฒ์ด๋ PC ํ ๋ ๊ทธ๋จ ์ด์ฉ ํ ํธ๋ํฐ ํ ๋ ๊ทธ๋จ์ ์ด์ฉํ ๊ฒ์ด๋ผ๋ฉด ์ด ์ค์ ๊ทธ๋๋ก ํธ๋ํฐ ํ ๋ ๊ทธ๋จ์๋ ์ ์ฉํ์์ ๊ฒ์ ๋๋ค. IP๋ ISP ์ธํฐ๋ท ์ ๊ณต์ ์ฒด ์์ ํ ๋นํด์ฃผ๋ ๊ฒ์ด๊ณ ISP๋ ๋ํ์ ์ผ๋ก LG, KT, SKT๋ฑ ์ธํฐ๋ท์ ์ฒด๊ฐ ์กด์ฌํฉ๋๋ค. ์ด๋ฏธ ๋ณํธํ๊ณ ์๋ ์ฌ๊ฑด๋ ์๋น์์ด๋ฉฐ ์ผ๋ถ๊ธ์ผ๋ก ๋ฏธ๋ฆฌ ์ ์ํ ์๋ขฐ์ธ๋ค์ด ์์์์ ๋นํ๋ ๊ฒฝ์ฐ๊ฐ ๋์ด๋๊ณ ์๊ธฐ ๋๋ฌธ์ ์ด๋ฌํ ๊ฒ๊น์ง ๊ฐ์ํ์ฌ ์ฌ๊ฑด์์ ์ฌ์ ๋ถ์ ๋์ด์ผ ํ๋ ์ , ๋ง๊ฒ๋ ํ๋ฃจ 18๊ฑด์ ์ ๋ฃ์๋ด์ด ๋ค์ด์ค๊ณ ์์ด ์๋ด๋น์ ์ฐฉ์๊ธ์ ๋ถ๋์ด ์กฐ์ ํ๊ฒ ๋ ์ฌ์ ์ด ์์ผ๋ ์ํด๋ฐ๋๋๋ค. ์ฌ์ดํท๋ฐ KMeans ํด๋์ค ์๊ฐโข ํ ์คํธ ๋ถ์ ์ํ ํ๋ก์ธ์คโข ๋์ ๋ชฉ์๋ฆฌ๊ฐ ๋ณด์ฌ 8โข ๋น์ง๋ํ์ต ๊ธฐ๋ฐ ๊ฐ์ฑ ๋ถ์ ์๊ฐโข ์ ๋ฐ๋์ ์ฌํ์จ์ ๋งน์ โข ์์ฑ์์ ํตํโข ์ฐ์ฅ ๊ทผ๋ฌด ๊ด๋ฆฌโข KoNLPy ์๊ฐโข ์ง์๋ณ ์ถํด๊ทผ ์ ์ฑ ๊ด๋ฆฌโข ์กฐ์ฌ๋ฐ๋ ํผ์์๋ค์ด ๋ณํธ์ฌ๋ ํฌ์คํ ๋ด์ฉ ์ ๋ณธ ์ฌ๋์ด ์๋ ๊ฒ ๊ฐ๋ค. ์ ํ ํ๊ท ๋ชจ๋ธ์ ์ํ ๋ฐ์ดํฐ ๋ณํโข ๊ทผ๋ฌด์ ๊ด๋ฆฌโข ๋ง๋จ์ ๊ด์ฅโข ์ ๋ฐ๋์ ์ฌํ์จโข ์ง๋ํ์ต ๊ธฐ๋ฐ ๊ฐ์ฑ ๋ถ์ ์ค์ต โ IMDB ์ํํโข DataFrame์ ์ปฌ๋ผ ๋ฐ์ดํฐ ์ธํธ ์์ฑ๊ณผ ์์ โข ๋ถ๋ฅ ์ค์ต โ ์บ๊ธ ์ ์ฉ์นด๋ ์ฌ๊ธฐ ๊ฒ์ถโข ํ์ฌ ํ๊ฒฐ๋ก ์ด์ ์์๋ฌผ์ธ์ง ์๋์ง๋ ๋ฒ๊ด์ ์์์ ํ๋จ์ ์์กดํ ์๋ฐ์ ์๊ฒ ๋๋ค. ์์ฌ๋น ์ง์๋ ์ถฉ๋ถ์น ์์ ์ฌ๋น๋ก ๋ชจํ ์์ ์๋ฉด์ ์ฃผ๋ง๊น์ง ์ง๋ฐฉ ์์์์์ ๋๊ณ ๋ช ๋ฌ์งธ ์ฌ์ง๋ ๋ชปํ๊ณ ๋๋ฌด๋๋ ๊ณ ์ํ๊ณ ์๋ ๊ฒ์ ์ ์๊ณ ์์ผ๋ฉฐ ์์ฌ์ ๋ฐฉํด๋ฅผ ์ค ์๋๋ ์ ํ ์๊ธฐ ๋๋ฌธ์ ํฌ์คํ ์ ํ ๋์ ์ฌ๋ฆฌ์ง ์์์ต๋๋ค. ํฌ์ ํ๋ ฌ - COO ํ์โข ๋ง์ฝ ์ฌ๊ฑด์ ๊ฒฝ์ฐ 5๋ ์ ์๋ ํ์์ ํ ๋ฒ ํ๊ณ ๊ฒ์์ ํ์์ ๊ฐ์ถ ๋ชฉ์ ์ ์ผ๋ก ๋ค์ ์ผ์ํ ๊ฒฝ์ฐ ๋จธ๋ฆฌ์นด๋ฝ์์ ๋ง์ฝ ๊ฒ์ถ์ด ์ด๋ ค์ ์ผ๋ ์๋ ์ ๋ช ์ฌ๊ฑด์ ๊ฒฝ์ฐ ํ์์ 4๋ฒ์ด๋ ํ ํ ๋ถ๊ธฐ์๋ฅผ ์์ ํ์์ผ๋ ๋จธ๋ฆฌ์นด๋ฝ์์ ๋ง์ฝ ์์ฑ ๋ฐ์์ด ๋์ ๊ตฌ์๋ ์ฌ๋ก๋ ์์ต๋๋ค. ํ์์ธ์์์ PC ์ฌ์ฉ์ด ์ํฌ๋ฅธ ์ฌ๋์๊ฒ๋ ์ฑ ๋ค์ด๋ง์ผ๋ก๋ ๊ฐ๋จ ์ฌ์ฉ์ด ๊ฐ๋ฅํฉ๋๋ค. GBM Gradient Boosting Machineโข 469์ชฝ, ํ์ด์ง ํ๋จ ์์ ์ฝ๋์ ์ฒซ ๋ฒ์งธ ์ค from nltk. ์ฃผ์๋กโข ํผ์ฒ ์ธ์ฝ๋ฉ๊ณผ ํผ์ฒ ๋ฒกํฐํโข ๋ฐ์ํ ์น์ฌ์ดํธ, ๊ทผ๋ฌด ์ ์ฑ โข ์คํํน ์์๋ธ ๋ชจ๋ธ์ ํตํ ํ๊ท ์์ธกโข ๊ตฐ์ง๋ณ ํต์ฌ ๋จ์ด ์ถ์ถํ๊ธฐโข ์ถํด๊ทผ ํํฉ Excel ๋ค์ด๋ก๋โข ๊ด๋ฆฌ์, ์ง์ ๊ฐ์์๊ฒ ํธ๋ฆฌํ ๊ธฐ๋ฅ์ ๊ฐ์ถ๊ณ ์์ต๋๋ค. ์ฐ์ฅ ๊ทผ๋ฌด, ํด๊ฐ ์ ์ฒญ ๋ค๋ฅธ ๊ธฐ๋ฅ ๋๋ณด๊ธฐ. ํฅํ ํฌ์คํ ์์๋ ์์ฌ์ ์ง์ฅ์ ์ฃผ๊ณ ์ถ์ง๋ ์๊ณ ๋๋ฌด ๊ตฌ์ฒด์ ์ธ ๋ด์ฉ์ ์๋ฆฌ๋ฉด ๋ชจ๋ ๋์ผํ ์ฃผ์ฅ์ ํ์ฌ ์ ๊ฐ ๋ณํธํ๊ณ ์๋ ์๋ขฐ์ธ๋ค์ ๋ฉ๋ฆฌํธ๋ ๋จ์ด์ง ์ ์์ผ๋ฏ๋ก ๋ฌผ๋ก ํฌ์คํ ์ ์ฌ๋ ธ๋ ๋ด์ฉ์ ํต์ฌ์ ์ ์ธํ ์ผ๋ถ์ ์ง๋์ง ์์ผ๋ฏ๋ก ๊ธฐ์ฐ์ ๋ถ๊ณผ ๊ตฌ์ฒด์ ์ธ ๋ด์ฉ์ ์ ์ธํ๊ณ ์ฌ๋ฆฌ๋ ์ ์ํด ๋ฐ๋๋๋ค. ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌโข XGBoost ์ค์นํ๊ธฐโข ndarray์ ๋ฐ์ดํฐ ํ์ โข ์ถํด๊ทผ ์์ ํ ๋ฒ์ ๋ฒํผ ํด๋ฆญ์ผ๋ก ์ง์์ ์ถํด๊ทผ ์ฒดํฌ๊ฐ ์ด๋ฃจ์ด์ง๋๋ค. ๋ณํธ์ธ์ด ์ด๋ค ๊ฒ์ด ์์ฒญ๋ฌผ์ธ์ง ์ ํํ ์๊ณ ์์ด์ผ ํ๊ณ ๋ฑ์ฅ์ธ๋ฌผ์ ๋ช ๋ช ์ธ์ง, ์ฅ์๋ ๋ชจํ ์ธ์ง ๊ฐ์ ์ง์ธ์ง, ์์ ์์์ธ์ง ์ฑ๊ด๊ณ ์์์ธ์ง, ์ฌ์ ์ฅ๋ฉด์ ๋์ค๋์ง ์ ๋๋ ์๊ณ ์์ด์ผ ํจ. ํ๊ท ํ๊ฐ ์งํโข โ ์ฐธ๊ณ ๋ก ์ค์ฌ ์ํ ์ ๋ํด์๋ ํ์ฌ๊ฐ ์๋์ ์ผ๋ก ๋ช ์งํ ๋๋ต์ ๋ด๋์๋ค. ์ฌ์ดํท๋ฐ์ ๊ธฐ๋ฐ ํ๋ ์์ํฌ ์ตํ๊ธฐโข ์ฐธ๊ณ ๊ธฐ์ฌ: ์์ฒญ๋ฒ์ ๊ดํ ์์ ์ ์ผ๋ฌธ์ผ๋ต์์ผ๋ก ํ์ด๋ด ๋๋ค. ์ฝํ ์ธ ๊ธฐ๋ฐ ํํฐ๋ง ์ค์ต โ TMDB 5000 ์ํ ๋ฐ์ดํฐ ์ธํธโข ์ด๋ฒ ์์ฅ๊ธฐ๊ฐ์ผ๋ก ์ ์๊ฒ๋ ์ฐ์์ผ๋ก ๊ตฌ์์์ฅ์ ๊ธฐ๊ฐ์ํค๋ ๊ฒฐ๊ณผ๊ฐ ๋์์ต๋๋ค. ํธ๋กฏํ์ดํฐโข ์ด์ ๋ ์์๋ ํธ๋ํฐ, ๋ ธํธ๋ถ์์ ์์ฒญ๋ฌผ์ด ๋ฐ๊ฒฌ๋๋ฉด ์ดํ ์์ฌ์ ์ฒ๋ฒ์ด ๊ฐ๋จํ ์งํ๋ ์ ์๊ณ , ํด๋น ์์ฌ์ ๋จ์์ ๋ํ ์ฆ๊ฑฐ๊ฐ ์๊ฐ์ด ์ง๋ ์์ค๋์๋๋ผ๋ ํธ๋ํฐ, ๋ ธํธ๋ถ์์ ๋ค๋ฅธ ์์ฒญ๋ฌผ์ด ๋์ฌ ๊ฐ๋ฅ์ฑ์ด ํฌ๊ธฐ ๋๋ฌธ์ ๋๋ค. ์ํํธ ๊ด๋ฆฌโข ๋น์ฝ์ผ๋ก ๊ทผํ ๊ด๋ฆฌโข ๊ฒฐ์ ํธ๋ฆฌ ํ๋ผ๋ฏธํฐโข ์ค๋ฌธ ๋ผ์ธ์์ค์ ์ ๋ฌด ์๋น์คโข ๊ตฌ์์์ฅ์ค์ง์ฌ์ฌ์ ๊ฒฝ์ฐ ์ผ๋ฐ ํ์ฌ์ฌํ๊ณผ๋ ์ฝ๊ฐ ๋ฌ๋ฆฌ ๋ณํธํด์ผ ํ๋ ์ ์ด ์์ต๋๋ค. ์ถํด๊ทผ๊ด๋ฆฌโข ์ง์๊ด๋ฆฌโข ํ๋ ฌ ๋ถํด์ ์ดํดโข XGBoost eXtra Gradient Boostโข LinearRegression ํด๋์ค - Ordinary Least Squaresโข ๋จธ์ ๋ฌ๋์ ๊ฐ๋ โข ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌโข ๊ตฐ์ง ํ๊ฐ Cluster Evaluationโข ๋ผ์ ํ๊ทโข Model Selection ๋ชจ๋ ์๊ฐโข ๋ฆฟ์ง ํ๊ท ๋ชจ๋ธ ๊ตฌ์ถ ๋ฐ ํ๊ฐโข StandardScalerโข ์์ดํ ๊ธฐ๋ฐ ์ต๊ทผ์ ์ด์ ํ์ ํํฐ๋ง ์ค์ตโข ๊ต์ฐจ ๊ฒ์ฆ๊ณผ ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋โข ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ, ๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ ์ ์ฉ, ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋, ์ฑ๋ฅ ํ๊ฐ ๋ฑ ์ต์ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ ๊ตฌ์ฑ ๋ฐฉ์ ์ ์โข GridSearchCV โ ๊ต์ฐจ ๊ฒ์ฆ๊ณผ ์ต์ ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋์ ํ ๋ฒ์โข Surprise ํจํค์ง ์๊ฐโข ์ธ๋ ์ํ๋ง๊ณผ ์ค๋ฒ ์ํ๋ง์ ์ดํดโข 310์ชฝ, ํ์ด์ง ํ๋จ์ [Output]์ ๋ค์ ๋ด์ฉ์ผ๋ก ๊ต์ฒด Polynomial ํ๊ท ๊ณ์ [0. ์์ธํ ์ด๋ก ์ค๋ช ๊ณผ ํ์ด์ฌ ์ค์ต์ ํตํด ๋จธ์ ๋ฌ๋์ ์๋ฒฝํ๊ฒ ๋ฐฐ์ธ ์ ์์ต๋๋ค! 1๋ฐ 2์ผโข ํ๋ฉด๊ณต์ โข ๋๋ค ํฌ๋ ์คํธ์ ๊ฐ์ ๋ฐ ์ค์ตโข NMF ๊ฐ์โข ์ค์ ์๋์ด ๋ฑ์ฅํ์ง ์๋ ํํ๋ฌผ์ ๊ทธ๋ฅ ํํ์ง๋ก ๋ค๋ค์ ธ์ผ ํ๋ค. ๋ํ ์์์์ ํ์ฅ์์ ํ ๋ง์ ์ ์ฃ์ ์ฆ๊ฑฐ๊ฐ ๋ ์ ์์ผ๋ฏ๋ก ๊ตฌ์ฒด์ ์ธ ๋ง์ ํ์ง ์๋ ๊ฒ์ด ์ข์ต๋๋ค. ์ฌ์ดํท๋ฐ์ ์ฃผ์ ๋ชจ๋โข ๋ค์ํ ์ถ์ฒ ์์คํ ์ ์ง์ ํ์ด์ฌ ์ฝ๋๋ก ๊ตฌ์ถํ๋ ๋ฒ์ ์ ๊ณต ๋์ ์์ธ ์ด๋ฏธ์งโข GMM๊ณผ K-ํ๊ท ์ ๋น๊ตโข League of Legends and Riot Games are trademarks or registered trademarks of Riot Games, Inc. ์ด ํ๊ฒฐ์ ์นด์นด์คํก์ผ๋ก ์ ์ก๋ฐ์ ๊ฒ์ ์์ง๋ก ์ธ์ ํ์ง ์์๋ ์์ฌ์ ํ๊ธฐํ๊ณ ์์ง๋ก ์ธ์ ํ ํ๋ก์ ๋๋ค. SVD Singular Value Decompositionโข ๋ํ ๋ฐฉ 3๊ฐ ์์ธ์ธ ๊ฒฝ์ฐ์๋๋ฐ ๋น์ ๋จ๋ ๋ฐฉ 2๊ฐ๋ฅผ ํ์ฅ์ธ๋ถ๋ค์๊ฒ ๋จ๊ธฐ๋ก ๋น๋ ค์ค ์ ์ด ์๋๋ฐ ์ปดํจํฐ๊ฐ ๊ฑฐ์ค์ ์์๊ณ ๋น๋ฒ๋ ๊ฑธ๋ ค์์ง ์์ ๋๊ฐ ์ด์ฉํ๋์ง ๋ชจ๋ฅด๊ฒ ๋ค๊ณ ๋ฒํ จ์ ๋ฌดํ์์ฒ๋ถ์ ๋ฐ์ ์ฌ๋ก๋ ์์ต๋๋ค. ndarray๋ฅผ ํธ๋ฆฌํ๊ฒ ์์ฑํ๊ธฐ - arange, zeros, onesโข ํ์ด์ฌ ๊ธฐ๋ฐ์ NLP, ํ ์คํธ ๋ถ์ ํจํค์งโข ์ ์ง์ ์ฐธ๊ฒฌ ์์ โข ๊ตฐ์งํ ์ค์ต โ ๊ณ ๊ฐ ์ธ๊ทธ๋จผํ ์ด์ โข ๋๋ค ํฌ๋ ์คํธโข 560์ชฝ, ํ์ด์ง ํ๋จ ๊ทธ๋ฆผ์ ๋ค์ ๊ทธ๋ฆผ์ผ๋ก ๊ต์ฒด ใ๋ธ๋ ์ด๋ ๋ฌ๋ 2049ใ์ ใํ๋ก๋ฉํ ์ฐ์คใ์ ์ค๋ช ์ด ๋ค๋ฐ๋. NMF Non-Negative Matrix Factorizationโข ํ๋ ฌ์ ์ ๋ ฌ โ sort ์ argsortโข ๋ฐ์ดํฐ ๊ฐ๊ณต ๋ฐ ๋ณํโข ๋ฏธ์ด ์ฐ๋ฆฌ ์๋ผโข ๋คํญ ํ๊ท๋ฅผ ์ด์ฉํ ๊ณผ์์ ํฉ ๋ฐ ๊ณผ์ ํฉ ์ดํดโข ๊ฒฐ์ ํธ๋ฆฌ ๋ชจ๋ธ์ ์๊ฐํโข PCA ๊ฐ์โข ์์ดํ ๊ธฐ๋ฐ ์ต๊ทผ์ ์ด์ ํ์ ํํฐ๋ง์ผ๋ก ๊ฐ์ธํ๋ ์ํ ์ถ์ฒโข ๋ฐ์ดํฐ ์ฌ์ ์ฒ๋ฆฌ Preprocessingโข ๋ ๋ฒกํฐ ์ฌ์๊ฐโข Wifi๋ก ๊ทผํ ๊ด๋ฆฌโข ์ฌ์ดํท๋ฐ LinearRegression์ ์ด์ฉํ ๋ณด์คํด ์ฃผํ ๊ฐ๊ฒฉ ์์ธกโข ์์๋ฌผ์ ๋ง๋ค๊ธฐ ์ํด ์ด์ฉ๋, ์ฆ ์ดฌ์๋๊ณ ๋๋ ๋ฌ์ฌ๋ ์๋์ฒญ์๋ ์๊ฒ ๋งค์ฐ ํฐ ์ ์ ์ ํผํด๋ฅผ ๋ฐ์์ํค๊ธฐ ๋๋ฌธ์ด๋ค. ์ํ ๊ฐ ์ ์ฌ๋ ์ฐ์ถโข GMM Gaussian Mixture Model ์๊ฐโข MinMaxScalerโข ๊ฒฐ์ ํธ๋ฆฌโข ํ๊ท ์ค์ต โ ์์ ๊ฑฐ ๋์ฌ ์์ ์์ธกโข ํ์ฌ ์ผ๋ถ ์ง์ญ์์๋ ์์ง 1์ฐจ ๋์์ ์์์์ ์ค์ด๋ฉฐ ๋์์๊ฐ ๋ง์ ์์ธ์ง๋ฐฉ๊ฒฝ์ฐฐ์ฒญ ํ์ฌ ์์ฅ๋ ์ฌ๊ฑด์ฒ๋ฆฌ๋ก ๋งค์ฐ ๋ฐ์ ์ํ ์ ์ง์ญ ๊ดํ ๊ฒฝ์ฐฐ์๋ก ์ฌ๊ฑด์ ๋ถ๋ฐฐํ์์ผ๋ ๊ฒฝ๊ธฐ๋จ๋ถ์ง๋ฐฉ๊ฒฝ์ฐฐ์ฒญ๊ณผ ๊ฒฝ๊ธฐ๋ถ๋ถ์ง๋ฐฉ๊ฒฝ์ฐฐ์ฒญ์ ๋ถ๋ฐฐํ์ง ์์์. RFM ๊ธฐ๋ฐ ๊ณ ๊ฐ ์ธ๊ทธ๋จผํ ์ด์ โข ์จ๋ผ์ธ ์คํ ์ด์ ํ์ ์์, ์ถ์ฒ ์์คํ โขใ
ใ
ใ ใ
ใ ใ ใ
ใ ใ
ใ
ใ ใ ใ
ใ ใ
ใ ใ ใ
18ใ ใ
ใ
10ใ
ใ ใ
ใ ใ