์•„์ฒญ๋ฌผ ์†Œ์ง€์ฃ„์— ๊ด€๋ จ๋œ ๋ชจ๋“  ๋ฌธ์ œ 05 : ๋„ค์ด๋ฒ„ ๋ธ”๋กœ๊ทธ

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

๋ถ“๊ฝƒ ๋ฐ์ดํ„ฐ ์„ธํŠธ์— LDA ์ ์šฉํ•˜๊ธฐโ€ข XGBoost ๋ชจ๋ธ ํ•™์Šต๊ณผ ํ•˜์ดํผ ํŒŒ๋ผ๋ฏธํ„ฐ ํŠœ๋‹โ€ข ์ด์ฒ˜๋Ÿผ ๊ณผ๊ฑฐ๋ณด๋‹ค ์ˆ˜์‚ฌ๊ธฐ๊ด€๋„ ๊ณ„์† ๋ฐœ์ „ํ•˜๊ณ  ์žˆ์–ด ๊ณผ๊ฑฐ์—๋Š” ๋ณต์›์ด ์–ด๋ ค์› ๋‹ค๊ณ  ์•Œ๋ ค์ง„ ๋ฐฉ๋ฒ•๋„ ํฌ๋ Œ์ง ๊ฒฐ๊ณผ ํŒŒ์ผ์ด ๋ณต์›๋˜์–ด ๊ตฌ์† ๋‹ค์ˆ˜ ๋ชฐ์นด ์ดฌ์˜๋ฌผ ๋ณต์› ๋œ ๊ฒฝ์šฐ๋„ ์žˆ์Šต๋‹ˆ๋‹ค. GMM์„ ์ด์šฉํ•œ ๋ถ“๊ฝƒ ๋ฐ์ดํ„ฐ ์„ธํŠธ ๊ตฐ์ง‘ํ™”โ€ข ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌโ€ข ๊ฐ์„ฑ ๋ถ„์„ ์†Œ๊ฐœโ€ข ์žฅ๋ฅด ์†์„ฑ์„ ์ด์šฉํ•œ ์˜ํ™” ์ฝ˜ํ…์ธ  ๊ธฐ๋ฐ˜ ํ•„ํ„ฐ๋งโ€ข ๋ฒ ์ด์Šค๋ผ์ธ ํ‰์ โ€ข ์ˆ˜์‚ฌ๋ฐฉ๋ฒ•์€ ๋น„์Šทํ•  ์ง€๋ผ๋„ ์žฅ๋น„์™€ ๊ทธ ์„ฑ๋Šฅ์„ ๊ณ„์† ๋ฐœ์ „ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฒ•์•ˆ์€ ์œค๋•์šฉ ๋‹น์‹œ ํ•œ๋‚˜๋ผ๋‹น ์˜์› ํ˜„์žฌ ์ƒˆ๋ˆ„๋ฆฌ ์— ์˜ํ•ด ๋ฐœ์˜๋˜์—ˆ์œผ๋‚˜ ์‚ฌ์‹ค ์—ฌ์•ผ ๋ˆ„๊ตฌ ํ•˜๋‚˜ ๋ฐ˜๋Œ€ํ•˜๋Š” ์‚ฌ๋žŒ์€ ์—†์—ˆ๋‹ค. ๊ฒฐ์ • ํŠธ๋ฆฌ ๊ณผ์ ํ•ฉ Overfittingโ€ข ์—ฐ์ฐจ ๊ด€๋ฆฌ ๋Œ€์žฅโ€ข ํ•œ๊ธ€ ํ…์ŠคํŠธ ์ฒ˜๋ฆฌ โ€” ๋„ค์ด๋ฒ„ ์˜ํ™” ํ‰์  ๊ฐ์„ฑ ๋ถ„์„โ€ข ๋ฐ์ดํ„ฐ ํด๋ Œ์ง• ๋ฐ ๊ฐ€๊ณตโ€ข ๋ถ“๊ฝƒ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ์ด์šฉํ•œ ๊ตฐ์ง‘ ํ‰๊ฐ€โ€ข 25๋ฒ„์ „ ์ด์ƒ ์˜ Pandas์—์„œ Duplicate name ์—๋Ÿฌ๊ฐ€ ๋ฐœ์ƒํ•˜๋Š” ๊ฒฝ์šฐ์— ๋Œ€ํ•ด ๋‹ค์Œ ๋‚ด์šฉ์„ ์ˆ˜์ •ํ•˜๊ณ โ€ข ํ•˜์—ฌํŠผ ์ด๋ž˜์„œ ์ข‹๊ฒŒ ํ•ด์„ํ•˜์ž๋ฉด ํ—Œ์žฌ ๊ฒฐ์ • ๋•Œ๋ฌธ์— ์ ์šฉ๋Œ€์ƒ์ด ์ข์•„์ง„ ๊ฑฐ ์•„๋‹ˆ๋ƒ๋Š” ๋ง๋„ ๋‚˜์˜ค๊ณ  ์žˆ๋Š” ๊ฑฐ๋‹ค. Bag of Words โ€” BOWโ€ข ํ…์ŠคํŠธ ์‚ฌ์ „ ์ค€๋น„ ์ž‘์—… ํ…์ŠคํŠธ ์ „์ฒ˜๋ฆฌ - ํ…์ŠคํŠธ ์ •๊ทœํ™”โ€ข apply lambda ์‹์œผ๋กœ ๋ฐ์ดํ„ฐ ๊ฐ€๊ณตโ€ข ์ถœํ‡ด๊ทผ์ฒดํฌโ€ข ํŽธํ–ฅ-๋ถ„์‚ฐ ํŠธ๋ ˆ์ด๋“œ์˜คํ”„ Bias-Variance Trade offโ€ข NAVER WORKSโ€ข ์œ„์™€ ๊ฐ™์€ ๋ฌธ์ œ๊ฐ€ ๋ฐœ์ƒํ•  ๊ฒฝ์šฐ ์•„๋ž˜ ํŒŒ์ผ์„ ์ฐธ๊ณ ํ•˜์‹œ๊ธฐ ๋ฐ”๋ž๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ „์Ÿโ€ข ํด๋ Œ์ง•โ€ข ํฌ์†Œ ํ–‰๋ ฌ โ€” CSR ํ˜•์‹โ€ข ํ—Œ๋ฒ•์†Œ์†ก์—์„œ๋Š” ์œ ๋ถˆ๋ฆฌ๊ฐ€ ๋ฐ”๋€Œ๋Š” ์ด๋Ÿฐ ์ผ์ด ์ž์ฃผ ์ผ์–ด๋‚œ๋‹ค. ๋„˜ํŒŒ์ด์˜ ndarray์˜ ๋ฐ์ดํ„ฐ ์„ธํŠธ ์„ ํƒํ•˜๊ธฐ โ€” ์ธ๋ฑ์‹ฑ Indexingโ€ข ndarray์˜ ์ฐจ์›๊ณผ ํฌ๊ธฐ๋ฅผ ๋ณ€๊ฒฝํ•˜๋Š” reshapeโ€ข in dubio pro reo ์˜์‹ฌ์Šค๋Ÿฌ์šธ ๋•Œ๋Š” ํ”ผ๊ณ ์ธ์˜ ์ด์ต์œผ๋กœ ์›์น™์„ ์ƒ๊ฐํ•  ๋•Œ ์ •ํ™•ํ•œ ์ฆ๊ฑฐ๊ฐ€ ์žˆ๋Š” ๊ฒฝ์šฐ๋ณด๋‹ค ์ •ํ™•ํ•œ ์ฆ๊ฑฐ๊ฐ€ ์—†๋Š” ๊ฒฝ์šฐ ๋” ์ฒ˜๋ฒŒ์„ ํฌ๊ฒŒ ๋ฐ›๋Š” ๊ฒฐ๊ณผ๊ฐ€ ๋˜๋Š” ์ ์—์„œ ์˜๋ฌธ์ด ์žˆ๋Š” ๊ฒƒ์€ ์‚ฌ์‹ค์ž…๋‹ˆ๋‹ค. ์ฝ”๋ฏธ๋”” ๋น…๋ฆฌ๊ทธโ€ข K-ํ‰๊ท  ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ดํ•ดโ€ข DBSCAN ๊ฐœ์š”โ€ข ์ž ์žฌ ์š”์ธ ํ˜‘์—… ํ•„ํ„ฐ๋งโ€ข ๋‹คํ•ญ ํšŒ๊ท€ ์ดํ•ดโ€ข ํšŒ๊ท€ ๋ชจ๋ธ์˜ ์˜ˆ์ธก ๊ฒฐ๊ณผ ํ˜ผํ•ฉ์„ ํ†ตํ•œ ์ตœ์ข… ์˜ˆ์ธกโ€ข ์นดํŽ˜, ๊ฒŒ์‹œํŒ ๋“ฑ์—์„œ ์•Œ๊ฒŒ ๋œ ์‚ฌ๋žŒ๋“ค๋ผ๋ฆฌ ์ •๋ณด๋ฅผ ๊ณต์œ ํ•˜๋Š” ์ฐจ์›์—์„œ ์นด์นด์˜คํ†ก ๋“ฑ์œผ๋กœ ์—ฐ๋ฝํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค. stem import WordNetLemmatizer import nltk nltk. ์ž๋ฆฌ๋น„์›€ ์‹ ์ฒญโ€ข DataFrame ๋ฐ์ดํ„ฐ ์‚ญ์ œโ€ข ํ•ธ๋“œํฐ ์••์ˆ˜ ํ›„ ๋””์ง€ํ„ธํฌ๋ Œ์ง์„ ํ•  ๊ฒฝ์šฐ ์นด์นด์˜คํ†ก ๋Œ€ํ™”๋‚ด์šฉ์€ ๊ฐ€์žฅ ๊ธฐ๋ณธ์ด ๋˜๋Š” ๊ฒƒ์œผ๋กœ์„œ ์ด๋Ÿฌํ•œ ๋Œ€ํ™”๋‚ด์šฉ์ด ๋ถˆ๋ฆฌํ•˜๊ฒŒ ์ž‘์šฉ๋  ์ˆ˜ ์žˆ์Œ์— ์œ ์˜ํ•˜์—ฌ์•ผ ํ•ฉ๋‹ˆ๋‹ค. ํ…”๋ ˆ๊ทธ๋žจ ๋ธ”๋กœ๊ทธ ๋ณด๊ณ  ์ž๋™์ €์žฅ ๊บผ ๋†“์•˜๋‹ค๋Š” ๊ฒƒ๊ณผ ์ง„์•„์ฒญ ์—†์—ˆ๋‹ค๋Š” ๊ฒŒ์‹œ๊ฐ€ ์žˆ์—ˆ๋‹ค๋Š” ๋ง์„ ๋˜‘๊ฐ™์ด ํ•œ๋‹ค. ์ถœํ‡ด๊ทผ ์ •์ฑ… ๊ด€๋ฆฌโ€ข ์ด๋Ÿฌํ•œ ์‚ฌ์•ˆ์—์„œ๋„ ๋Œ€ํ™”๋‚ด์šฉ์ด ์žˆ์—ˆ๋‹ค๋ฉด ์••์ˆ˜์ˆ˜์ƒ‰์ด ๋“ค์–ด์˜ค์ง€ ์•Š์•˜์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ถ”์ฒœ ์‹œ์Šคํ…œ์˜ ์œ ํ˜•โ€ข ์ˆ˜์‚ฌ๊ด€์ด ํ•ด๋‹น IP ์ด์šฉ์ž๋ฅผ ์†Œํ™˜ํ•˜๋Š” ๊ฒƒ์œผ๋กœ ์ˆ˜์‚ฌ๊ฐ€ ์‹œ์ž‘๋ฉ๋‹ˆ๋‹ค. ์‚ฌ์ดํ‚ท๋Ÿฐ ํŒŒ์ดํ”„๋ผ์ธ Pipeline ์‚ฌ์šฉ ๋ฐ GridSearchCV์™€์˜ ๊ฒฐํ•ฉโ€ข ์˜ํ™” [์€๊ต]์—๋Š” ์ข‹์€ ์ผ์ด๊ฒ ์ง€๋งŒ, ๋ฒ•์„ ์—†์• ๊ธฐ๋Š” ์–ด๋ ค์›Œ์กŒ๋‹ค. ๋ฌด๋ฃŒ ๋ฐ•์‚ฌ๋ฐฉ์˜ ํ…”๋ ˆ๊ทธ๋žจ ๋Œ€ํ™”๋‚ด์šฉ์€ ์„œ์šธ์ง€๋ฐฉ๊ฒฝ์ฐฐ์ฒญ์—์„œ ๋ชจ๋‘ ํ™•๋ณดํ•˜๊ณ  ์žˆ์Œ. LightGBM ์„ค์น˜โ€ข 381์ชฝ, ํŽ˜์ด์ง€ ์ƒ๋‹จ ์ฒซ ๋ฒˆ์งธ ์˜ˆ์ œ ์ฝ”๋“œ from sklearn. ์ฒซ ๋ฒˆ์งธ ๋จธ์‹ ๋Ÿฌ๋‹ ๋งŒ๋“ค์–ด ๋ณด๊ธฐ โ€” ๋ถ“๊ฝƒ ํ’ˆ์ข… ์˜ˆ์ธกํ•˜๊ธฐโ€ข ์นดํŽ˜, ๋””์‹œ๊ฒŒ์‹œํŒ ๋“ฑ์˜ ๊ธ€์€ ๋ถ€์ •ํ™•ํ•œ ๋‚ด์šฉ์ด ์žˆ๊ณ  ํ‹€๋ฆฐ ๋‚ด์šฉ์ด ๋‹ค์ˆ˜ ์žˆ์œผ๋ฉฐ ๊ตฌ์ฒด์ ์ธ ์‚ฌ์ •์„ ๋ฐ˜์˜ํ•˜์ง€ ๋ชปํ•œ ๋ฌธ์ œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๋„˜ํŒŒ์ด ndarray ๊ฐœ์š”โ€ข ๊ตฐ์ง‘๋ณ„ ํ‰๊ท  ์‹ค๋ฃจ์—ฃ ๊ณ„์ˆ˜์˜ ์‹œ๊ฐํ™”๋ฅผ ํ†ตํ•œ ๊ตฐ์ง‘ ๊ฐœ์ˆ˜ ์ตœ์ ํ™” ๋ฐฉ๋ฒ•โ€ข SVD ๊ฐœ์š”โ€ข ํ…์ŠคํŠธ ํ† ํฐํ™”โ€ข ๋ฌธ์„œ ์œ ์‚ฌ๋„โ€ข ๋ถ„๋ฅ˜, ํšŒ๊ท€, ์ฐจ์› ์ถ•์†Œ, ํด๋Ÿฌ์Šคํ„ฐ๋ง ๋“ฑ ํ•ต์‹ฌ ๋จธ์‹ ๋Ÿฌ๋‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜์— ๋Œ€ํ•œ ๊นŠ์ด ์žˆ๋Š” ์„ค๋ช…โ€ข ์‹ค์ œ N๋ฒˆ๋ฐฉ, ๋ฐ•์‚ฌ๋ฐฉ์˜ ๊ฒฝ์šฐ ์ฝ”์ธ์€ ์†ก๊ธˆํ•˜์˜€์œผ๋‚˜ ์ž…์žฅ์„ ์‹œ์ผœ์ฃผ์ง€ ์•„๋‹ˆํ•œ ์‚ฌ๋ก€๊ฐ€ ๋‹ค์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฒŒ์‹œํŒโ€ข ๋งŒํ™”๋‚˜ ์• ๋‹ˆ๋ฉ”์ด์…˜์„ ์ œ์ž‘ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๊ทธ ์–ด๋–ค ์•„๋™๋„ ์œก์ฒด์ , ์ •์‹ ์  ํ”ผํ•ด๋ฅผ ๋ณด์ง€ ์•Š๋Š”๋ฐ๋„ ์•„๋™ ์„ฑ๋ฒ”์ฃ„์™€ ๋™์ผํ•œ ์ฒ˜๋ฒŒ์„ ํ•  ์ˆ˜ ์žˆ๋Š” ์•„์ฒญ๋ฒ•์€ ์‹œ์ž‘๋ถ€ํ„ฐ ๋’คํ‹€๋ฆฐ ๊ฒƒ์ด๋‹ค. ์ถ”์ฒœ ์‹œ์Šคํ…œ์˜ ๊ฐœ์š”โ€ข ๊ตญ๋‚ด์— ๋ถ€์—ฌ๋œ IP์ฃผ์†Œ์—์„œ ์Œ๋ž€๋ฌผ์„ ์œ ํฌํ•˜๋Š” ์ƒํ™ฉ์„ ํฌ์ฐฉํ•˜๋ฉด ์‹ค์ œ์˜ ์ฃผ์†Œ๊นŒ์ง€ ์ง€๋„์ƒ์— ๋‚˜ํƒ€๋‚˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. Stemming๊ณผ Lemmatizationโ€ข ์•™์ƒ๋ธ” ํ•™์Šต ๊ฐœ์š”โ€ข ๋ฐ์ดํ„ฐ ๋กœ๋”ฉโ€ข ๊ธ‰์—ฌ๊ณ„์‚ฐโ€ข ์‚ฌ์ดํ‚ท๋Ÿฐ TruncatedSVD ํด๋ž˜์Šค๋ฅผ ์ด์šฉํ•œ ๋ณ€ํ™˜โ€ข ํ—Œ์žฌ๋Š” ์•„์ฒญ๋ฒ• ์ œ2์กฐ 5ํ˜ธ ๋“ฑ์˜ ์œ„ํ—Œ๋ฒ•๋ฅ ์‹ฌํŒ์‚ฌ๊ฑด์—์„œ 5:4 ํ•ฉํ—Œ:์œ„ํ—Œ ๋กœ ํ•ด๋‹น ์•„์ฒญ๋ฒ• ์กฐํ•ญ์ด ํ•ฉํ—Œ์ด๋ผ๊ณ  ๊ฒฐ์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. Index ๊ฐ์ฒดโ€ข DataFrame๊ณผ ๋ฆฌ์ŠคํŠธ, ๋”•์…”๋„ˆ๋ฆฌ, ๋„˜ํŒŒ์ด ndarray ์ƒํ˜ธ ๋ณ€ํ™˜โ€ข ๋น„ํŠธ์ฝ”์ธ ์†Œ์•ก์œผ๋กœ ๊ฐ€๋Šฅํ•œ ์ ์—์„œ N๋ฒˆ๋ฐฉ, ๋ฐ•์‚ฌ๋ฐฉ๋ณด๋‹ค ์ฝ”์ธ ์†ก๊ธˆํ•œ ์‚ฌ๋žŒ๋“ค์ด ํ›จ์”ฌ ๋งŽ์€ ์ƒํ™ฉ์ž…๋‹ˆ๋‹ค. 180์ชฝ, ๋ฐ‘์—์„œ 8๋ฒˆ์งธ ์ค„ ์ ์šฉ๋  ์ˆ˜ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ž…๋‹ˆ๋‹ค. Surprise๋ฅผ ์ด์šฉํ•œ ๊ฐœ์ธํ™” ์˜ํ™” ์ถ”์ฒœ ์‹œ์Šคํ…œ ๊ตฌ์ถ•โ€ข ์ œ๊ฐ€ ์•„๋Š” ํ•œ๋„ ๋‚ด์—์„œ๋Š” ์•Œ๋ ค์ฃผ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค ์•„์ฒญ๋ฌผ โ€” ๋นจํ†ต๋…€, ์„ญ์™ธ๋…€, ใ…Žใ……ใ…Ž ๋“ฑ. ๋ถˆํ›„์˜ ๋ช…๊ณกโ€ข ๋ธ”๋กœ๊ทธ ํฌ์ŠคํŒ… ์—๋„ ์ž๋™๋‹ค์šด๋กœ๋“œ๊ธฐ๋Šฅ์„ ๊บผ๋‘๋ผ๋Š” ๋‚ด์šฉ์ด ์žˆ์œผ๋ฏ€๋กœ N๋ฒˆ๋ฐฉ ์‚ฌ๊ฑด ์ด์ „ ์ด ํฌ์ŠคํŒ…์„ ๋ณด์•˜๋‹ค๋ฉด ์ด ํฌ์ŠคํŒ…๋„ ์ฆ๊ฑฐ๊ฐ€ ๋  ์ˆ˜ ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์–ต์šธํ•œ ์˜คํ•ด๋ฅผ ๋ฐ›์„ ๊ฐ€๋Šฅ์„ฑ์ด ์žˆ์–ด ํ•ธ๋“œํฐ๊ณผ ๋…ธํŠธ๋ถ์„ ์ƒˆ ๊ฒƒ์œผ๋กœ ๊ต์ฒดํ•˜์˜€์Œ์—๋„ ์นด์นด์˜คํ†ก์— ๋ชจ๋“  ๋‚ด์šฉ์„ ์ƒ์„ธํžˆ ๋‚จ๊ธด๋‹ค๋ฉด ๋ฌด์šฉ์˜ ์ ˆ์ฐจ๊ฐ€ ๋  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋‚˜ ํ˜ผ์ž ์‚ฐ๋‹คโ€ข ์‰ฝ๊ฒŒ ์ƒ๊ฐํ•˜๋ฉด ์ถœ์„ํ•ด์„œ ์•„์ฒญ๋ฌผ์ด ์•„๋‹Œ ๊ฒƒ์„ ๊ณ ๋ฅด๋ฉด ๋  ๊ฒƒ์ด๋ผ ๋‹จ์ˆœํžˆ ์ƒ๊ฐํ•  ์ˆ˜๋„ ์žˆ์œผ๋‚˜ ์ˆ˜์‚ฌ๊ด€์ด ๊ณ ๋ฅด๋ผ๊ณ  ๋ณด์—ฌ์ฃผ๋Š” ์Œ๋ž€๋ฌผ์„ ์บก์ณํ•œ ์—ฌ๋Ÿฌ ์žฅ์˜ ์ถœ๋ ฅ๋ฌผ์€ ๋ชจ๋‘ ์•„์ฒญ๋ฌผ์ผ ์ˆ˜๋„ ์žˆ๋‹ค๋Š” ์ , ์•„์ฒญ๋ฌผ์ด ์•„๋‹Œ ๊ฒƒ์„ ๊ณ ๋ฅธ ๊ฒฝ์šฐ์—๋Š” ๊ทธ ๋‚ด์šฉ์— ๋Œ€ํ•ด์„œ๋„ ๋ฌผ์–ด๋ณด๊ธฐ ๋•Œ๋ฌธ์— ์ด์— ๋Œ€ํ•ด์„œ ๋‹ต์„ ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•œ๋‹ค๋Š” ์ ์„ ์œ ์˜ํ•˜์—ฌ์•ผ ํ•˜๊ณ  ํ˜ผ์ž์„œ ์ถœ์„ํ•˜๋ฉด ์‹ญ์ค‘ํŒ”๊ตฌ๋Š” ๋‹นํ•  ์ˆ˜๋ฐ–์— ์—†๊ฒŒ ๊ตฌ์กฐ๊ฐ€ ์งœ์—ฌ์ ธ ์žˆ์Œ. ๋‚˜๋งŒ ๋ฏฟ๊ณ  ๋”ฐ๋ผ์™€, ๋„์‹œ์–ด๋ถ€2โ€ข ๋žœ๋ค ํฌ๋ ˆ์ŠคํŠธ ํ•˜์ดํผ ํŒŒ๋ผ๋ฏธํ„ฐ ๋ฐ ํŠœ๋‹โ€ข BOW ํ”ผ์ฒ˜ ๋ฒกํ„ฐํ™”โ€ข NLP์ด๋ƒ ํ…์ŠคํŠธ ๋ถ„์„์ด๋ƒ? ์ด์— ๋Œ€ํ•œ ์กฐ์ฃผ๋นˆ์˜ ์ง„์ˆ ์€ ์ด๋Ÿฌํ•œ ๋‚ด์šฉ์„ ์ธ์ •ํ•˜๊ฒŒ ๋  ๊ฒฝ์šฐ ๋ณ„๋„์˜ ์‚ฌ๊ธฐ์ฃ„๋ฅผ ๊ตฌ์„ฑํ•˜๊ณ  ์ถ”๊ฐ€ ๊ธฐ์†Œ๋  ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ์šฐ๋ คํ•œ ๊ฒƒ์ด๊ฑฐ๋‚˜ ์กฐ์ฃผ๋นˆ์ด ๋‹น์‹œ ๋Œ€๋‹จํ•œ ์‚ฌ๋žŒ์ด๋ผ๋Š” ๋ง์„ ๋“ฃ๋Š” ๊ฒƒ์„ ์ข‹์•„ํ•˜์˜€๊ณ  ์‚ฌ๊ธฐ๊พผ์ด๋ผ๋Š” ๋ง์€ ๊ทน๋„๋กœ ์‹ซ์–ดํ•˜์˜€๋Š”๋ฐ ์ด๋Ÿฌํ•œ ์™œ๊ณก๋œ ์‹ฌ๋ฆฌ์ƒํƒœ๊ฐ€ ์˜ํ–ฅ์„ ๋ฏธ์นœ ๊ฒƒ์ด๋ผ ์ถ”์ •๋ฉ๋‹ˆ๋‹ค. ํ‘์•…๊ด€์€ ๋น„ํŠธ์ฝ”์ธ ๊ฒฐ์ œ ๊ธˆ์•ก์„ ์ •ํ•˜์ง€ ์•Š๊ณ  ํ•˜๊ณ  ์‹ถ์€ ๋งŒํผ๋งŒ ํ•˜๋ฉด ๋œ๋‹ค๋Š” ๋ฌด์†Œ์œ ์Šค๋Ÿฌ์šด ์šด์˜ ๋ฐ•์‚ฌ๋ฐฉ์€ VIP๋ฐฉ ์ž…์žฅ์กฐ๊ฑด์œผ๋กœ 50๋งŒ์›, 100๋งŒ์›์„ ์š”๊ตฌํ•˜์˜€์œผ๋‚˜ VIP๋ฐฉ์ธ ์–‘์‚ฐ๋ฐ• ์ž…์žฅ์— ๊ธฐ๋ถ€ํ•˜๊ณ  ์‹ถ์€ ๋งŒํผ์ด๋ผ๊ณ  ํ•˜์—ฌ ์‹ค์ œ ๋งŒ์›, ์˜ค์ฒœ์›์„ ๋ณด๋‚ธ ์‚ฌ๋žŒ๋„ ๋‹ค์ˆ˜ ์žˆ์Œ ์œผ๋กœ ์ธํ•˜์—ฌ ๋‹จ๊ธฐ๊ฐ„์— ์ƒ๋‹นํ•œ ์ด์šฉ์ž๋ฅผ ๋Œ์–ด ๋ชจ์•˜์œผ๋ฉฐ ๋™์˜์ƒ์„ ์˜ฌ๋ฆฌ๋ฉด ์œ ๋ฃŒ๊ฒฐ์ œ๋ฅผ ํ•˜์ง€ ์•Š๋”๋ผ๋„ ์œ ๋ฃŒ๊ฒŒ์‹œ๋ฌผ์„ ๋ณผ ์ˆ˜ ์žˆ๋Š” ์ œ๋„๋ฅผ ํ†ตํ•˜์—ฌ ๋งŽ์€ ๋™์˜์ƒ์ด ์˜ฌ๋ผ์˜ค๋Š” ๋“ฑ ์‚ฌ์ดํŠธ๊ฐ€ ๋งค์šฐ ํ™œ์„ฑํ™”๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์…€๋ ‰์…˜ ๋ฐ ํ•„ํ„ฐ๋งโ€ข ์ •๋ ฌ, Aggregation ํ•จ์ˆ˜, GroupBy ์ ์šฉโ€ข ์œค์Šคํ…Œ์ดโ€ข ์ด ์‚ฌ๋ก€์—์„œ๋Š” ๋ฐ•์‚ฌ๋ฐฉ์— ๋“ค์–ด๊ฐ€์ง€ ์•Š์•˜์Œ์—๋„ ๋‹ค๋ฅธ ๊ณณ์—์„œ ๋‹ค์šด๋กœ๋“œํ•œ ์•„์ฒญ๋ฌผ์ด ํ•ธ๋“œํฐ๊ณผ ๋…ธํŠธ๋ถ์—์„œ ๋‹ค์ˆ˜ ๋ฐœ๊ฒฌ๋˜์–ด ํฐ ์ฒ˜๋ฒŒ์œ„ํ—˜์— ์ฒ˜ํ•˜์—ฌ ์žˆ์Šต๋‹ˆ๋‹ค. PCA Principal Component Analysisโ€ข ๊ตฌ์†์˜์žฅ์ด ์ฒญ๊ตฌ๋˜๋ฉด 5๊ฑด ์ค‘์— 4๊ฑด์€ ๊ตฌ์†๋œ๋‹ค๋Š” ์˜๋ฏธ์ž…๋‹ˆ๋‹ค. ๊ต์ฐจ ๊ฒ€์ฆโ€ข ๋ฌธ์„œ ๊ตฐ์ง‘ํ™” ๊ฐœ๋…โ€ข ์„ ํ˜•๋Œ€์ˆ˜ ์—ฐ์‚ฐ โ€” ํ–‰๋ ฌ ๋‚ด์ ๊ณผ ์ „์น˜ ํ–‰๋ ฌ ๊ตฌํ•˜๊ธฐโ€ข ๊ฒฐ์ • ํŠธ๋ฆฌ ๋ชจ๋ธ์˜ ํŠน์ง•โ€ข ๊ทผํƒœ ๊ณต์ œโ€ข PC ํ…”๋ ˆ๊ทธ๋žจ์— ๊ด€ํ•œ ๊ฒƒ์ด๋‚˜ PC ํ…”๋ ˆ๊ทธ๋žจ ์ด์šฉ ํ›„ ํ•ธ๋“œํฐ ํ…”๋ ˆ๊ทธ๋žจ์„ ์ด์šฉํ•œ ๊ฒƒ์ด๋ผ๋ฉด ์ด ์„ค์ • ๊ทธ๋Œ€๋กœ ํ•ธ๋“œํฐ ํ…”๋ ˆ๊ทธ๋žจ์—๋„ ์ ์šฉํ•˜์˜€์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. IP๋Š” ISP ์ธํ„ฐ๋„ท ์ œ๊ณต์—…์ฒด ์—์„œ ํ• ๋‹นํ•ด์ฃผ๋Š” ๊ฒƒ์ด๊ณ  ISP๋Š” ๋Œ€ํ‘œ์ ์œผ๋กœ LG, KT, SKT๋“ฑ ์ธํ„ฐ๋„ท์—…์ฒด๊ฐ€ ์กด์žฌํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฏธ ๋ณ€ํ˜ธํ•˜๊ณ  ์žˆ๋Š” ์‚ฌ๊ฑด๋„ ์ƒ๋‹น์ˆ˜์ด๋ฉฐ ์ผ๋ถ€๊ธˆ์œผ๋กœ ๋ฏธ๋ฆฌ ์„ ์ž„ํ•œ ์˜๋ขฐ์ธ๋“ค์ด ์••์ˆ˜์ˆ˜์ƒ‰ ๋‹นํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋Š˜์–ด๋‚˜๊ณ  ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ์ด๋Ÿฌํ•œ ๊ฒƒ๊นŒ์ง€ ๊ฐ์•ˆํ•˜์—ฌ ์‚ฌ๊ฑด์ˆ˜์— ์—ฌ์œ ๋ถ„์„ ๋‘์–ด์•ผ ํ•˜๋Š” ์ , ๋งŽ๊ฒŒ๋Š” ํ•˜๋ฃจ 18๊ฑด์˜ ์œ ๋ฃŒ์ƒ๋‹ด์ด ๋“ค์–ด์˜ค๊ณ  ์žˆ์–ด ์ƒ๋‹ด๋น„์™€ ์ฐฉ์ˆ˜๊ธˆ์„ ๋ถ€๋“์ด ์กฐ์ •ํ•˜๊ฒŒ ๋œ ์‚ฌ์ •์ด ์žˆ์œผ๋‹ˆ ์–‘ํ•ด๋ฐ”๋ž๋‹ˆ๋‹ค. ์‚ฌ์ดํ‚ท๋Ÿฐ KMeans ํด๋ž˜์Šค ์†Œ๊ฐœโ€ข ํ…์ŠคํŠธ ๋ถ„์„ ์ˆ˜ํ–‰ ํ”„๋กœ์„ธ์Šคโ€ข ๋„ˆ์˜ ๋ชฉ์†Œ๋ฆฌ๊ฐ€ ๋ณด์—ฌ 8โ€ข ๋น„์ง€๋„ํ•™์Šต ๊ธฐ๋ฐ˜ ๊ฐ์„ฑ ๋ถ„์„ ์†Œ๊ฐœโ€ข ์ •๋ฐ€๋„์™€ ์žฌํ˜„์œจ์˜ ๋งน์ โ€ข ์Œ์„ฑ์˜์ƒ ํ†ตํ™”โ€ข ์—ฐ์žฅ ๊ทผ๋ฌด ๊ด€๋ฆฌโ€ข KoNLPy ์†Œ๊ฐœโ€ข ์ง์›๋ณ„ ์ถœํ‡ด๊ทผ ์ •์ฑ… ๊ด€๋ฆฌโ€ข ์กฐ์‚ฌ๋ฐ›๋Š” ํ”ผ์˜์ž๋“ค์ด ๋ณ€ํ˜ธ์‚ฌ๋‹˜ ํฌ์ŠคํŒ… ๋‚ด์šฉ ์•ˆ ๋ณธ ์‚ฌ๋žŒ์ด ์—†๋Š” ๊ฒƒ ๊ฐ™๋‹ค. ์„ ํ˜• ํšŒ๊ท€ ๋ชจ๋ธ์„ ์œ„ํ•œ ๋ฐ์ดํ„ฐ ๋ณ€ํ™˜โ€ข ๊ทผ๋ฌด์ œ๊ด€๋ฆฌโ€ข ๋ง›๋‚จ์˜ ๊ด‘์žฅโ€ข ์ •๋ฐ€๋„์™€ ์žฌํ˜„์œจโ€ข ์ง€๋„ํ•™์Šต ๊ธฐ๋ฐ˜ ๊ฐ์„ฑ ๋ถ„์„ ์‹ค์Šต โ€” IMDB ์˜ํ™”ํ‰โ€ข DataFrame์˜ ์ปฌ๋Ÿผ ๋ฐ์ดํ„ฐ ์„ธํŠธ ์ƒ์„ฑ๊ณผ ์ˆ˜์ •โ€ข ๋ถ„๋ฅ˜ ์‹ค์Šต โ€” ์บ๊ธ€ ์‹ ์šฉ์นด๋“œ ์‚ฌ๊ธฐ ๊ฒ€์ถœโ€ข ํ—Œ์žฌ ํŒ๊ฒฐ๋กœ ์ด์ œ ์•„์Œ๋ฌผ์ธ์ง€ ์•„๋‹Œ์ง€๋Š” ๋ฒ•๊ด€์˜ ์ž์˜์  ํŒ๋‹จ์— ์˜์กดํ•  ์ˆ˜๋ฐ–์— ์—†๊ฒŒ ๋๋‹ค. ์ˆ˜์‚ฌ๋น„ ์ง€์›๋„ ์ถฉ๋ถ„์น˜ ์•Š์•„ ์‚ฌ๋น„๋กœ ๋ชจํ…”์—์„œ ์ž๋ฉด์„œ ์ฃผ๋ง๊นŒ์ง€ ์ง€๋ฐฉ ์••์ˆ˜์ˆ˜์ƒ‰์„ ๋Œ๊ณ  ๋ช‡ ๋‹ฌ์งธ ์‰ฌ์ง€๋„ ๋ชปํ•˜๊ณ  ๋„ˆ๋ฌด๋‚˜๋„ ๊ณ ์ƒํ•˜๊ณ  ์žˆ๋Š” ๊ฒƒ์„ ์ž˜ ์•Œ๊ณ  ์žˆ์œผ๋ฉฐ ์ˆ˜์‚ฌ์— ๋ฐฉํ•ด๋ฅผ ์ค„ ์˜๋„๋„ ์ „ํ˜€ ์—†๊ธฐ ๋•Œ๋ฌธ์— ํฌ์ŠคํŒ…์„ ํ•œ ๋™์•ˆ ์˜ฌ๋ฆฌ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ํฌ์†Œ ํ–‰๋ ฌ - COO ํ˜•์‹โ€ข ๋งˆ์•ฝ ์‚ฌ๊ฑด์˜ ๊ฒฝ์šฐ 5๋…„ ์ „์—๋Š” ํƒˆ์ƒ‰์„ ํ•œ ๋ฒˆ ํ•˜๊ณ  ๊ฒ€์€์ƒ‰ ํƒˆ์ƒ‰์„ ๊ฐ์ถœ ๋ชฉ์ ์ž„ ์œผ๋กœ ๋‹ค์‹œ ์—ผ์ƒ‰ํ•  ๊ฒฝ์šฐ ๋จธ๋ฆฌ์นด๋ฝ์—์„œ ๋งˆ์•ฝ ๊ฒ€์ถœ์ด ์–ด๋ ค์› ์œผ๋‚˜ ์ž‘๋…„ ์œ ๋ช… ์‚ฌ๊ฑด์˜ ๊ฒฝ์šฐ ํƒˆ์ƒ‰์„ 4๋ฒˆ์ด๋‚˜ ํ•œ ํ›„ ๋ถˆ๊ธฐ์†Œ๋ฅผ ์ž์‹ ํ•˜์˜€์œผ๋‚˜ ๋จธ๋ฆฌ์นด๋ฝ์—์„œ ๋งˆ์•ฝ ์–‘์„ฑ ๋ฐ˜์‘์ด ๋‚˜์™€ ๊ตฌ์†๋œ ์‚ฌ๋ก€๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ํƒ€์ž„์ธ์•„์›ƒ์€ PC ์‚ฌ์šฉ์ด ์„œํˆฌ๋ฅธ ์‚ฌ๋žŒ์—๊ฒŒ๋„ ์•ฑ ๋‹ค์šด๋งŒ์œผ๋กœ๋„ ๊ฐ„๋‹จ ์‚ฌ์šฉ์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. GBM Gradient Boosting Machineโ€ข 469์ชฝ, ํŽ˜์ด์ง€ ํ•˜๋‹จ ์˜ˆ์ œ ์ฝ”๋“œ์˜ ์ฒซ ๋ฒˆ์งธ ์ค„ from nltk. ์ฃผ์†Œ๋กโ€ข ํ”ผ์ฒ˜ ์ธ์ฝ”๋”ฉ๊ณผ ํ”ผ์ฒ˜ ๋ฒกํ„ฐํ™”โ€ข ๋ฐ˜์‘ํ˜• ์›น์‚ฌ์ดํŠธ, ๊ทผ๋ฌด ์ •์ฑ…โ€ข ์Šคํƒœํ‚น ์•™์ƒ๋ธ” ๋ชจ๋ธ์„ ํ†ตํ•œ ํšŒ๊ท€ ์˜ˆ์ธกโ€ข ๊ตฐ์ง‘๋ณ„ ํ•ต์‹ฌ ๋‹จ์–ด ์ถ”์ถœํ•˜๊ธฐโ€ข ์ถœํ‡ด๊ทผ ํ˜„ํ™ฉ Excel ๋‹ค์šด๋กœ๋“œโ€ข ๊ด€๋ฆฌ์ž, ์ง์› ๊ฐ์ž์—๊ฒŒ ํŽธ๋ฆฌํ•œ ๊ธฐ๋Šฅ์„ ๊ฐ–์ถ”๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์—ฐ์žฅ ๊ทผ๋ฌด, ํœด๊ฐ€ ์‹ ์ฒญ ๋‹ค๋ฅธ ๊ธฐ๋Šฅ ๋”๋ณด๊ธฐ. ํ–ฅํ›„ ํฌ์ŠคํŒ…์—์„œ๋Š” ์ˆ˜์‚ฌ์— ์ง€์žฅ์„ ์ฃผ๊ณ  ์‹ถ์ง€๋„ ์•Š๊ณ  ๋„ˆ๋ฌด ๊ตฌ์ฒด์ ์ธ ๋‚ด์šฉ์„ ์•Œ๋ฆฌ๋ฉด ๋ชจ๋‘ ๋™์ผํ•œ ์ฃผ์žฅ์„ ํ•˜์—ฌ ์ œ๊ฐ€ ๋ณ€ํ˜ธํ•˜๊ณ  ์žˆ๋Š” ์˜๋ขฐ์ธ๋“ค์˜ ๋ฉ”๋ฆฌํŠธ๋„ ๋–จ์–ด์งˆ ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ๋ฌผ๋ก  ํฌ์ŠคํŒ…์— ์˜ฌ๋ ธ๋˜ ๋‚ด์šฉ์€ ํ•ต์‹ฌ์„ ์ œ์™ธํ•œ ์ผ๋ถ€์— ์ง€๋‚˜์ง€ ์•Š์œผ๋ฏ€๋กœ ๊ธฐ์šฐ์— ๋ถˆ๊ณผ ๊ตฌ์ฒด์ ์ธ ๋‚ด์šฉ์€ ์ œ์™ธํ•˜๊ณ  ์˜ฌ๋ฆฌ๋Š” ์  ์–‘ํ•ด ๋ฐ”๋ž๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌโ€ข XGBoost ์„ค์น˜ํ•˜๊ธฐโ€ข ndarray์˜ ๋ฐ์ดํ„ฐ ํƒ€์ž…โ€ข ์ถœํ‡ด๊ทผ ์‹œ์— ํ•œ ๋ฒˆ์˜ ๋ฒ„ํŠผ ํด๋ฆญ์œผ๋กœ ์ง์›์˜ ์ถœํ‡ด๊ทผ ์ฒดํฌ๊ฐ€ ์ด๋ฃจ์–ด์ง‘๋‹ˆ๋‹ค. ๋ณ€ํ˜ธ์ธ์ด ์–ด๋–ค ๊ฒƒ์ด ์•„์ฒญ๋ฌผ์ธ์ง€ ์ •ํ™•ํžˆ ์•Œ๊ณ  ์žˆ์–ด์•ผ ํ•˜๊ณ  ๋“ฑ์žฅ์ธ๋ฌผ์€ ๋ช‡ ๋ช…์ธ์ง€, ์žฅ์†Œ๋Š” ๋ชจํ…”์ธ์ง€ ๊ฐ€์ •์ง‘์ธ์ง€, ์ž์œ„ ์˜์ƒ์ธ์ง€ ์„ฑ๊ด€๊ณ„ ์˜์ƒ์ธ์ง€, ์‚ฌ์ •์žฅ๋ฉด์€ ๋‚˜์˜ค๋Š”์ง€ ์ •๋„๋Š” ์•Œ๊ณ  ์žˆ์–ด์•ผ ํ•จ. ํšŒ๊ท€ ํ‰๊ฐ€ ์ง€ํ‘œโ€ข โ€” ์ฐธ๊ณ ๋กœ ์‹ค์‚ฌ ์˜ํ™” ์— ๋Œ€ํ•ด์„œ๋Š” ํ—Œ์žฌ๊ฐ€ ์ƒ๋Œ€์ ์œผ๋กœ ๋ช…์ง•ํ•œ ๋Œ€๋‹ต์„ ๋‚ด๋†“์•˜๋‹ค. ์‚ฌ์ดํ‚ท๋Ÿฐ์˜ ๊ธฐ๋ฐ˜ ํ”„๋ ˆ์ž„์›Œํฌ ์ตํžˆ๊ธฐโ€ข ์ฐธ๊ณ  ๊ธฐ์‚ฌ: ์•„์ฒญ๋ฒ•์— ๊ด€ํ•œ ์Ÿ์ ์„ ์ผ๋ฌธ์ผ๋‹ต์‹์œผ๋กœ ํ’€์–ด๋ด…๋‹ˆ๋‹ค. ์ฝ˜ํ…์ธ  ๊ธฐ๋ฐ˜ ํ•„ํ„ฐ๋ง ์‹ค์Šต โ€” TMDB 5000 ์˜ํ™” ๋ฐ์ดํ„ฐ ์„ธํŠธโ€ข ์ด๋ฒˆ ์˜์žฅ๊ธฐ๊ฐ์œผ๋กœ ์ €์—๊ฒŒ๋Š” ์—ฐ์†์œผ๋กœ ๊ตฌ์†์˜์žฅ์„ ๊ธฐ๊ฐ์‹œํ‚ค๋Š” ๊ฒฐ๊ณผ๊ฐ€ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ํŠธ๋กฏํŒŒ์ดํ„ฐโ€ข ์ด์œ ๋Š” ์••์ˆ˜๋œ ํ•ธ๋“œํฐ, ๋…ธํŠธ๋ถ์—์„œ ์•„์ฒญ๋ฌผ์ด ๋ฐœ๊ฒฌ๋˜๋ฉด ์ดํ›„ ์ˆ˜์‚ฌ์™€ ์ฒ˜๋ฒŒ์ด ๊ฐ„๋‹จํžˆ ์ง„ํ–‰๋  ์ˆ˜ ์žˆ๊ณ , ํ•ด๋‹น ์ˆ˜์‚ฌ์˜ ๋‹จ์„œ์— ๋Œ€ํ•œ ์ฆ๊ฑฐ๊ฐ€ ์‹œ๊ฐ„์ด ์ง€๋‚˜ ์†Œ์‹ค๋˜์—ˆ๋”๋ผ๋„ ํ•ธ๋“œํฐ, ๋…ธํŠธ๋ถ์—์„œ ๋‹ค๋ฅธ ์•„์ฒญ๋ฌผ์ด ๋‚˜์˜ฌ ๊ฐ€๋Šฅ์„ฑ์ด ํฌ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ์‹œํ”„ํŠธ ๊ด€๋ฆฌโ€ข ๋น„์ฝ˜์œผ๋กœ ๊ทผํƒœ ๊ด€๋ฆฌโ€ข ๊ฒฐ์ • ํŠธ๋ฆฌ ํŒŒ๋ผ๋ฏธํ„ฐโ€ข ์„ค๋ฌธ ๋ผ์ธ์›์Šค์˜ ์—…๋ฌด ์„œ๋น„์Šคโ€ข ๊ตฌ์†์˜์žฅ์‹ค์งˆ์‹ฌ์‚ฌ์˜ ๊ฒฝ์šฐ ์ผ๋ฐ˜ ํ˜•์‚ฌ์žฌํŒ๊ณผ๋Š” ์•ฝ๊ฐ„ ๋‹ฌ๋ฆฌ ๋ณ€ํ˜ธํ•ด์•ผ ํ•˜๋Š” ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ถœํ‡ด๊ทผ๊ด€๋ฆฌโ€ข ์ง์›๊ด€๋ฆฌโ€ข ํ–‰๋ ฌ ๋ถ„ํ•ด์˜ ์ดํ•ดโ€ข XGBoost eXtra Gradient Boostโ€ข LinearRegression ํด๋ž˜์Šค - Ordinary Least Squaresโ€ข ๋จธ์‹ ๋Ÿฌ๋‹์˜ ๊ฐœ๋…โ€ข ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌโ€ข ๊ตฐ์ง‘ ํ‰๊ฐ€ Cluster Evaluationโ€ข ๋ผ์˜ ํšŒ๊ท€โ€ข Model Selection ๋ชจ๋“ˆ ์†Œ๊ฐœโ€ข ๋ฆฟ์ง€ ํšŒ๊ท€ ๋ชจ๋ธ ๊ตฌ์ถ• ๋ฐ ํ‰๊ฐ€โ€ข StandardScalerโ€ข ์•„์ดํ…œ ๊ธฐ๋ฐ˜ ์ตœ๊ทผ์ ‘ ์ด์›ƒ ํ˜‘์—… ํ•„ํ„ฐ๋ง ์‹ค์Šตโ€ข ๊ต์ฐจ ๊ฒ€์ฆ๊ณผ ํ•˜์ดํผ ํŒŒ๋ผ๋ฏธํ„ฐ ํŠœ๋‹โ€ข ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ, ๋จธ์‹ ๋Ÿฌ๋‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ ์šฉ, ํ•˜์ดํผ ํŒŒ๋ผ๋ฏธํ„ฐ ํŠœ๋‹, ์„ฑ๋Šฅ ํ‰๊ฐ€ ๋“ฑ ์ตœ์  ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ ๊ตฌ์„ฑ ๋ฐฉ์•ˆ ์ œ์‹œโ€ข GridSearchCV โ€” ๊ต์ฐจ ๊ฒ€์ฆ๊ณผ ์ตœ์  ํ•˜์ดํผ ํŒŒ๋ผ๋ฏธํ„ฐ ํŠœ๋‹์„ ํ•œ ๋ฒˆ์—โ€ข Surprise ํŒจํ‚ค์ง€ ์†Œ๊ฐœโ€ข ์–ธ๋” ์ƒ˜ํ”Œ๋ง๊ณผ ์˜ค๋ฒ„ ์ƒ˜ํ”Œ๋ง์˜ ์ดํ•ดโ€ข 310์ชฝ, ํŽ˜์ด์ง€ ํ•˜๋‹จ์˜ [Output]์„ ๋‹ค์Œ ๋‚ด์šฉ์œผ๋กœ ๊ต์ฒด Polynomial ํšŒ๊ท€ ๊ณ„์ˆ˜ [0. ์ž์„ธํ•œ ์ด๋ก  ์„ค๋ช…๊ณผ ํŒŒ์ด์ฌ ์‹ค์Šต์„ ํ†ตํ•ด ๋จธ์‹ ๋Ÿฌ๋‹์„ ์™„๋ฒฝํ•˜๊ฒŒ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค! 1๋ฐ• 2์ผโ€ข ํ™”๋ฉด๊ณต์œ โ€ข ๋žœ๋ค ํฌ๋ ˆ์ŠคํŠธ์˜ ๊ฐœ์š” ๋ฐ ์‹ค์Šตโ€ข NMF ๊ฐœ์š”โ€ข ์‹ค์ œ ์•„๋™์ด ๋“ฑ์žฅํ•˜์ง€ ์•Š๋Š” ํ‘œํ˜„๋ฌผ์€ ๊ทธ๋ƒฅ ํŒํƒ€์ง€๋กœ ๋‹ค๋ค„์ ธ์•ผ ํ•œ๋‹ค. ๋˜ํ•œ ์••์ˆ˜์ˆ˜์ƒ‰ ํ˜„์žฅ์—์„œ ํ•œ ๋ง์€ ์œ ์ฃ„์˜ ์ฆ๊ฑฐ๊ฐ€ ๋  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ๊ตฌ์ฒด์ ์ธ ๋ง์€ ํ•˜์ง€ ์•Š๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. ์‚ฌ์ดํ‚ท๋Ÿฐ์˜ ์ฃผ์š” ๋ชจ๋“ˆโ€ข ๋‹ค์–‘ํ•œ ์ถ”์ฒœ ์‹œ์Šคํ…œ์„ ์ง์ ‘ ํŒŒ์ด์ฌ ์ฝ”๋“œ๋กœ ๊ตฌ์ถ•ํ•˜๋Š” ๋ฒ•์„ ์ œ๊ณต ๋„์„œ ์ƒ์„ธ ์ด๋ฏธ์ง€โ€ข GMM๊ณผ K-ํ‰๊ท ์˜ ๋น„๊ตโ€ข League of Legends and Riot Games are trademarks or registered trademarks of Riot Games, Inc. ์ด ํŒ๊ฒฐ์€ ์นด์นด์˜คํ†ก์œผ๋กœ ์ „์†ก๋ฐ›์€ ๊ฒƒ์„ ์†Œ์ง€๋กœ ์ธ์ •ํ•˜์ง€ ์•Š์•˜๋˜ ์›์‹ฌ์„ ํŒŒ๊ธฐํ•˜๊ณ  ์†Œ์ง€๋กœ ์ธ์ •ํ•œ ํŒ๋ก€์ž…๋‹ˆ๋‹ค. SVD Singular Value Decompositionโ€ข ๋˜ํ•œ ๋ฐฉ 3๊ฐœ ์›”์„ธ์ธ ๊ฒฝ์šฐ์˜€๋Š”๋ฐ ๋‹น์‹œ ๋‚จ๋Š” ๋ฐฉ 2๊ฐœ๋ฅผ ํ˜„์žฅ์ธ๋ถ€๋“ค์—๊ฒŒ ๋‹จ๊ธฐ๋กœ ๋นŒ๋ ค์ค€ ์ ์ด ์žˆ๋Š”๋ฐ ์ปดํ“จํ„ฐ๊ฐ€ ๊ฑฐ์‹ค์— ์žˆ์—ˆ๊ณ  ๋น„๋ฒˆ๋„ ๊ฑธ๋ ค์žˆ์ง€ ์•Š์•„ ๋ˆ„๊ฐ€ ์ด์šฉํ–ˆ๋Š”์ง€ ๋ชจ๋ฅด๊ฒ ๋‹ค๊ณ  ๋ฒ„ํ…จ์„œ ๋ฌดํ˜์˜์ฒ˜๋ถ„์„ ๋ฐ›์€ ์‚ฌ๋ก€๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ndarray๋ฅผ ํŽธ๋ฆฌํ•˜๊ฒŒ ์ƒ์„ฑํ•˜๊ธฐ - arange, zeros, onesโ€ข ํŒŒ์ด์ฌ ๊ธฐ๋ฐ˜์˜ NLP, ํ…์ŠคํŠธ ๋ถ„์„ ํŒจํ‚ค์ง€โ€ข ์ „์ง€์  ์ฐธ๊ฒฌ ์‹œ์ โ€ข ๊ตฐ์ง‘ํ™” ์‹ค์Šต โ€” ๊ณ ๊ฐ ์„ธ๊ทธ๋จผํ…Œ์ด์…˜โ€ข ๋žœ๋ค ํฌ๋ ˆ์ŠคํŠธโ€ข 560์ชฝ, ํŽ˜์ด์ง€ ํ•˜๋‹จ ๊ทธ๋ฆผ์„ ๋‹ค์Œ ๊ทธ๋ฆผ์œผ๋กœ ๊ต์ฒด ใ€Š๋ธ”๋ ˆ์ด๋“œ ๋Ÿฌ๋„ˆ 2049ใ€‹์™€ ใ€Šํ”„๋กœ๋ฉ”ํ…Œ์šฐ์Šคใ€‹์˜ ์„ค๋ช…์ด ๋’ค๋ฐ”๋€œ. NMF Non-Negative Matrix Factorizationโ€ข ํ–‰๋ ฌ์˜ ์ •๋ ฌ โ€” sort ์™€ argsortโ€ข ๋ฐ์ดํ„ฐ ๊ฐ€๊ณต ๋ฐ ๋ณ€ํ™˜โ€ข ๋ฏธ์šด ์šฐ๋ฆฌ ์ƒˆ๋ผโ€ข ๋‹คํ•ญ ํšŒ๊ท€๋ฅผ ์ด์šฉํ•œ ๊ณผ์†Œ์ ํ•ฉ ๋ฐ ๊ณผ์ ํ•ฉ ์ดํ•ดโ€ข ๊ฒฐ์ • ํŠธ๋ฆฌ ๋ชจ๋ธ์˜ ์‹œ๊ฐํ™”โ€ข PCA ๊ฐœ์š”โ€ข ์•„์ดํ…œ ๊ธฐ๋ฐ˜ ์ตœ๊ทผ์ ‘ ์ด์›ƒ ํ˜‘์—… ํ•„ํ„ฐ๋ง์œผ๋กœ ๊ฐœ์ธํ™”๋œ ์˜ํ™” ์ถ”์ฒœโ€ข ๋ฐ์ดํ„ฐ ์‚ฌ์ „ ์ฒ˜๋ฆฌ Preprocessingโ€ข ๋‘ ๋ฒกํ„ฐ ์‚ฌ์ž‡๊ฐโ€ข Wifi๋กœ ๊ทผํƒœ ๊ด€๋ฆฌโ€ข ์‚ฌ์ดํ‚ท๋Ÿฐ LinearRegression์„ ์ด์šฉํ•œ ๋ณด์Šคํ„ด ์ฃผํƒ ๊ฐ€๊ฒฉ ์˜ˆ์ธกโ€ข ์•„์Œ๋ฌผ์„ ๋งŒ๋“ค๊ธฐ ์œ„ํ•ด ์ด์šฉ๋œ, ์ฆ‰ ์ดฌ์˜๋˜๊ณ  ๋˜๋Š” ๋ฌ˜์‚ฌ๋œ ์•„๋™์ฒญ์†Œ๋…„์—๊ฒŒ ๋งค์šฐ ํฐ ์ •์‹ ์  ํ”ผํ•ด๋ฅผ ๋ฐœ์ƒ์‹œํ‚ค๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ์˜ํ™” ๊ฐ„ ์œ ์‚ฌ๋„ ์‚ฐ์ถœโ€ข GMM Gaussian Mixture Model ์†Œ๊ฐœโ€ข MinMaxScalerโ€ข ๊ฒฐ์ • ํŠธ๋ฆฌโ€ข ํšŒ๊ท€ ์‹ค์Šต โ€” ์ž์ „๊ฑฐ ๋Œ€์—ฌ ์ˆ˜์š” ์˜ˆ์ธกโ€ข ํ˜„์žฌ ์ผ๋ถ€ ์ง€์—ญ์—์„œ๋Š” ์•„์ง 1์ฐจ ๋Œ€์ƒ์ž ์••์ˆ˜์ˆ˜์ƒ‰ ์ค‘์ด๋ฉฐ ๋Œ€์ƒ์ž๊ฐ€ ๋งŽ์•„ ์„œ์šธ์ง€๋ฐฉ๊ฒฝ์ฐฐ์ฒญ ํ˜„์žฌ ์‹œ์žฅ๋‹˜ ์‚ฌ๊ฑด์ฒ˜๋ฆฌ๋กœ ๋งค์šฐ ๋ฐ”์œ ์ƒํƒœ ์€ ์ง€์—ญ ๊ด€ํ•  ๊ฒฝ์ฐฐ์„œ๋กœ ์‚ฌ๊ฑด์„ ๋ถ„๋ฐฐํ•˜์˜€์œผ๋‚˜ ๊ฒฝ๊ธฐ๋‚จ๋ถ€์ง€๋ฐฉ๊ฒฝ์ฐฐ์ฒญ๊ณผ ๊ฒฝ๊ธฐ๋ถ๋ถ€์ง€๋ฐฉ๊ฒฝ์ฐฐ์ฒญ์€ ๋ถ„๋ฐฐํ•˜์ง€ ์•Š์•˜์Œ. RFM ๊ธฐ๋ฐ˜ ๊ณ ๊ฐ ์„ธ๊ทธ๋จผํ…Œ์ด์…˜โ€ข ์˜จ๋ผ์ธ ์Šคํ† ์–ด์˜ ํ•„์ˆ˜ ์š”์†Œ, ์ถ”์ฒœ ์‹œ์Šคํ…œโ€ขใ€‚

ใ€‚

ARAM

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

ใ€‚

2
ใ€‚ ใ€‚

ARAM

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

ใ€‚ ใ€‚ ใ€‚

ใ€‚ ใ€‚

์•ผ์ˆ˜์กด > ๊ฒ€์ƒ‰ > ํ† ๋ ŒํŠธ์„œ์น˜ > ํ† ๋ ŒํŠธ์˜ ์ค‘์‹ฌ

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

ใ€‚ ใ€‚ ใ€‚

14
ใ€‚

์•ผ์ˆ˜์กด > ๊ฒ€์ƒ‰ > ํ† ๋ ŒํŠธ์„œ์น˜ > ํ† ๋ ŒํŠธ์˜ ์ค‘์‹ฌ

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

ใ€‚ ใ€‚ ใ€‚

ใ€‚ ใ€‚

ํŒŒ์ด์ฌ ๋จธ์‹ ๋Ÿฌ๋‹ ์™„๋ฒฝ ๊ฐ€์ด๋“œ: ๋‹ค์–‘ํ•œ ์บ๊ธ€ ์˜ˆ์ œ์™€ ํ•จ๊ป˜ ๊ธฐ์ดˆ ์•Œ๊ณ ๋ฆฌ์ฆ˜๋ถ€ํ„ฐ ์ตœ์‹  ๊ธฐ๋ฒ•๊นŒ์ง€ ๋ฐฐ์šฐ๋Š”

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

ใ€‚ ใ€‚ ใ€‚

18
ใ€‚ ใ€‚

ํŒŒ์ด์ฌ ๋จธ์‹ ๋Ÿฌ๋‹ ์™„๋ฒฝ ๊ฐ€์ด๋“œ: ๋‹ค์–‘ํ•œ ์บ๊ธ€ ์˜ˆ์ œ์™€ ํ•จ๊ป˜ ๊ธฐ์ดˆ ์•Œ๊ณ ๋ฆฌ์ฆ˜๋ถ€ํ„ฐ ์ตœ์‹  ๊ธฐ๋ฒ•๊นŒ์ง€ ๋ฐฐ์šฐ๋Š”

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

ใ€‚

10
ใ€‚

ํƒ€์ž„์ธ์•„์›ƒ

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

ใ€‚ ใ€‚ ใ€‚

6
ใ€‚ ใ€‚

ํƒ€์ž„์ธ์•„์›ƒ

์•ผ์ˆ˜์กด ์•ผ์ˆ˜์กด

ใ€‚ ใ€‚

20
ใ€‚ ใ€‚