0203-clustering-basic-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "fd4ac211",
   "metadata": {
    "id": "fd4ac211"
   },
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0203-clustering-basic-input.ipynb)\n",
    "\n",
    "\n",
    "## 라이브러리 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bf1b2e05",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 29904,
     "status": "ok",
     "timestamp": 1695350631690,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "bf1b2e05",
    "outputId": "69a26819-2d89-46c4-e29b-d986cd723676"
   },
   "outputs": [],
   "source": [
    "# !pip install koreanize-matplotlib\n",
    "# !pip install pecab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "114d072c",
   "metadata": {
    "executionInfo": {
     "elapsed": 261,
     "status": "ok",
     "timestamp": 1695350643736,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "114d072c"
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer\n",
    "from sklearn.cluster import KMeans\n",
    "import matplotlib.pyplot as plt\n",
    "import koreanize_matplotlib"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "21ae922e",
   "metadata": {
    "id": "21ae922e"
   },
   "source": [
    "## 예시 텍스트"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "22aab1e4",
   "metadata": {
    "executionInfo": {
     "elapsed": 3,
     "status": "ok",
     "timestamp": 1695350644879,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "22aab1e4"
   },
   "outputs": [],
   "source": [
    "# 음식 리뷰 예제 텍스트 데이터\n",
    "corpus = [\n",
    "    \"맛이 깔끔해서 좋아요.\",\n",
    "    \"주문한 음식이 늦게 와서 배고팠어요.\",\n",
    "    \"피자가 맛있어요.\",\n",
    "    \"라면이 너무 짜게 나왔어요.\",\n",
    "    \"배달된 치킨이 맛있어요.\",\n",
    "    \"메뉴 설명보다 양이 적어요.\",\n",
    "    \"주문한 음식이 다른 것으로 와서 다시 주문했어요.\",\n",
    "    \"맛은 좋은데 양이 좀 적은 편이에요.\",\n",
    "    \"떡볶이의 매운맛이 적절해요.\",\n",
    "    \"초밥이 신선해서 좋았어요.\",\n",
    "    \"빵이 부드럽고 맛있네요.\",\n",
    "    \"스테이크가 너무 질겼어요.\",\n",
    "    \"샐러드의 드레싱이 너무 강했어요.\",\n",
    "    \"나초의 치즈소스가 맛있었어요.\",\n",
    "    \"파스타가 약간 덜 익은 것 같아요.\",\n",
    "    \"커피가 너무 진해서 물을 더 추가했어요.\",\n",
    "    \"디저트는 달지 않아서 좋았습니다.\",\n",
    "    \"음료가 너무 달아서 다음엔 당도 조절할게요.\",\n",
    "    \"피자 도우가 너무 두꺼워서 먹기 힘들었어요.\",\n",
    "    \"햄버거의 빵이 너무 딱딱해요.\",\n",
    "    \"감자튀김이 너무 기름져서 느끼했어요.\",\n",
    "    \"치즈케이크가 아주 부드럽고 맛있어요.\"\n",
    "]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d0d1c334",
   "metadata": {
    "id": "d0d1c334"
   },
   "source": [
    "## 전처리\n",
    "### 형태소 분석기를 통한 조사 구두점 제거\n",
    "* https://github.com/hyunwoongko/pecab\n",
    "* 조사, 구두점 제거"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "561fb5dd",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 6,
     "status": "ok",
     "timestamp": 1695350646397,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "561fb5dd",
    "outputId": "721f0430-3f88-4c3f-c02a-cb651bb66e21"
   },
   "outputs": [],
   "source": [
    "# pecab\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6d096918",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 253,
     "status": "ok",
     "timestamp": 1695351004568,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "6d096918",
    "outputId": "32b1206a-7356-4067-c626-d1a058aaab6e"
   },
   "outputs": [],
   "source": [
    "# corpus_pecab = []"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d8aa7023",
   "metadata": {
    "id": "d8aa7023"
   },
   "source": [
    "## 텍스트 벡터화\n",
    "* https://scikit-learn.org/stable/modules/classes.html#module-sklearn.feature_extraction.text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8be6019b",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 312,
     "status": "ok",
     "timestamp": 1695351807188,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "8be6019b",
    "outputId": "695a468d-43b7-445e-c547-3578af72dc7a"
   },
   "outputs": [],
   "source": [
    "# vectorizer\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c4159275",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 360
    },
    "executionInfo": {
     "elapsed": 1217,
     "status": "ok",
     "timestamp": 1695351809587,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "c4159275",
    "outputId": "020e10b9-59d2-4b48-d206-a5c0cde913a9"
   },
   "outputs": [],
   "source": [
    "# df_dtm\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5e604c00",
   "metadata": {
    "id": "5e604c00"
   },
   "source": [
    "## 군집화\n",
    "\n",
    "* https://scikit-learn.org/stable/modules/clustering.html#k-means\n",
    "* https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ec808348",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 355,
     "status": "ok",
     "timestamp": 1695351811214,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "ec808348",
    "outputId": "c5d3378d-2a19-4b10-8502-7844642663f0"
   },
   "outputs": [],
   "source": [
    "# K-means 군집화\n",
    "num_clusters = 5 \n",
    "# kmeans\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "20e370b0",
   "metadata": {},
   "outputs": [],
   "source": [
    "# labels_\n",
    "kmeans.labels_"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c9bf7515",
   "metadata": {
    "id": "c9bf7515"
   },
   "source": [
    "## 군집화 결과\n",
    "* 같은 내용의 텍스트끼리 군집화가 되었는지 확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "60e97c10",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 613
    },
    "executionInfo": {
     "elapsed": 3,
     "status": "ok",
     "timestamp": 1695351813541,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "60e97c10",
    "outputId": "8be06355-e93d-4db5-f2ca-1411971beca5"
   },
   "outputs": [],
   "source": [
    "# df = pd.DataFrame()\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dd09f7ae",
   "metadata": {},
   "source": [
    "### 차원축소와 시각화\n",
    "* https://scikit-learn.org/stable/modules/generated/sklearn.manifold.TSNE.html\n",
    "* 실제 텍스트와 label_ 값이 비슷한 의미의 텍스트끼리 군집화 되었는지 차원 축소기법을 통해 2차원 평면에 표현해 봅니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ce30f7d5",
   "metadata": {
    "executionInfo": {
     "elapsed": 386,
     "status": "ok",
     "timestamp": 1695351744417,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "ce30f7d5"
   },
   "outputs": [],
   "source": [
    "# t-SNE (t-distributed Stochastic Neighbor Embedding)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6faf05a5",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 521
    },
    "executionInfo": {
     "elapsed": 441,
     "status": "ok",
     "timestamp": 1695351745858,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "6faf05a5",
    "outputId": "58d912f3-fc25-437b-8e9f-1ce999b41b39"
   },
   "outputs": [],
   "source": [
    "# 2차원 산점도로 군집 결과 시각화\n",
    "plt.figure(figsize=(10, 6))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5d65c7b3",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 851
    },
    "executionInfo": {
     "elapsed": 1310,
     "status": "ok",
     "timestamp": 1695351748392,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "5d65c7b3",
    "outputId": "fb88ac41-c888-40b6-c13a-b50b162da655"
   },
   "outputs": [],
   "source": [
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7809c85c",
   "metadata": {
    "id": "7809c85c"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "provenance": [
    {
     "file_id": "1r2pMk14ED01xYSOFKjYyVE7Gw1Gy0d7H",
     "timestamp": 1695350447401
    }
   ]
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}