import os
from nltk import word_tokenize,sent_tokenize
import pandas as pd
import numpy as np

# ファイルの読み込み
F_train = os.listdir("../DATA01/text_train/")

T_train = []

for i in F_train:
    f = open("../DATA01/text_train/"+i,"r")
    text = f.read()
    f.close()
    T_train.append(text)

WPS_train = []

for i in T_train:
    s = len(sent_tokenize(i))
    w = len(word_tokenize(i))
    wps = w/s
    WPS_train.append(wps)

LPW_train = []

for i in T_train:
    w = len(word_tokenize(i))
    l = len("".join(word_tokenize(i)))
    lpw = l/w
    LPW_train.append(lpw)

TTR_train = []

for i in T_train:
    i = i.lower()
    w = word_tokenize(i)
    ttr = len(set(w))/len(w)
    TTR_train.append(ttr)

data_train = pd.DataFrame({"WPS":WPS_train,"LPW":LPW_train,"TTR":TTR_train},index=F_train)

data_train_norm = pd.DataFrame(index=F_train)

WPS_min = data_train.min()["WPS"]
WPS_max = data_train.max()["WPS"]
LPW_min = data_train.min()["LPW"]
LPW_max = data_train.max()["LPW"]


data_train_norm["WPS_nmd"] = (data_train["WPS"] - WPS_min) / (WPS_max - WPS_min)
data_train_norm["LPW_nmd"] = (data_train["LPW"] - LPW_min) / (LPW_max - LPW_min)
data_train_norm["TTR"] = data_train["TTR"]

eva_train = pd.read_csv("../DATA02/eva_train.csv",index_col=0)
data_train_norm["evaluation"] = eva_train["evaluation"]

# ファイルの読み込み
F_test = os.listdir("../DATA01/text_test/")

T_test = []

for i in F_test:
    f = open("../DATA01/text_test/"+i,"r")
    text = f.read()
    f.close()
    T_test.append(text)

WPS_test = []

for i in T_test:
    s = len(sent_tokenize(i))
    w = len(word_tokenize(i))
    wps = w/s
    WPS_test.append(wps)

LPW_test = []

for i in T_test:
    w = len(word_tokenize(i))
    l = len("".join(word_tokenize(i)))
    lpw = l/w
    LPW_test.append(lpw)

TTR_test = []

for i in T_test:
    i = i.lower()
    w = word_tokenize(i)
    ttr = len(set(w))/len(w)
    TTR_test.append(ttr)

data_test = pd.DataFrame({"WPS":WPS_test,"LPW":LPW_test,"TTR":TTR_test},index=F_test)

data_test_norm = pd.DataFrame(index=F_test)

WPS_min = data_test.min()["WPS"]
WPS_max = data_test.max()["WPS"]
LPW_min = data_test.min()["LPW"]
LPW_max = data_test.max()["LPW"]


data_test_norm["WPS_nmd"] = (data_test["WPS"] - WPS_min) / (WPS_max - WPS_min)
data_test_norm["LPW_nmd"] = (data_test["LPW"] - LPW_min) / (LPW_max - LPW_min)
data_test_norm["TTR"] = data_test["TTR"]

# テストデータと訓練データの行名(JPN095.txtなど)を取得します。
N_test = data_test_norm.index
N_train = data_train_norm.index


# 処理した値を保存するリスト
L = []

# テストデータの行名をiに代入して個々に処理
for i in N_test:
    # data_test_normの各行の特徴量をtest_dataに代入
    test_data = data_test_norm.loc[i]
    # 入れ子のfor文の処理を一時的に保存するリスト
    tmp = []
    # 訓練データの行名をjに代入して個々に処理
    for j in N_train:
        #data_train_normの各行の特徴量をtrain_dataに代入
        train_data = data_train_norm.loc[j][:3]
        # i（テストデータ）とj（訓練データ）とのユークリッド距離を計算
        tmp.append(np.linalg.norm(test_data.values - train_data.values))
    # ひとつのi(テストデータ）に対してすべてのj（訓練データ）との距離を計算し終えたら結果をLに保存
    L.append(tmp)

# ユークリッド距離を比較するためのDataFrame
# 行(index)が訓練データ、列(column)がテストデータ)
# JPN137.txt行、JPN095.txt列はJPN137.txtとJPN095.txtのユークリッド距離
data_compare = pd.DataFrame(index=F_train)

for i,j in zip(F_test,L):
    data_compare[i] = j

# evaluationを追加
data_compare["evaluation"] = data_train_norm["evaluation"]

# 自動採点システム
# F_testにはテストデータのファイル名が入っています。
# テストデータのファイル名の列を昇順でソートします。
# そのテストデータに距離が近い上位7つの訓練データの"evaluation"の合計が3より大きい、つまり、
# そのテストデータに近いところにある訓練データについている評価の半分以上が1のとき、テストデータの
# 評価は1、それ以外は0という仕組み。

F_test.sort()
E = []

for i in F_test:
    e = sum(data_compare.sort_values(by=i).head(7)["evaluation"].values)
    if e > 3:
        f = 1
    else:
        f = 0
    E.append(f)