change the logs output
[gargantext.git] / src / Gargantext / Text / Terms.hs
index 1cd89d441b6a05c95ff7974caf6305b14fa0cb53..43ace46090d8a1de719e3a11293727a9741cdae8 100644 (file)
@@ -129,11 +129,10 @@ termsUnsupervised _ = undefined
 newTries :: Int -> Text -> Tries Token ()
 newTries n t = buildTries n (fmap toToken $ uniText t)
 
+-- | TODO removing long terms > 24
 uniText :: Text -> [[Text]]
-uniText = 
- --  map (map (Text.toLower))
-         map (List.filter (not . isPunctuation))
+uniText = map (List.filter (not . isPunctuation))
         . map tokenize
-        . sentences   -- | TODO get sentences according to lang
+        . sentences       -- | TODO get sentences according to lang
         . Text.toLower