[FIX] PubMed api ok.
[gargantext.git] / src / Gargantext / Text / Terms / Mono.hs
index 43765d0db3b887b58563856063c19e4a88bc7007..e7758599047f2e188d0d886eb65f44d364c89079 100644 (file)
@@ -13,12 +13,10 @@ Mono-terms are Nterms where n == 1.
 
 {-# LANGUAGE NoImplicitPrelude #-}
 
-module Gargantext.Text.Terms.Mono (monoTerms, monoTexts, monoTextsBySentence)
+module Gargantext.Text.Terms.Mono (monoTerms, monoTexts, monoTextsBySentence, words)
   where
 
 import Prelude (String)
-import Data.Char (isSpace)
-import Data.Text (Text, toLower, split, splitOn, pack)
 
 import Data.Text (Text)
 import qualified Data.Text as T
@@ -36,11 +34,12 @@ import Gargantext.Prelude
 -- | TODO remove Num ?
 --isGram  c  = isAlphaNum c
 
+words :: Text -> [Text]
+words = monoTexts
 
 -- | Sentence split separators
 isSep :: Char -> Bool
-isSep = (`elem` (",.:;?!(){}[]\"" :: String))
-
+isSep = (`elem` (",.:;?!(){}[]\"\'" :: String))
 
 monoTerms :: Lang -> Text -> [Terms]
 monoTerms l txt = map (monoText2term l) $ monoTexts txt
@@ -48,15 +47,11 @@ monoTerms l txt = map (monoText2term l) $ monoTexts txt
 monoTexts :: Text -> [Text]
 monoTexts = L.concat . monoTextsBySentence
 
+-- | TODO use text2term only
 monoText2term :: Lang -> Text -> Terms
 monoText2term lang txt = Terms [txt] (S.singleton $ stem lang txt)
 
-
 monoTextsBySentence :: Text -> [[Text]]
-monoTextsBySentence = map (T.split isSpace)
+monoTextsBySentence = map T.words
                     . T.split isSep
                     . T.toLower
-
-
-
-