[REFACT] FlowList integration to Terms with instances
[gargantext.git] / src / Gargantext / API / Metrics.hs
index ee95088b08d4285a3df856d493024586bc4eeb8e..015d7d25e97a1ae0f88139be6a5fc6290e714ef9 100644 (file)
@@ -20,18 +20,17 @@ module Gargantext.API.Metrics
 
 import Control.Lens
 import qualified Data.Map as Map
-import Data.Time (UTCTime)
 import Data.Text (Text)
+import Data.Time (UTCTime)
 import Servant
-import Servant.Server.Internal.ServerError (ServerError(..))
 
 import Gargantext.API.HashedResponse
-import Gargantext.API.Ngrams
 import Gargantext.API.Ngrams.NTree
+import Gargantext.API.Ngrams.Types
 import Gargantext.API.Prelude (GargServer)
 import Gargantext.Core.Types (CorpusId, Limit, ListId, ListType(..))
 import Gargantext.Database.Action.Flow
-import Gargantext.Database.Admin.Types.Hyperdata (HyperdataList(..))
+import Gargantext.Database.Admin.Types.Hyperdata (HyperdataList(..), hl_chart, hl_pie, hl_scatter, hl_tree)
 import Gargantext.Database.Admin.Types.Metrics (ChartMetrics(..), Metric(..), Metrics(..))
 import Gargantext.Database.Admin.Types.Node (NodeId)
 import Gargantext.Database.Prelude
@@ -40,9 +39,9 @@ import Gargantext.Database.Query.Table.Node.Error (HasNodeError)
 import Gargantext.Database.Query.Table.Node.UpdateOpaleye (updateHyperdata)
 import Gargantext.Database.Schema.Node (node_hyperdata)
 import Gargantext.Prelude
-import Gargantext.Text.Metrics (Scored(..))
-import Gargantext.Viz.Chart
-import Gargantext.Viz.Types
+import Gargantext.Core.Text.Metrics (Scored(..), {-normalizeGlobal,-} normalizeLocal)
+import Gargantext.Core.Viz.Chart
+import Gargantext.Core.Viz.Types
 import qualified Gargantext.Database.Action.Metrics as Metrics
 
 -------------------------------------------------------------
@@ -51,18 +50,16 @@ type ScatterAPI = Summary "SepGen IncExc metrics"
                   :> QueryParam  "list"       ListId
                   :> QueryParamR "ngramsType" TabType
                   :> QueryParam  "limit"      Int
-                  :> Header "X-Hash" Text
-                  :> Get '[JSON] (Headers '[Header "X-Hash" Text] (HashedResponse Metrics))
+                  :> Get '[JSON] (HashedResponse Metrics)
               :<|> Summary "Scatter update"
                   :> QueryParam  "list"       ListId
                   :> QueryParamR "ngramsType" TabType
                   :> QueryParam  "limit"      Int
                   :> Post '[JSON] ()
-              :<|> "hash" :>
-                     Summary "Scatter Hash"
-                  :> QueryParam  "list"       ListId
-                  :> QueryParamR "ngramsType" TabType
-                  :> Get '[JSON] Text
+              :<|> "hash" :> Summary "Scatter Hash"
+                          :> QueryParam  "list"       ListId
+                          :> QueryParamR "ngramsType" TabType
+                          :> Get '[JSON] Text
 
 scatterApi :: NodeId -> GargServer ScatterAPI
 scatterApi id' = getScatter id'
@@ -74,30 +71,21 @@ getScatter :: FlowCmdM env err m =>
   -> Maybe ListId
   -> TabType
   -> Maybe Limit
-  -> Maybe Text
-  -> m (Headers '[Header "X-Hash" Text] (HashedResponse Metrics))
-getScatter cId maybeListId tabType _maybeLimit mhHash = do
+  -> m (HashedResponse Metrics)
+getScatter cId maybeListId tabType _maybeLimit = do
   listId <- case maybeListId of
     Just lid -> pure lid
     Nothing  -> defaultList cId
   node <- getNodeWith listId (Proxy :: Proxy HyperdataList)
-  let HyperdataList { _hl_scatter = mChart } = node ^. node_hyperdata
+  let HyperdataList { _hl_scatter = scatterMap } = node ^. node_hyperdata
+      mChart = Map.lookup tabType scatterMap
 
   chart <- case mChart of
     Just chart -> pure chart
     Nothing    -> do
       updateScatter' cId maybeListId tabType Nothing
 
-  let r = constructHashedResponse chart
-
-  -- TODO send 304 if hashes equal, 200 with response otherwise
-  if mhHash == (Just $ hash r) then
-    throwError $ ServerError { errHTTPCode = 304
-                            , errReasonPhrase = "Hashes match"
-                            , errBody = ""
-                            , errHeaders = []}
-  else
-    pure $ addHeader (hash r) r
+  pure $ constructHashedResponse chart
 
 updateScatter :: FlowCmdM env err m =>
   CorpusId
@@ -106,6 +94,10 @@ updateScatter :: FlowCmdM env err m =>
   -> Maybe Limit
   -> m ()
 updateScatter cId maybeListId tabType maybeLimit = do
+  printDebug "[updateScatter] cId" cId
+  printDebug "[updateScatter] maybeListId" maybeListId
+  printDebug "[updateScatter] tabType" tabType
+  printDebug "[updateScatter] maybeLimit" maybeLimit
   _ <- updateScatter' cId maybeListId tabType maybeLimit
   pure ()
 
@@ -119,8 +111,8 @@ updateScatter' cId maybeListId tabType maybeLimit = do
   (ngs', scores) <- Metrics.getMetrics cId maybeListId tabType maybeLimit
 
   let
-    metrics      = map (\(Scored t s1 s2) -> Metric t (log' 5 s1) (log' 2 s2) (listType t ngs')) scores
-    log' n x     = 1 + (if x <= 0 then 0 else log $ (10^(n::Int)) * x)
+    metrics      = map (\(Scored t s1 s2) -> Metric t s1 s2 (listType t ngs'))
+                 $ map normalizeLocal scores
     listType t m = maybe (panic errorMsg) fst $ Map.lookup t m
     errorMsg     = "API.Node.metrics: key absent"
 
@@ -129,7 +121,8 @@ updateScatter' cId maybeListId tabType maybeLimit = do
     Nothing  -> defaultList cId
   node <- getNodeWith listId (Proxy :: Proxy HyperdataList)
   let hl = node ^. node_hyperdata
-  _ <- updateHyperdata listId $ hl { _hl_scatter = Just $ Metrics metrics }
+      scatterMap = hl ^. hl_scatter
+  _ <- updateHyperdata listId $ hl { _hl_scatter = Map.insert tabType (Metrics metrics) scatterMap }
 
   pure $ Metrics metrics
 
@@ -139,8 +132,7 @@ getScatterHash :: FlowCmdM env err m =>
   -> TabType
   -> m Text
 getScatterHash cId maybeListId tabType = do
-  r <- getScatter cId maybeListId tabType Nothing Nothing
-  pure $ hash $ getResponse r
+  hash <$> getScatter cId maybeListId tabType Nothing
 
 
 -------------------------------------------------------------
@@ -151,22 +143,21 @@ type ChartApi = Summary " Chart API"
               :> QueryParam  "list"       ListId
               :> QueryParamR "ngramsType" TabType
               :> Get '[JSON] (HashedResponse (ChartMetrics Histo))
-        :<|> Summary "Chart update"
-                :> QueryParam  "list"       ListId
-                :> QueryParamR "ngramsType" TabType
-                :> QueryParam  "limit"      Int
-                :> Post '[JSON] ()
-              :<|> "hash" :>
-                     Summary "Chart Hash"
-                  :> QueryParam  "list"       ListId
-                  :> QueryParamR "ngramsType" TabType
-                  :> Get '[JSON] Text
+            :<|> Summary "Chart update"
+               :> QueryParam  "list"       ListId
+               :> QueryParamR "ngramsType" TabType
+               :> QueryParam  "limit"      Int
+               :> Post '[JSON] ()
+            :<|> "hash" :> Summary "Chart Hash"
+               :> QueryParam  "list"       ListId
+               :> QueryParamR "ngramsType" TabType
+               :> Get '[JSON] Text
 
 chartApi :: NodeId -> GargServer ChartApi
 chartApi id' = getChart id'
           :<|> updateChart id'
           :<|> getChartHash id'
-               
+
 -- TODO add start / end
 getChart :: FlowCmdM env err m =>
             CorpusId
@@ -180,7 +171,8 @@ getChart cId _start _end maybeListId tabType = do
     Just lid -> pure lid
     Nothing  -> defaultList cId
   node <- getNodeWith listId (Proxy :: Proxy HyperdataList)
-  let HyperdataList { _hl_chart = mChart } = node ^. node_hyperdata
+  let chartMap = node ^. node_hyperdata ^. hl_chart
+      mChart = Map.lookup tabType chartMap
 
   chart <- case mChart of
     Just chart -> pure chart
@@ -196,6 +188,10 @@ updateChart :: HasNodeError err =>
   -> Maybe Limit
   -> Cmd err ()
 updateChart cId maybeListId tabType maybeLimit = do
+  printDebug "[updateChart] cId" cId
+  printDebug "[updateChart] maybeListId" maybeListId
+  printDebug "[updateChart] tabType" tabType
+  printDebug "[updateChart] maybeLimit" maybeLimit
   _ <- updateChart' cId maybeListId tabType maybeLimit
   pure ()
 
@@ -205,14 +201,15 @@ updateChart' :: HasNodeError err =>
   -> TabType
   -> Maybe Limit
   -> Cmd err (ChartMetrics Histo)
-updateChart' cId maybeListId _tabType _maybeLimit = do
+updateChart' cId maybeListId tabType _maybeLimit = do
   listId <- case maybeListId of
     Just lid -> pure lid
     Nothing  -> defaultList cId
   node <- getNodeWith listId (Proxy :: Proxy HyperdataList)
   let hl = node ^. node_hyperdata
+      chartMap = hl ^. hl_chart
   h <- histoData cId
-  _ <- updateHyperdata listId $ hl { _hl_chart = Just $ ChartMetrics h }
+  _ <- updateHyperdata listId $ hl { _hl_chart = Map.insert tabType (ChartMetrics h) chartMap }
 
   pure $ ChartMetrics h
 
@@ -233,16 +230,15 @@ type PieApi = Summary "Pie Chart"
            :> QueryParam  "list"       ListId
            :> QueryParamR "ngramsType" TabType
            :> Get '[JSON] (HashedResponse (ChartMetrics Histo))
-        :<|> Summary "Pie Chart update"
-                :> QueryParam  "list"       ListId
-                :> QueryParamR "ngramsType" TabType
-                :> QueryParam  "limit"      Int
-                :> Post '[JSON] ()
-              :<|> "hash" :>
-                     Summary "Pie Hash"
-                  :> QueryParam  "list"       ListId
-                  :> QueryParamR "ngramsType" TabType
-                  :> Get '[JSON] Text
+         :<|> Summary "Pie Chart update"
+             :> QueryParam  "list"       ListId
+             :> QueryParamR "ngramsType" TabType
+             :> QueryParam  "limit"      Int
+             :> Post '[JSON] ()
+         :<|> "hash" :> Summary "Pie Hash"
+                     :> QueryParam  "list"       ListId
+                     :> QueryParamR "ngramsType" TabType
+                     :> Get '[JSON] Text
 
 pieApi :: NodeId -> GargServer PieApi
 pieApi id' = getPie id'
@@ -261,7 +257,8 @@ getPie cId _start _end maybeListId tabType = do
     Just lid -> pure lid
     Nothing  -> defaultList cId
   node <- getNodeWith listId (Proxy :: Proxy HyperdataList)
-  let HyperdataList { _hl_pie = mChart } = node ^. node_hyperdata
+  let pieMap = node ^. node_hyperdata ^. hl_pie
+      mChart = Map.lookup tabType pieMap
 
   chart <- case mChart of
     Just chart -> pure chart
@@ -277,6 +274,10 @@ updatePie :: FlowCmdM env err m =>
   -> Maybe Limit
   -> m ()
 updatePie cId maybeListId tabType maybeLimit = do
+  printDebug "[updatePie] cId" cId
+  printDebug "[updatePie] maybeListId" maybeListId
+  printDebug "[updatePie] tabType" tabType
+  printDebug "[updatePie] maybeLimit" maybeLimit
   _ <- updatePie' cId maybeListId tabType maybeLimit
   pure ()
 
@@ -292,9 +293,10 @@ updatePie' cId maybeListId tabType _maybeLimit = do
     Nothing  -> defaultList cId
   node <- getNodeWith listId (Proxy :: Proxy HyperdataList)
   let hl = node ^. node_hyperdata
+      pieMap = hl ^. hl_pie
 
-  p <- pieData cId (ngramsTypeFromTabType tabType) MapTerm
-  _ <- updateHyperdata listId $ hl { _hl_pie = Just $ ChartMetrics p }
+  p <- chartData cId (ngramsTypeFromTabType tabType) MapTerm
+  _ <- updateHyperdata listId $ hl { _hl_pie = Map.insert tabType (ChartMetrics p) pieMap }
 
   pure $ ChartMetrics p
 
@@ -352,7 +354,8 @@ getTree cId _start _end maybeListId tabType listType = do
     Nothing  -> defaultList cId
 
   node <- getNodeWith listId (Proxy :: Proxy HyperdataList)
-  let HyperdataList { _hl_tree = mChart } = node ^. node_hyperdata
+  let treeMap = node ^. node_hyperdata ^. hl_tree
+      mChart = Map.lookup tabType treeMap
 
   chart <- case mChart of
     Just chart -> pure chart
@@ -368,6 +371,10 @@ updateTree :: FlowCmdM env err m =>
   -> ListType
   -> m ()
 updateTree cId maybeListId tabType listType = do
+  printDebug "[updateTree] cId" cId
+  printDebug "[updateTree] maybeListId" maybeListId
+  printDebug "[updateTree] tabType" tabType
+  printDebug "[updateTree] listType" listType
   _ <- updateTree' cId maybeListId tabType listType
   pure ()
 
@@ -384,8 +391,9 @@ updateTree' cId maybeListId tabType listType = do
 
   node <- getNodeWith listId (Proxy :: Proxy HyperdataList)
   let hl = node ^. node_hyperdata
+      treeMap = hl ^. hl_tree
   t <- treeData cId (ngramsTypeFromTabType tabType) listType
-  _ <- updateHyperdata listId $ hl { _hl_tree = Just $ ChartMetrics t }
+  _ <- updateHyperdata listId $ hl { _hl_tree = Map.insert tabType (ChartMetrics t) treeMap }
 
   pure $ ChartMetrics t