Merge branch 'dev-phylo' of https://gitlab.iscpif.fr/gargantext/haskell-gargantext...
[gargantext.git] / src / Gargantext / Database / Facet.hs
index eef987ae0815e0d757ae937c5279af8722b2c830..31e15fb83fdd2ee00b99d2e544eaa7f05bc59f02 100644 (file)
@@ -17,46 +17,44 @@ Portability : POSIX
 {-# LANGUAGE FlexibleInstances         #-}
 {-# LANGUAGE FunctionalDependencies    #-}
 {-# LANGUAGE MultiParamTypeClasses     #-}
+{-# LANGUAGE QuasiQuotes               #-}
 {-# LANGUAGE NoImplicitPrelude         #-}
 {-# LANGUAGE NoMonomorphismRestriction #-}
+{-# LANGUAGE OverloadedStrings         #-}
+{-# LANGUAGE RankNTypes                #-}
 {-# LANGUAGE TemplateHaskell           #-}
-
 ------------------------------------------------------------------------
-module Gargantext.Database.Facet 
+module Gargantext.Database.Facet
   where
 ------------------------------------------------------------------------
-
-import Prelude hiding (null, id, map, sum, not)
-import GHC.Generics (Generic)
-
--- import Data.Aeson (Value)
 import Control.Arrow (returnA)
 import Control.Lens.TH (makeLensesWith, abbreviatedFields)
-
+import Data.Aeson (FromJSON, ToJSON)
 import Data.Aeson.TH (deriveJSON)
+import Data.Either(Either(Left))
 import Data.Maybe (Maybe)
-import Data.Profunctor.Product.Default (Default)
 import Data.Profunctor.Product.TH (makeAdaptorAndInstance)
+import Data.Swagger
+import Data.Text (Text)
 import Data.Time (UTCTime)
 import Data.Time.Segment (jour)
-import Data.Swagger
-
-import           Database.PostgreSQL.Simple (Connection)
-import           Opaleye
-import           Opaleye.Internal.Join (NullMaker)
-import qualified Opaleye.Internal.Unpackspec()
-
-import Test.QuickCheck.Arbitrary
-import Test.QuickCheck (elements)
-
+import GHC.Generics (Generic)
 import Gargantext.Core.Types
-import Gargantext.Core.Types.Node (NodeType)
 import Gargantext.Core.Utils.Prefix (unPrefix)
-import Gargantext.Database.NodeNode
-import Gargantext.Database.NodeNodeNgram
-import Gargantext.Database.Node
-import Gargantext.Database.Queries
--- import Gargantext.Database.NodeNgram
+import Gargantext.Database.Config (nodeTypeId)
+import Gargantext.Database.Schema.Ngrams
+import Gargantext.Database.Schema.Node
+import Gargantext.Database.Schema.NodeNgram
+import Gargantext.Database.Schema.NodeNode
+import Gargantext.Database.Utils
+import Gargantext.Database.Queries.Join
+import Gargantext.Database.Queries.Filter
+import Opaleye
+import Prelude hiding (null, id, map, sum, not, read)
+import Servant.API
+import Test.QuickCheck (elements)
+import Test.QuickCheck.Arbitrary
+import qualified Opaleye.Internal.Unpackspec()
 
 ------------------------------------------------------------------------
 -- | DocFacet
@@ -66,34 +64,90 @@ import Gargantext.Database.Queries
 --instance FromJSON Facet
 --instance ToJSON   Facet
 
-type FacetDoc = Facet NodeId UTCTime HyperdataDocument Bool Int
+type Favorite = Bool
+type Title    = Text
+
+type FacetDoc = Facet NodeId UTCTime Title HyperdataDocument Favorite Int
 type FacetSources = FacetDoc
 type FacetAuthors = FacetDoc
 type FacetTerms   = FacetDoc
 
 
-
-data Facet id created hyperdata favorite ngramCount = 
+data Facet id created title hyperdata favorite ngramCount = 
      FacetDoc { facetDoc_id         :: id
-               , facetDoc_created    :: created
-               , facetDoc_hyperdata  :: hyperdata
-               , facetDoc_favorite   :: favorite
-               , facetDoc_ngramCount :: ngramCount
-               } deriving (Show, Generic)
+              , facetDoc_created    :: created
+              , facetDoc_title      :: title
+              , facetDoc_hyperdata  :: hyperdata
+              , facetDoc_favorite   :: favorite
+              , facetDoc_ngramCount :: ngramCount
+              } deriving (Show, Generic)
+{- | TODO after demo
+data Facet id date hyperdata score = 
+     FacetDoc { facetDoc_id        :: id
+              , facetDoc_date      :: date
+              , facetDoc_hyperdata :: hyperdata
+              , facetDoc_score     :: score
+              } deriving (Show, Generic)
+-}
+
+data Pair i l = Pair {_p_id    :: i
+                     ,_p_label :: l
+  } deriving (Show, Generic)
+$(deriveJSON (unPrefix "_p_") ''Pair)
+$(makeAdaptorAndInstance "pPair" ''Pair)
+
+instance (ToSchema i, ToSchema l) => ToSchema (Pair i l) where
+  declareNamedSchema =
+    genericDeclareNamedSchema
+      defaultSchemaOptions {fieldLabelModifier = \fieldLabel -> drop 3 fieldLabel}
+instance (Arbitrary i, Arbitrary l) => Arbitrary (Pair i l) where
+  arbitrary = Pair <$> arbitrary <*> arbitrary
+
+data FacetPaired id date hyperdata score pairs =
+  FacetPaired {_fp_id        :: id
+              ,_fp_date      :: date
+              ,_fp_hyperdata :: hyperdata
+              ,_fp_score     :: score
+              ,_fp_pairs     :: pairs
+  } deriving (Show, Generic)
+$(deriveJSON (unPrefix "_fp_") ''FacetPaired)
+$(makeAdaptorAndInstance "pFacetPaired" ''FacetPaired)
+
+instance (ToSchema id, ToSchema date, ToSchema hyperdata, ToSchema pairs, ToSchema score) => ToSchema (FacetPaired id date hyperdata score pairs) where
+  declareNamedSchema =
+    genericDeclareNamedSchema
+      defaultSchemaOptions {fieldLabelModifier = \fieldLabel -> drop 4 fieldLabel}
+
+instance ( Arbitrary id
+         , Arbitrary date
+         , Arbitrary hyperdata
+         , Arbitrary score
+         , Arbitrary pairs
+         ) => Arbitrary (FacetPaired id date hyperdata score pairs) where
+  arbitrary = FacetPaired <$> arbitrary <*> arbitrary <*> arbitrary <*> arbitrary <*> arbitrary
+
+--{-
+type FacetPairedRead = FacetPaired (Column PGInt4       )
+                                   (Column PGTimestamptz)
+                                   (Column PGJsonb      )
+                                   (Column PGInt4       )
+                                   (Pair (Column (Nullable PGInt4)) (Column (Nullable PGText)))
+--}
+
 
--- | JSON instance
 
+-- | JSON instance
 $(deriveJSON (unPrefix "facetDoc_") ''Facet)
 
 -- | Documentation instance
 instance ToSchema FacetDoc
 
 -- | Mock and Quickcheck instances
-
 instance Arbitrary FacetDoc where
-    arbitrary = elements [ FacetDoc id' (jour year 01 01) hp fav ngramCount
+    arbitrary = elements [ FacetDoc id' (jour year 01 01) hp fav ngramCount
                          | id'  <- [1..10]
                          , year <- [1990..2000]
+                         , t    <- ["title", "another title"]
                          , hp   <- hyperdataDocuments
                          , fav  <- [True, False]
                          , ngramCount <- [3..100]
@@ -106,8 +160,9 @@ $(makeLensesWith abbreviatedFields   ''Facet)
 
 type FacetDocRead = Facet (Column PGInt4       )
                           (Column PGTimestamptz)
+                          (Column PGText       )
                           (Column PGJsonb      )
-                          (Column PGBool       )
+                          (Column PGBool)
                           (Column PGInt4       )
 
 -----------------------------------------------------------------------
@@ -123,113 +178,107 @@ instance Arbitrary FacetChart where
     arbitrary = FacetChart <$> arbitrary <*> arbitrary
 
 -----------------------------------------------------------------------
+type Trash   = Bool
+data OrderBy =  DateAsc   | DateDesc
+             | TitleAsc   | TitleDesc
+             | ScoreDesc  | ScoreAsc
+             deriving (Generic, Enum, Bounded, Read, Show)
+             -- | NgramCoun
+
+instance FromHttpApiData OrderBy
+  where
+    parseUrlPiece "DateAsc"  = pure DateAsc
+    parseUrlPiece "DateDesc" = pure DateDesc
+    parseUrlPiece "TitleAsc" = pure TitleAsc
+    parseUrlPiece "TitleDesc" = pure TitleDesc
+    parseUrlPiece "ScoreAsc"   = pure ScoreAsc
+    parseUrlPiece "ScoreDesc"  = pure ScoreDesc
+    parseUrlPiece _           = Left "Unexpected value of OrderBy"
+
+instance ToParamSchema OrderBy
+instance FromJSON  OrderBy
+instance ToJSON    OrderBy
+instance ToSchema  OrderBy
+instance Arbitrary OrderBy
+  where
+    arbitrary = elements [minBound..maxBound]
 
 
-getDocFacet :: Connection -> NodeType -> Int -> Maybe NodeType 
-            -> Maybe Offset -> Maybe Limit
-            -> IO [FacetDoc]
-getDocFacet conn parentType parentId nodeType maybeOffset maybeLimit =
-    runQuery conn $ selectDocFacet parentType parentId nodeType maybeOffset maybeLimit
-
-selectDocFacet :: NodeType -> ParentId -> Maybe NodeType
-               -> Maybe Offset -> Maybe Limit
-               -> Query FacetDocRead
-selectDocFacet pType parentId maybeNodeType maybeOffset maybeLimit =
-        limit' maybeLimit $ offset' maybeOffset
-                          $ orderBy (asc facetDoc_created)
-                          $ selectDocFacet' pType parentId maybeNodeType
+runViewAuthorsDoc :: ContactId -> Trash -> Maybe Offset -> Maybe Limit -> Maybe OrderBy -> Cmd err [FacetDoc]
+runViewAuthorsDoc cId t o l order = runOpaQuery $ filterWith o l order $ viewAuthorsDoc cId t ntId
+  where
+    ntId = NodeDocument
 
+-- TODO add delete ?
+viewAuthorsDoc :: ContactId -> Trash -> NodeType -> Query FacetDocRead
+viewAuthorsDoc cId _ nt = proc () -> do
+  (doc,(_,(_,(_,contact)))) <- queryAuthorsDoc      -< ()
 
--- | Left join to the favorites
-nodeNodeLeftJoin :: Query (NodeRead, NodeNodeReadNull)
-nodeNodeLeftJoin = leftJoin queryNodeTable queryNodeNodeTable (eqNode)
-    where
-        eqNode (Node n1 _ _ _ _ _ _, NodeNode _ n2 _) = ((.==) n1 n2)
-
-
-nodeNodeLeftJoin' :: (Column (Nullable PGInt4)) 
-                  -> Query (NodeRead, NodeNodeReadNull)
-nodeNodeLeftJoin' nId = leftJoin queryNodeTable queryNodeNodeTable (eqNode nId)
-        where
-            eqNode n (Node n1 _ _ _ _ _ _, NodeNode n1' n2 _) 
-                   = foldl (.&&) (pgBool True) [ ((.==) n1 n2)
-                                               , ((.==) n1' n)
-                                               ]
-
-nodeNodeLeftJoin'' :: Query (NodeRead, NodeRead, NodeNodeRead)
-nodeNodeLeftJoin'' = join3 queryNodeTable queryNodeTable queryNodeNodeTable eqNode
-        where
-            eqNode (Node n1 _ _ _ _ _ _, Node n2 _ _ _ _ _ _, NodeNode n1' n2' _) 
-                   = foldl (.&&) (pgBool True) [ ((.==) n2 n2')
-                                               , ((.==) (toNullable n1) n1')
-                                               ]
-
--- | Left join to the ngram count per document
-nodeNodeNgramLeftJoin :: Query (NodeRead, NodeNodeNgramReadNull)
-nodeNodeNgramLeftJoin = leftJoin queryNodeTable queryNodeNodeNgramTable (eqNode)
-     where
-        eqNode (Node n1 _ _ _ _ _ _, NodeNodeNgram n1' _ _ _) = ((.==) n1 n1')
-
-
-nodeNodeNgramLeftJoin' :: Column (Nullable PGInt4) 
-                       -> Query (NodeRead, NodeNodeNgramReadNull)
-nodeNodeNgramLeftJoin' nId = leftJoin queryNodeTable queryNodeNodeNgramTable (eqNode nId)
-     where
-        eqNode nId' (Node n1 _ _ _ _ _ _, NodeNodeNgram n1' n2 _ _) 
-                 = (.&&) ((.==) n1 n1')
-                         ((.==) nId' (toNullable n2))
-
-
-leftJoin3 :: (Default NullMaker (columnsL1, nullableColumnsR) nullableColumnsR1,
-              Default NullMaker columnsR nullableColumnsR,
-              Default Unpackspec columnsR columnsR,
-              Default Unpackspec nullableColumnsR nullableColumnsR,
-              Default Unpackspec columnsL1 columnsL1,
-              Default Unpackspec columnsL columnsL) =>
-              Query columnsL1 -> Query columnsR -> Query columnsL
-                -> ((columnsL1, columnsR) -> Column PGBool)
-                -> ((columnsL, (columnsL1, nullableColumnsR)) -> Column PGBool)
-                -> Query (columnsL, nullableColumnsR1)
-leftJoin3 q1 q2 q3 cond12 cond23 = leftJoin q3 (leftJoin q1 q2 cond12) cond23
-
-
-leftJoin3' :: Query (NodeRead, (NodeReadNull, NodeNodeNgramReadNull))
-leftJoin3' = leftJoin3 queryNodeTable  queryNodeNodeNgramTable queryNodeTable cond12 cond23
-    where
-         cond12 (Node occId _ _ _ _ _ _, NodeNodeNgram occId' _ _ _)
-                = (.==) occId occId'
+  {-nn         <- queryNodeNodeTable -< ()
+  restrict -< nodeNode_node1_id nn .== _node_id doc
+  -- restrict -< nodeNode_delete   nn .== (pgBool t)
+  -}
 
-         cond23 :: (NodeRead, (NodeRead, NodeNodeNgramReadNull)) -> Column PGBool
-         cond23 (Node  docId _ _ _ _ _ _, (Node _ _ _ _ _ _ _, NodeNodeNgram _ docId' _ _))
-                = (.||) ((.==) (toNullable docId) docId') (isNull docId')
+  restrict -< _node_id   contact   .== (toNullable $ pgNodeId cId)
+  restrict -< _node_typename doc   .== (pgInt4 $ nodeTypeId nt)
 
+  returnA  -< FacetDoc (_node_id doc) (_node_date doc) (_node_name doc) (_node_hyperdata doc) (pgBool True) (pgInt4 1)
 
-leftJoin3''' :: Query (NodeRead, (NodeNodeReadNull, NodeReadNull))
-leftJoin3''' = leftJoin3 queryNodeNodeTable queryNodeTable queryNodeTable cond12 cond23
+queryAuthorsDoc :: Query (NodeRead, (NodeNgramReadNull, (NgramsReadNull, (NodeNgramReadNull, NodeReadNull))))
+queryAuthorsDoc = leftJoin5 queryNodeTable queryNodeNgramTable queryNgramsTable queryNodeNgramTable queryNodeTable cond12 cond23 cond34 cond45
     where
-         cond12 (NodeNode favId _ _, Node favId' _ _ _ _ _ _)
-                = (.||) ((.==) favId (toNullable favId')) (isNull $ toNullable favId)
+         cond12 :: (NodeNgramRead, NodeRead) -> Column PGBool
+         cond12 (nodeNgram, doc) =  _node_id                  doc
+                                .== _nn_node_id nodeNgram
 
-         cond23 :: (NodeRead, (NodeNodeRead, NodeReadNull)) -> Column PGBool
-         cond23 (Node  nId _ _ _ _ _ _, (NodeNode _ nId' _, Node _ _ _ _ _ _ _ ))
-                = ((.==) (nId) (nId'))
+         cond23 :: (NgramsRead, (NodeNgramRead, NodeReadNull)) -> Column PGBool
+         cond23 (ngrams, (nodeNgram, _)) =  ngrams_id                  ngrams
+                                        .== _nn_ngrams_id nodeNgram
+         
+         cond34 :: (NodeNgramRead, (NgramsRead, (NodeNgramReadNull, NodeReadNull))) -> Column PGBool
+         cond34 (nodeNgram2, (ngrams, (_,_)))= ngrams_id ngrams     .== _nn_ngrams_id       nodeNgram2
+         
+         cond45 :: (NodeRead, (NodeNgramRead, (NgramsReadNull, (NodeNgramReadNull, NodeReadNull)))) -> Column PGBool
+         cond45 (contact, (nodeNgram2, (_, (_,_)))) = _node_id  contact    .== _nn_node_id         nodeNgram2
 
 
--- | Building the facet
-selectDocFacet' :: NodeType -> ParentId -> Maybe NodeType -> Query FacetDocRead
-selectDocFacet' _ pId _ = proc () -> do
-        (n1,(nn,n2)) <- leftJoin3''' -< ()
-        restrict -< (.&&) (node_parentId n1 .== (toNullable $ pgInt4 pId))
-                          (node_typename n1 .== (pgInt4 $ nodeTypeId Document))
-
-        restrict -< (.||) (node_typename n2 .== (toNullable $ pgInt4 $ nodeTypeId Favorites))
-                          (isNull $ node_typename n2)
+------------------------------------------------------------------------
 
-        restrict -< (.||) (node_parentId n2 .== (toNullable $ pgInt4 $ nodeTypeId Favorites))
-                          (isNull $ node_parentId n2)
+runViewDocuments :: CorpusId -> Trash -> Maybe Offset -> Maybe Limit -> Maybe OrderBy -> Cmd err [FacetDoc]
+runViewDocuments cId t o l order =
+    runOpaQuery $ filterWith o l order $ viewDocuments cId t ntId
+  where
+    ntId = nodeTypeId NodeDocument
 
-        let isFav = ifThenElse (isNull $ nodeNode_score nn) (pgBool False) (pgBool True)
+viewDocuments :: CorpusId -> Trash -> NodeTypeId -> Query FacetDocRead
+viewDocuments cId t ntId = proc () -> do
+  n  <- queryNodeTable     -< ()
+  nn <- queryNodeNodeTable -< ()
+  restrict -< _node_id          n  .== nodeNode_node2_id nn
+  restrict -< nodeNode_node1_id nn .== (pgNodeId cId)
+  restrict -< _node_typename    n  .== (pgInt4 ntId)
+  restrict -< nodeNode_delete   nn .== (pgBool t)
+  returnA  -< FacetDoc (_node_id n) (_node_date n) (_node_name n) (_node_hyperdata n) (nodeNode_favorite nn) (pgInt4 1)
 
-        returnA  -< FacetDoc (node_id n1) (node_date n1) (node_hyperdata n1) (isFav) (pgInt4 1)
 
+------------------------------------------------------------------------
+filterWith :: (PGOrd date, PGOrd title, PGOrd score) =>
+     Maybe Gargantext.Core.Types.Offset
+     -> Maybe Gargantext.Core.Types.Limit
+     -> Maybe OrderBy
+     -> Select (Facet id (Column date) (Column title) hyperdata (Column score) ngramCount)
+     -> Select (Facet id (Column date) (Column title) hyperdata (Column score) ngramCount)
+filterWith o l order q = limit' l $ offset' o $ orderBy (orderWith order) q
+
+
+orderWith :: (PGOrd b1, PGOrd b2, PGOrd b3) => Maybe OrderBy -> Order (Facet id (Column b1) (Column b2) hyperdata (Column b3) score)
+orderWith order = case order of
+  (Just DateAsc)   -> asc  facetDoc_created
+  
+  (Just TitleAsc)  -> asc  facetDoc_title
+  (Just TitleDesc) -> desc facetDoc_title
+  
+  (Just ScoreAsc)  -> asc  facetDoc_favorite
+  (Just ScoreDesc) -> desc facetDoc_favorite
+  _                -> desc facetDoc_created