Workflow voor het opschonen van databases database-cleanup-workflow

Lijsten die moeten worden verwijderd, worden hersteld met de volgende SQL-query:

SELECT iGroupId, sLabel, iType FROM NmsGroup WHERE iDeleteStatus <> 0 OR tsExpirationDate <= GetDate()

Elke lijst bevat verschillende koppelingen naar andere tabellen. Al deze verbindingen worden geschrapt in bulk gebruikend de volgende vraag:

DELETE FROM $(relatedTable) WHERE iGroupId=$(l) IN (SELECT iGroupId FROM $(relatedTable) WHERE iGroupId=$(l) LIMIT 5000)

waar $(relatedTable) is een tabel die betrekking heeft op NmsGroup en $(l) is de lijst-id.

Wanneer de lijst een lijst van het type "Lijst"is, wordt de bijbehorende lijst geschrapt gebruikend de volgende vraag:

DROP TABLE grp$(l)

Elke Selecteren typelijst die door de bewerking wordt hersteld, wordt verwijderd met de volgende query:

DELETE FROM NmsGroup WHERE iGroupId=$(l)

waar $(l) is de lijst-id

De Database cleanup worden alle leveringen geselecteerd waarvoor de deleteStatus veld heeft de waarde Yes of Recycled en waarvan de datum van schrapping vroeger is dan de in Deleted deliveries (NmsCleanup_RecycledDeliveryPurgeDelay) van de implementatiewizard. Raadpleeg voor meer informatie hierover Implementatiewizard. Deze periode wordt berekend op basis van de huidige serverdatum.

Voor elke server voor midsourcing selecteert de taak de lijst met te verwijderen leveringen.

De Database cleanup de werkstroom schrapt leveringslogboeken, gehechtheid, spiegelpaginainformatie en alle andere verwante gegevens.

Voordat de levering goed wordt verwijderd, worden de gekoppelde gegevens in de volgende tabellen gewist:

• In de uitsluitingstabel van de levering (NmsDlvExclusion), wordt de volgende query gebruikt:

  code language-sql
  DELETE FROM NmsDlvExclusion WHERE iDeliveryId=$(l)

  waar $(l) is de identificatiecode van de levering.

• In de coupontabel (NmsCouponValue), wordt de volgende zoekopdracht gebruikt (met massale schrappingen):

  code language-sql
  DELETE FROM NmsCouponValue WHERE iMessageId IN (SELECT iMessageId FROM NmsCouponValue WHERE EXISTS (SELECT B.iBroadLogId FROM $(BroadLogTableName) B WHERE B.iDeliveryId = $(l) AND B.iBroadLogId = iMessageId ) LIMIT 5000)

  waar $(l) is de identificatiecode van de levering.

• In de lijsten van het leveringslogboek (NmsBroadlogXxx), worden massale verwijderingen uitgevoerd in partijen van 20.000 records.

• In de tabellen met voorstellen (NmsPropositionXxx), worden massale verwijderingen uitgevoerd in partijen van 20.000 records.

• In de volgende logtabellen (NmsTrackinglogXxx), worden massale verwijderingen uitgevoerd in partijen van 20.000 records.

• In de tabel met het leveringsfragment (NmsDeliveryPart), worden massale verwijderingen uitgevoerd in partijen van 500.000 records. Deze lijst bevat verpersoonlijkingsinformatie over de resterende te leveren berichten.

• In de tabel met gegevensfragmenten op de spiegelpagina (NmsMirrorPageInfo) worden massavernietigingen uitgevoerd in partijen van 20.000 records voor verlopen leveringsonderdelen en voor afgewerkte of geannuleerde onderdelen. Deze lijst bevat verpersoonlijkingsinformatie over alle berichten die voor het produceren van spiegelpagina's worden gebruikt.

• In de zoektabel met de spiegelpagina (NmsMirrorPageSearch), worden massale verwijderingen uitgevoerd in partijen van 20.000 records. Deze lijst is een onderzoeksindex die toegang tot verpersoonlijkingsinformatie verleent die in wordt opgeslagen NmsMirrorPageInfo tabel.

• In de logboeklijst van het partijproces (XtkJobLog), worden massale verwijderingen uitgevoerd in partijen van 20.000 records. Deze tabel bevat het logboek met te verwijderen leveringen.

• In de tabel URL van levering (NmsTrackingUrl), wordt de volgende query gebruikt:

  code language-sql
  DELETE FROM NmsTrackingUrl WHERE iDeliveryId=$(l)

  waar $(l) is de identificatiecode van de levering.

  Deze tabel bevat de URL's in de te verwijderen items, zodat deze kunnen worden bijgehouden.

De levering wordt geschrapt uit de leveringstabel (NmsDelivery):

DELETE FROM NmsDelivery WHERE iDeliveryId = $(l)

waar $(l) is de identificatiecode van de levering.

Hiervoor controleert de workflow of elke levering inactief is (op basis van de status). Als een levering actief is, wordt deze gestopt voordat deze wordt verwijderd. De controle wordt uitgevoerd door de volgende vraag uit te voeren:

SELECT iState FROM NmsDelivery WHERE iDeliveryId = $(l) AND iState <> 100;

waar $(l) is de identificatiecode van de levering.

Als de waarde van de status Start pending , In progress , Recovery pending , Recovery in progress , Pause requested , Pause in progress , of Paused (waarden 51, 55, 61, 62, 71, 72, 75), de levering wordt gestopt en de taak zuivert de verwante informatie.

De Database cleanup de workflow maakt een lijst met leveringen die zijn verlopen. Deze lijst bevat alle verlopen leveringen met een andere status dan Finished en onlangs stopte met leveringen met meer dan 10.000 niet-verwerkte berichten. De volgende query wordt gebruikt:

SELECT iDeliveryId, iState FROM NmsDelivery WHERE iDeleteStatus=0 AND iIsModel=0 AND iDeliveryMode=1 AND ( (iState >= 51 AND iState < 85 AND tsValidity IS NOT NULL AND tsValidity < $(currentDate) ) OR (iState = 85 AND DateMinusDays(15) < tsLastModified AND iToDeliver - iProcessed >= 10000 ))

waar delivery mode 1 komt overeen met de Mass delivery modus, state 51 komt overeen met de Start pending staat, state 85 komt overeen met de Stopped staat, en het hoogste aantal leveringslogboeken massa-bijgewerkt op de leveringsserver evenaart 10.000.

De workflow bevat vervolgens een lijst met onlangs verlopen leveringen die gebruikmaken van mid-sourcing. Leveringen waarvoor nog geen leveringslogs via de server voor midsourcing zijn hersteld, zijn uitgesloten.

De volgende query wordt gebruikt:

SELECT iDeliveryId, tsValidity, iMidRemoteId, mData FROM NmsDelivery WHERE (iDeliveryMode = 4 AND (iState = 85 OR iState = 95) AND tsValidity IS NOT NULL AND (tsValidity < SubDays(GetDate() , 15) OR tsValidity < $(DateOfLastLogPullUp)) AND tsLastModified > SubDays(GetDate() , 15))

De volgende vraag wordt gebruikt om te ontdekken al dan niet de externe rekening nog actief is, voor het filtreren leveringen door datum:

SELECT iExtAccountId FROM NmsExtAccount WHERE iActive<>0 AND sName=$(providerName)

In de lijst met verlopen leveringen, leveringslogs waarvan de status is Pending , overschakelen op Delivery cancelled en alle leveringen in deze lijst schakelen over op Finished .

De volgende query's worden gebruikt:

UPDATE $(BroadLogTableName) SET tsLastModified=$(curdate), iStatus=7, iMsgId=$(bl) WHERE iDeliveryId=$(dl) AND iStatus=6

waar $(curdate)de huidige datum van de databaseserver is, $(bl) de identificatiecode van het bericht van de leveringslogs; $(dl) de identificatiecode van de levering; delivery status 6 komt overeen met de Pending status en delivery status 7 komt overeen met de Delivery cancelled status.

UPDATE NmsDelivery SET iState = 95, tsLastModified = $(curdate), tsBroadEnd = tsValidity WHERE iDeliveryId = $(dl)

waar delivery state 95 komt overeen met de Finished status, en $(dl) is de identificatiecode van de levering.

Alle fragmenten (deliveryParts) van verouderde leveringen worden verwijderd en alle verouderde fragmenten van lopende meldingsleveringen worden verwijderd. Mass-delete wordt gebruikt voor beide taken.

De volgende query's worden gebruikt:

DELETE FROM NmsDeliveryPart WHERE iDeliveryPartId IN (SELECT iDeliveryPartId FROM NmsDeliveryPart WHERE iDeliveryId IN (SELECT iDeliveryId FROM NmsDelivery WHERE iState=95 OR iState=85) LIMIT 5000)

DELETE FROM NmsDeliveryPart WHERE iDeliveryPartId IN (SELECT iDeliveryPartId FROM NmsDeliveryPart WHERE tsValidity < $(curDate) LIMIT 500000)

waar delivery state 95 komt overeen met de Finished status, delivery state 85 komt overeen met de Stopped status, en $(curDate) is de huidige serverdatum.

Ten eerste wordt de lijst met te wissen leveringen hersteld met behulp van de volgende query:

SELECT iDeliveryId, iNeedMirrorPage FROM NmsDelivery WHERE iWebResPurged = 0 AND tsWebValidity IS NOT NULL AND tsWebValidity < $(curdate)

waar $(curDate) is de huidige serverdatum.

De NmsMirrorPageInfo de tabel wordt vervolgens gezuiverd, zo nodig met behulp van de identificatiecode van de eerder teruggewonnen levering. De massa-schrapping wordt gebruikt om de volgende vragen te produceren:

DELETE FROM NmsMirrorPageInfo WHERE iMirrorPageInfoId IN (SELECT iMirrorPageInfoId FROM NmsMirrorPageInfo WHERE iDeliveryId = $(dl)) LIMIT 5000

DELETE FROM NmsMirrorPageSearch WHERE iMessageId IN (SELECT iMessageId FROM NmsMirrorPageSearch WHERE iDeliveryId = $(dl)) LIMIT 5000

waar $(dl) is de identificatiecode van de levering.

Een ingang wordt dan toegevoegd aan het leveringslogboek.

De geraffineerde leveringen worden vervolgens geïdentificeerd, zodat ze niet later opnieuw hoeven te worden verwerkt. De volgende query wordt uitgevoerd:

UPDATE NmsDelivery SET iWebResPurged = 1 WHERE iDeliveryId IN ($(strIn))

waar $(strIn) is de lijst van leveringsidentificatoren.

De lijst met tabellen met namen die beginnen met wkDlv_ wordt teruggekregen eerst met de volgende vraag (postgresql):

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkDlv_%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

De tabellen die worden gebruikt door werkstromen die worden uitgevoerd, worden dan uitgesloten. Hiervoor wordt de lijst met lopende leveringen hersteld met behulp van de volgende query:

SELECT iDeliveryId FROM NmsDelivery WHERE iDeliveryId<>0 AND iDeleteStatus=0 AND iState NOT IN (0,85,100);

waar 0 is de waarde die overeenkomt met de Being edited leveringsstatus; 85 komt overeen met de Stopped status en 100 komt overeen met de Deleted status.

De lijsten die niet meer worden gebruikt zullen worden geschrapt gebruikend de volgende vraag:

DROP TABLE wkDlv_15487_1;

De massale schrapping wordt uitgevoerd op de XtkReject tabel met de volgende query:

DELETE FROM XtkReject WHERE iRejectId IN (SELECT iRejectId FROM XtkReject WHERE tsLog < $(curDate)) LIMIT $(l)

waar $(curDate) is de huidige serverdatum waarvan we de periode aftrekken die is gedefinieerd voor de NmsCleanup_RejectsPurgeDelay (raadpleeg Implementatiewizard) en $(l) het maximumaantal te verwijderen records is.

Alle wezen worden dan geschrapt gebruikend de volgende vraag:

DELETE FROM XtkReject WHERE iJobId NOT IN (SELECT iJobId FROM XtkJob)

De volgende query wordt gebruikt om de lijst met te verwijderen workflows te herstellen:

SELECT iWorkflowId, iHistory FROM XtkWorkflow WHERE iWorkflowId<>0

Deze vraag produceert de lijst van werkschema's die zal worden gebruikt om alle verbonden logboeken, gebeëindigde taken en gebeëindigde gebeurtenissen te schrappen, gebruikend de volgende vragen:

DELETE FROM XtkWorkflowLog WHERE iWorkflowId=$(lworkflow) AND tsLog < DateMinusDays($(lhistory))

DELETE FROM XtkWorkflowTask WHERE iWorkflowId=$(lworkflow) AND iStatus<>0 AND tsCompletion < DateMinusDays($(lhistory))

DELETE FROM XtkWorkflowEvent WHERE iWorkflowId=$(l) AND iStatus>2 AND tsProcessing < DateMinusDays($(lHistory))

waar $(lworkflow) is de id van de workflow en $(lhistory) is de id van de geschiedenis.

Alle ongebruikte tabellen worden verwijderd. Hiertoe worden alle tabellen verzameld via een wkf% typemasker die de volgende vraag (postgresql) gebruikt:

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkf%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

Vervolgens worden alle tabellen die worden gebruikt door een instantie in de wachtrij, uitgesloten. De lijst met actieve workflows wordt hersteld met behulp van de volgende query:

SELECT iWorkflowId FROM XtkWorkflow WHERE iWorkflowId<>0 AND iState<>20

Elke werkstroom-id wordt vervolgens hersteld om de naam te vinden van de tabellen die worden gebruikt door werkstromen die worden uitgevoerd. Deze namen zijn uitgesloten van de lijst met eerder herstelde tabellen.

De "stijgende vraag"de lijsten van het type van vraagactiviteit zijn uitgesloten gebruikend de volgende vragen:

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkfhisto%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

SELECT iWorkflowId FROM XtkWorkflow WHERE iWorkflowId IN ($(strCondition))

waar $(strcondition) is de lijst met tabellen die overeenkomen met wkfhisto% masker.

De overige tabellen worden verwijderd met de volgende query:

DROP TABLE wkf15487_12;

Eerst, wordt de lijst van het volgen logboeklijsten teruggekregen gebruikend de volgende vraag:

SELECT distinct(sTrackingLogSchema) FROM NmsDeliveryMapping WHERE sTrackingLogSchema IS NOT NULL;

Massa-schrapping wordt gebruikt om alle lijsten in de lijst van eerder teruggekregen lijsten te zuiveren. De volgende query wordt gebruikt:

DELETE FROM NmsTrackingLogRcp WHERE iTrackingLogId IN (SELECT iTrackingLogId FROM NmsTrackingLogRcp WHERE tsLog < $(tsDate) LIMIT 5000)

waar $(tsDate) is de huidige serverdatum waarvan we de periode aftrekken die is gedefinieerd voor de NmsCleanup_TrackingLogPurgeDelay -optie.

De tabel met volgstatistieken wordt gewist door middel van massale verwijdering. De volgende query wordt gebruikt:

DELETE FROM NmsTrackingStats WHERE iTrackingStatsId IN (SELECT iTrackingStatsId FROM NmsTrackingStats WHERE tsStart < $(tsDate) LIMIT 5000)

waar $(tsDate) is de huidige serverdatum waarvan we de periode aftrekken die is gedefinieerd voor de NmsCleanup_TrackingStatePurgeDelay -optie.

Voor dit doel, wordt de lijst van de schema's van het leveringslogboek teruggekregen gebruikend de volgende vraag:

SELECT distinct(sBroadLogSchema) FROM NmsDeliveryMapping WHERE sBroadLogSchema IS NOT NULL UNION SELECT distinct(sBroadLogExclSchema) FROM NmsDeliveryMapping WHERE sBroadLogExclSchema IS NOT NULL

Bij gebruik van mid-sourcing worden de NmsBroadLogMid Er wordt niet verwezen naar de tabel in de leveringstoewijzingen. De nms:wideLogMid schema wordt toegevoegd aan de lijst die door de vorige vraag wordt teruggekregen.

De Database opschonen vervolgens worden verouderde gegevens uit eerder herstelde tabellen verwijderd. De volgende query wordt gebruikt:

DELETE FROM $(tableName) WHERE iBroadLogId IN (SELECT iBroadLogId FROM $(tableName) WHERE tsLastModified < $(option) LIMIT 5000)

waar $(tableName) de naam is van elke tabel in de lijst van schema's, en $(option) is de datum die voor NmsCleanup_BroadLogPurgeDelay (raadpleeg Implementatiewizard).

Tot slot controleert de werkstroom of NmsProviderMsgId bestaat. Als dat het geval is, worden alle verouderde gegevens verwijderd met de volgende query:

DELETE FROM NmsProviderMsgId WHERE iBroadLogId IN (SELECT iBroadLogId FROM NmsProviderMsgId WHERE tsCreated < $(option) LIMIT 5000)

waar $(option) komt overeen met de datum die is gedefinieerd voor de NmsCleanup_BroadLogPurgeDelay (raadpleeg Implementatiewizard).

De volgende query wordt uitgevoerd om alleen fouten boven een bepaalde drempel (gelijk aan 20) te houden:

SELECT iMXIP, iPublicId, SUM(iTotalConnections), SUM(iTotalErrors), SUM(iMessageErrors), SUM(iAbortedConnections), SUM(iFailedConnections), SUM(iRefusedConnections), SUM(iTimeoutConnections) FROM NmsEmailErrorStat WHERE tsDate>=$(start ) AND tsDate<$(end ) GROUP BY iMXIP, iPublicId HAVING SUM(iTotalErrors) >= 20

De coalescingErrors bericht wordt weergegeven.

Er wordt een nieuwe verbinding gemaakt om alle fouten tussen de begin- en einddatum te verwijderen. De volgende query wordt gebruikt:

DELETE FROM NmsEmailErrorStat WHERE tsDate>=$(start) AND tsDate<$(end)

Elke fout wordt opgeslagen in het dialoogvenster NmsEmailErrorStat tabel met de volgende query:

INSERT INTO NmsEmailErrorStat(iMXIP, iPublicId, tsDate, iTotalConnections, iTotalErrors, iTimeoutConnections, iRefusedConnections, iAbortedConnections, iFailedConnections, iMessageErrors) VALUES($(lmxip ), $(lpublicId ), $(tsstart ), $(lconnections ), $(lconnectionErrors ),$(ltimeoutConnections ), $(lrefusedConnections ), $(labortedConnections ), $(lfailedConnections ), $(lmessageErrors))

waarbij elke variabele overeenkomt met een waarde die door de vorige query is hersteld.

De start De variabele wordt bijgewerkt met de waarden van het vorige proces om de lus te beëindigen.

Om de lijst van simulaties terug te krijgen die schoonmaakbeurt vereisen, wordt de volgende vraag gebruikt:

SELECT iSimulationId FROM NmsSimulation WHERE iSimulationId<>0

De naam van de tabellen die u wilt verwijderen, bestaat uit de wkSimu_ voorvoegsel gevolgd door de id van de simulatie (bijvoorbeeld: wkSimu_456831_aggr):

DROP TABLE wkSimu_456831_aggr