Workflow voor het opschonen van databases database-cleanup-workflow

Lijsten die moeten worden verwijderd, worden hersteld met de volgende SQL-query:

SELECT iGroupId, sLabel, iType FROM NmsGroup WHERE iDeleteStatus <> 0 OR tsExpirationDate <= GetDate()

Elke lijst bevat verschillende koppelingen naar andere tabellen. Al deze verbindingen worden geschrapt in bulk gebruikend de volgende vraag:

DELETE FROM $(relatedTable) WHERE iGroupId=$(l) IN (SELECT iGroupId FROM $(relatedTable) WHERE iGroupId=$(l) LIMIT 5000)

waar $(relatedTable) een lijst verwant met NmsGroup is en $(l) is het lijstherkenningsteken.

Wanneer de lijst een lijst van het type "Lijst"is, wordt de bijbehorende lijst geschrapt gebruikend de volgende vraag:

DROP TABLE grp$(l)

Elk Uitgezochte type lijst die door de verrichting wordt teruggekregen wordt geschrapt gebruikend de volgende vraag:

DELETE FROM NmsGroup WHERE iGroupId=$(l)

waarbij $(l) de lijst-id is

Het Database cleanup werkschema selecteert alle leveringen waarvoor het deleteStatus gebied de waarde Yes of Recycled heeft en waarvan schrappingsdatum vroeger is dan de periode die in Deleted deliveries wordt bepaald (NmsCleanup_RecycledDeliveryPurgeDelay) gebied van de plaatsingstovenaar. Voor meer op dit, verwijs naar plaatsingstovenaar. Deze periode wordt berekend op basis van de huidige serverdatum.

Voor elke server voor midsourcing selecteert de taak de lijst met te verwijderen leveringen.

De Database cleanup -workflow verwijdert leveringslogbestanden, bijlagen, spiegelpagina-informatie en alle andere gerelateerde gegevens.

Voordat de levering goed wordt verwijderd, worden de gekoppelde gegevens in de volgende tabellen gewist:

• In de lijst van de leveringsuitsluiting (NmsDlvExclusion), wordt de volgende vraag gebruikt:

  code language-sql
  DELETE FROM NmsDlvExclusion WHERE iDeliveryId=$(l)

  waarbij $(l) het herkenningsteken van de levering is.

• In de couponlijst (NmsCouponValue), wordt de volgende vraag gebruikt (met massa-schrappingen):

  code language-sql
  DELETE FROM NmsCouponValue WHERE iMessageId IN (SELECT iMessageId FROM NmsCouponValue WHERE EXISTS (SELECT B.iBroadLogId FROM $(BroadLogTableName) B WHERE B.iDeliveryId = $(l) AND B.iBroadLogId = iMessageId ) LIMIT 5000)

  waarbij $(l) de id van de levering is.

• In de lijsten van het leveringslogboek (NmsBroadlogXxx), worden de massa-schrappingen uitgevoerd in partijen van 20.000 verslagen.

• In de lijsten van het aanbiedingsvoorstel (NmsPropositionXxx), worden massa-schrappingen uitgevoerd in partijen van 20.000 verslagen.

• In de volgende logboeklijsten (NmsTrackinglogXxx), worden de massa-schrappingen uitgevoerd in partijen van 20.000 verslagen.

• In de lijst van het leveringsfragment (NmsDeliveryPart), worden massa-deletions uitgevoerd in partijen van 500.000 verslagen. Deze lijst bevat verpersoonlijkingsinformatie over de resterende te leveren berichten.

• In de het fragmentlijst van de spiegelpaginagegevens (NmsMirrorPageInfo), worden de massa-schrappingen uitgevoerd in partijen van 20.000 verslagen voor verlopen leveringsdelen en voor gebeëindigde of geannuleerde degenen. Deze lijst bevat verpersoonlijkingsinformatie over alle berichten die voor het produceren van spiegelpagina's worden gebruikt.

• In de lijst van het het paginacheonderzoek van de spiegelpagina (NmsMirrorPageSearch), worden massa-schrappingen uitgevoerd in partijen van 20.000 verslagen. Deze lijst is een onderzoeksindex die toegang tot verpersoonlijkingsinformatie verleent die in de wordt opgeslagen NmsMirrorPageInfo lijst.

• In de lijst van het partijproceslogboek (XtkJobLog), wordt massa-schrappingen uitgevoerd in partijen van 20.000 verslagen. Deze tabel bevat het logboek met te verwijderen leveringen.

• In de levering URL volgende lijst (NmsTrackingUrl), wordt de volgende vraag gebruikt:

  code language-sql
  DELETE FROM NmsTrackingUrl WHERE iDeliveryId=$(l)

  waarbij $(l) de id van de levering is.

  Deze tabel bevat de URL's in de te verwijderen items, zodat deze kunnen worden bijgehouden.

De levering wordt geschrapt van de leveringslijst (NmsDelivery):

DELETE FROM NmsDelivery WHERE iDeliveryId = $(l)

waarbij $(l) de id van de levering is.

Hiervoor controleert de workflow of elke levering inactief is (op basis van de status). Als een levering actief is, wordt deze gestopt voordat deze wordt verwijderd. De controle wordt uitgevoerd door de volgende vraag uit te voeren:

SELECT iState FROM NmsDelivery WHERE iDeliveryId = $(l) AND iState <> 100;

waarbij $(l) het herkenningsteken van de levering is.

Als de waarde van de status Start pending , In progress , Recovery pending , Recovery in progress , Pause requested , Pause in progress of Paused (waarden 51, 55, 61, 62, 71, 72, 75) is, wordt de levering gestopt en wordt de gekoppelde informatie opgeschoond.

De workflow van Database cleanup maakt een lijst met verlopen leveringen. Deze lijst bevat alle verlopen leveringen met een andere status dan Finished en ook de onlangs gestopt leveringen met meer dan 10.000 niet-verwerkte berichten. De volgende query wordt gebruikt:

SELECT iDeliveryId, iState FROM NmsDelivery WHERE iDeleteStatus=0 AND iIsModel=0 AND iDeliveryMode=1 AND ( (iState >= 51 AND iState < 85 AND tsValidity IS NOT NULL AND tsValidity < $(currentDate) ) OR (iState = 85 AND DateMinusDays(15) < tsLastModified AND iToDeliver - iProcessed >= 10000 ))

waarbij delivery mode 1 overeenkomt met de Mass delivery mode, state 51 overeenkomt met de Start pending state, state 85 overeenkomt met de Stopped state en het hoogste aantal leveringslogboeken dat op de bezorgserver is bijgewerkt, gelijk is aan 10.000.

De workflow bevat vervolgens een lijst met onlangs verlopen leveringen die gebruikmaken van mid-sourcing. Leveringen waarvoor nog geen leveringslogs via de server voor midsourcing zijn hersteld, zijn uitgesloten.

De volgende query wordt gebruikt:

SELECT iDeliveryId, tsValidity, iMidRemoteId, mData FROM NmsDelivery WHERE (iDeliveryMode = 4 AND (iState = 85 OR iState = 95) AND tsValidity IS NOT NULL AND (tsValidity < SubDays(GetDate() , 15) OR tsValidity < $(DateOfLastLogPullUp)) AND tsLastModified > SubDays(GetDate() , 15))

De volgende vraag wordt gebruikt om te ontdekken al dan niet de externe rekening nog actief is, voor het filtreren leveringen door datum:

SELECT iExtAccountId FROM NmsExtAccount WHERE iActive<>0 AND sName=$(providerName)

In de lijst met verlopen leveringen, leveringslogboeken met de status Pending , schakelen naar Delivery cancelled en alle leveringen in deze lijst schakelen naar Finished .

De volgende query's worden gebruikt:

UPDATE $(BroadLogTableName) SET tsLastModified=$(curdate), iStatus=7, iMsgId=$(bl) WHERE iDeliveryId=$(dl) AND iStatus=6

waarbij $(curdate) de huidige datum van de databaseserver is, is $(bl) de id van het bericht met de leveringslogbestanden, is $(dl) de leverings-id, komt delivery status 6 overeen met de Pending status en delivery status 7 komt overeen met de Delivery cancelled status.

UPDATE NmsDelivery SET iState = 95, tsLastModified = $(curdate), tsBroadEnd = tsValidity WHERE iDeliveryId = $(dl)

waarbij delivery state 95 overeenkomt met Finished status, en $(dl) de id van de levering is.

Alle fragmenten (deliveryParts) van verouderde leveringen worden geschrapt en alle verouderde fragmenten van berichtleveringen in uitvoering worden geschrapt. Mass-delete wordt gebruikt voor beide taken.

De volgende query's worden gebruikt:

DELETE FROM NmsDeliveryPart WHERE iDeliveryPartId IN (SELECT iDeliveryPartId FROM NmsDeliveryPart WHERE iDeliveryId IN (SELECT iDeliveryId FROM NmsDelivery WHERE iState=95 OR iState=85) LIMIT 5000)

DELETE FROM NmsDeliveryPart WHERE iDeliveryPartId IN (SELECT iDeliveryPartId FROM NmsDeliveryPart WHERE tsValidity < $(curDate) LIMIT 500000)

waarbij delivery state 95 overeenkomt met Finished status, delivery state 85 overeenkomt met Stopped status en $(curDate) de huidige serverdatum is.

Ten eerste wordt de lijst met te wissen leveringen hersteld met behulp van de volgende query:

SELECT iDeliveryId, iNeedMirrorPage FROM NmsDelivery WHERE iWebResPurged = 0 AND tsWebValidity IS NOT NULL AND tsWebValidity < $(curdate)

waarbij $(curDate) de huidige serverdatum is.

De NmsMirrorPageInfo lijst wordt dan ontruimd, indien nodig gebruikend het herkenningsteken van de eerder teruggekregen levering. De massa-schrapping wordt gebruikt om de volgende vragen te produceren:

DELETE FROM NmsMirrorPageInfo WHERE iMirrorPageInfoId IN (SELECT iMirrorPageInfoId FROM NmsMirrorPageInfo WHERE iDeliveryId = $(dl)) LIMIT 5000

DELETE FROM NmsMirrorPageSearch WHERE iMessageId IN (SELECT iMessageId FROM NmsMirrorPageSearch WHERE iDeliveryId = $(dl)) LIMIT 5000

waarbij $(dl) de id van de levering is.

Een ingang wordt dan toegevoegd aan het leveringslogboek.

De geraffineerde leveringen worden vervolgens geïdentificeerd, zodat ze niet later opnieuw hoeven te worden verwerkt. De volgende query wordt uitgevoerd:

UPDATE NmsDelivery SET iWebResPurged = 1 WHERE iDeliveryId IN ($(strIn))

waarbij $(strIn) de lijst met leverings-id's is.

De lijst van lijsten met namen die met beginnen wkDlv_ wordt teruggekregen eerst met de volgende vraag (postgresql):

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkDlv_%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

De tabellen die worden gebruikt door werkstromen die worden uitgevoerd, worden dan uitgesloten. Hiervoor wordt de lijst met lopende leveringen hersteld met behulp van de volgende query:

SELECT iDeliveryId FROM NmsDelivery WHERE iDeliveryId<>0 AND iDeleteStatus=0 AND iState NOT IN (0,85,100);

waarbij 0 de waarde is die overeenkomt met de Being edited leveringsstatus, 85 de Stopped status en 100 de Deleted status.

De lijsten die niet meer worden gebruikt zullen worden geschrapt gebruikend de volgende vraag:

DROP TABLE wkDlv_15487_1;

De massa-schrapping wordt uitgevoerd op XtkReject lijst met de volgende vraag:

DELETE FROM XtkReject WHERE iRejectId IN (SELECT iRejectId FROM XtkReject WHERE tsLog < $(curDate)) LIMIT $(l)

waar $(curDate) de huidige serverdatum is waarvan wij de periode aftrekken die voor de wordt bepaald NmsCleanup_RejectsPurgeDelay optie (verwijs naar plaatsingstovenaar) en $(l) is het maximumaantal verslagen dat massaal moet worden geschrapt.

Alle wezen worden dan geschrapt gebruikend de volgende vraag:

DELETE FROM XtkReject WHERE iJobId NOT IN (SELECT iJobId FROM XtkJob)

De volgende query wordt gebruikt om de lijst met te verwijderen workflows te herstellen:

SELECT iWorkflowId, iHistory FROM XtkWorkflow WHERE iWorkflowId<>0

Deze vraag produceert de lijst van werkschema's die zal worden gebruikt om alle verbonden logboeken, gebeëindigde taken en gebeëindigde gebeurtenissen te schrappen, gebruikend de volgende vragen:

DELETE FROM XtkWorkflowLog WHERE iWorkflowId=$(lworkflow) AND tsLog < DateMinusDays($(lhistory))

DELETE FROM XtkWorkflowTask WHERE iWorkflowId=$(lworkflow) AND iStatus<>0 AND tsCompletion < DateMinusDays($(lhistory))

DELETE FROM XtkWorkflowEvent WHERE iWorkflowId=$(l) AND iStatus>2 AND tsProcessing < DateMinusDays($(lHistory))

waarbij $(lworkflow) de id van de workflow is en $(lhistory) de id van de geschiedenis.

Alle ongebruikte tabellen worden verwijderd. Voor dit doel, worden alle lijsten verzameld dank aan a wkf% typemasker gebruikend de volgende vraag (postgresql):

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkf%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

Vervolgens worden alle tabellen die worden gebruikt door een instantie in de wachtrij, uitgesloten. De lijst met actieve workflows wordt hersteld met behulp van de volgende query:

SELECT iWorkflowId FROM XtkWorkflow WHERE iWorkflowId<>0 AND iState<>20

Elke werkstroom-id wordt vervolgens hersteld om de naam te vinden van de tabellen die worden gebruikt door werkstromen die worden uitgevoerd. Deze namen zijn uitgesloten van de lijst met eerder herstelde tabellen.

De "stijgende vraag"de lijsten van het type van vraagactiviteit zijn uitgesloten gebruikend de volgende vragen:

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkfhisto%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

SELECT iWorkflowId FROM XtkWorkflow WHERE iWorkflowId IN ($(strCondition))

waar $(strcondition) de lijst van lijsten is die het wkfhisto% masker aanpassen.

De overige tabellen worden verwijderd met de volgende query:

DROP TABLE wkf15487_12;

Eerst, wordt de lijst van het volgen logboeklijsten teruggekregen gebruikend de volgende vraag:

SELECT distinct(sTrackingLogSchema) FROM NmsDeliveryMapping WHERE sTrackingLogSchema IS NOT NULL;

Massa-schrapping wordt gebruikt om alle lijsten in de lijst van eerder teruggekregen lijsten te zuiveren. De volgende query wordt gebruikt:

DELETE FROM NmsTrackingLogRcp WHERE iTrackingLogId IN (SELECT iTrackingLogId FROM NmsTrackingLogRcp WHERE tsLog < $(tsDate) LIMIT 5000)

waar $(tsDate) de huidige serverdatum is waarvan wij de periode aftrekken die voor de wordt bepaald NmsCleanup_TrackingLogPurgeDelay optie.

De tabel met volgstatistieken wordt gewist door middel van massale verwijdering. De volgende query wordt gebruikt:

DELETE FROM NmsTrackingStats WHERE iTrackingStatsId IN (SELECT iTrackingStatsId FROM NmsTrackingStats WHERE tsStart < $(tsDate) LIMIT 5000)

waar $(tsDate) de huidige serverdatum is waarvan wij de periode aftrekken die voor de wordt bepaald NmsCleanup_TrackingStatePurgeDelay optie.

Voor dit doel, wordt de lijst van de schema's van het leveringslogboek teruggekregen gebruikend de volgende vraag:

SELECT distinct(sBroadLogSchema) FROM NmsDeliveryMapping WHERE sBroadLogSchema IS NOT NULL UNION SELECT distinct(sBroadLogExclSchema) FROM NmsDeliveryMapping WHERE sBroadLogExclSchema IS NOT NULL

Wanneer het gebruiken van midsourcing, wordt de NmsBroadLogMid lijst niet van verwijzingen voorzien in leveringsafbeeldingen. Het nms:wideLogMid schema wordt toegevoegd aan de lijst die door de vorige vraag wordt teruggekregen.

De schoonmaakbeurt van het Gegevensbestand werkschema wint dan verouderde gegevens van eerder teruggekregen lijsten. De volgende query wordt gebruikt:

DELETE FROM $(tableName) WHERE iBroadLogId IN (SELECT iBroadLogId FROM $(tableName) WHERE tsLastModified < $(option) LIMIT 5000)

waar $(tableName) de naam van elke lijst in de lijst van schema's is, en $(option) is de datum die voor wordt bepaald NmsCleanup_BroadLogPurgeDelay optie (verwijs naar plaatsingstovenaar).

Tot slot controleert het werkschema of de NmsProviderMsgId lijst bestaat. Als dat het geval is, worden alle verouderde gegevens verwijderd met de volgende query:

DELETE FROM NmsProviderMsgId WHERE iBroadLogId IN (SELECT iBroadLogId FROM NmsProviderMsgId WHERE tsCreated < $(option) LIMIT 5000)

waar $(option) de datum aanpast die voor wordt bepaald NmsCleanup_BroadLogPurgeDelay optie (verwijs naar plaatsingstovenaar).

De volgende query wordt uitgevoerd om alleen fouten boven een bepaalde drempel (gelijk aan 20) te houden:

SELECT iMXIP, iPublicId, SUM(iTotalConnections), SUM(iTotalErrors), SUM(iMessageErrors), SUM(iAbortedConnections), SUM(iFailedConnections), SUM(iRefusedConnections), SUM(iTimeoutConnections) FROM NmsEmailErrorStat WHERE tsDate>=$(start ) AND tsDate<$(end ) GROUP BY iMXIP, iPublicId HAVING SUM(iTotalErrors) >= 20

Het coalescingErrors bericht wordt getoond.

Er wordt een nieuwe verbinding gemaakt om alle fouten tussen de begin- en einddatum te verwijderen. De volgende query wordt gebruikt:

DELETE FROM NmsEmailErrorStat WHERE tsDate>=$(start) AND tsDate<$(end)

Elke fout wordt bewaard in de NmsEmailErrorStatus lijst gebruikend de volgende vraag:

INSERT INTO NmsEmailErrorStat(iMXIP, iPublicId, tsDate, iTotalConnections, iTotalErrors, iTimeoutConnections, iRefusedConnections, iAbortedConnections, iFailedConnections, iMessageErrors) VALUES($(lmxip ), $(lpublicId ), $(tsstart ), $(lconnections ), $(lconnectionErrors ),$(ltimeoutConnections ), $(lrefusedConnections ), $(labortedConnections ), $(lfailedConnections ), $(lmessageErrors))

waarbij elke variabele overeenkomt met een waarde die door de vorige query is hersteld.

De begin variabele wordt bijgewerkt met de waarden van het vorige proces om de lijn te beëindigen.

Om de lijst van simulaties terug te krijgen die schoonmaakbeurt vereisen, wordt de volgende vraag gebruikt:

SELECT iSimulationId FROM NmsSimulation WHERE iSimulationId<>0

De naam van de te schrappen lijsten wordt samengesteld uit wkSimu_ prefix die door het herkenningsteken van de simulatie wordt gevolgd (bijvoorbeeld: wkSimu_456831_aggr):

DROP TABLE wkSimu_456831_aggr