데이터베이스 정리 워크플로 database-cleanup-workflow

삭제할 목록은 다음 SQL 쿼리를 사용하여 복구됩니다.

SELECT iGroupId, sLabel, iType FROM NmsGroup WHERE iDeleteStatus <> 0 OR tsExpirationDate <= GetDate()

각 목록에는 다른 테이블에 대한 여러 링크가 있습니다. 이러한 모든 링크는 다음 쿼리를 사용하여 일괄적으로 삭제됩니다.

DELETE FROM $(relatedTable) WHERE iGroupId=$(l) IN (SELECT iGroupId FROM $(relatedTable) WHERE iGroupId=$(l) LIMIT 5000)

여기서 $(relatedTable)은(는) NmsGroup ​과(와) 관련된 테이블이고 $(l)은(는) 목록 식별자입니다.

목록이 '목록' 유형 목록인 경우 다음 쿼리를 사용하여 관련 테이블이 삭제됩니다.

DROP TABLE grp$(l)

다음 쿼리를 사용하여 작업에 의해 복구된 모든 Select 형식 목록을 삭제합니다.

DELETE FROM NmsGroup WHERE iGroupId=$(l)

여기서 $(l)은(는) 목록 식별자입니다.

Database cleanup 워크플로에서는 deleteStatus 필드의 값이 Yes 또는 Recycled ​이고 삭제 날짜가 배포 마법사의 Deleted deliveries(NmsCleanup_RecycedDeliveryPurgeDelay) 필드에 정의된 기간 이전인 모든 게재를 선택합니다. 자세한 내용은 배포 마법사를 참조하세요. 이 기간은 현재 서버 날짜를 기준으로 계산됩니다.

각 중간 소싱 서버에 대해 작업은 삭제할 게재 목록을 선택합니다.

Database cleanup 워크플로는 게재 로그, 첨부 파일, 미러 페이지 정보 및 기타 모든 관련 데이터를 삭제합니다.

정상적으로 게재를 삭제하기 전에 워크플로우는 다음 표에서 연결된 정보를 삭제합니다.

• 게재 제외 테이블(NmsDlvExclusion)에서는 다음 쿼리가 사용됩니다.

  code language-sql
  DELETE FROM NmsDlvExclusion WHERE iDeliveryId=$(l)

  여기서 $(l) ​은(는) 게재 식별자입니다.

• 쿠폰 테이블(NmsCouponValue)에서 다음 쿼리가 사용됩니다(대량 삭제 포함).

  code language-sql
  DELETE FROM NmsCouponValue WHERE iMessageId IN (SELECT iMessageId FROM NmsCouponValue WHERE EXISTS (SELECT B.iBroadLogId FROM $(BroadLogTableName) B WHERE B.iDeliveryId = $(l) AND B.iBroadLogId = iMessageId ) LIMIT 5000)

  여기서 $(l)은(는) 게재 식별자입니다.

• 게재 로그 테이블(NmsBroadlogXxx)에서 대량 삭제는 20,000개의 레코드로 일괄적으로 실행됩니다.

• 오퍼 제안 테이블(NmsPropositionXxx)에서 대량 삭제는 20,000개의 레코드로 일괄적으로 실행됩니다.

• 추적 로그 테이블(NmsTrackinglogXxx)에서 대량 삭제는 20,000개의 레코드로 일괄적으로 실행됩니다.

• 게재 조각 테이블(NmsDeliveryPart)에서 대량 삭제는 50만 개의 레코드로 일괄적으로 실행됩니다. 이 표에는 게재할 나머지 메시지에 대한 개인화 정보가 포함되어 있습니다.

• 미러 페이지 데이터 조각 테이블(NmsMirrorPageInfo)에서 대량 삭제는 만료된 게재 부분 및 완료 또는 취소된 부분에 대해 20,000개의 레코드로 일괄적으로 실행됩니다. 이 표에는 미러 페이지 생성에 사용되는 모든 메시지에 대한 개인화 정보가 포함되어 있습니다.

• 미러 페이지 검색 테이블(NmsMirrorPageSearch)에서 대량 삭제는 20,000개의 레코드로 일괄적으로 실행됩니다. 이 테이블은 NmsMirrorPageInfo 테이블에 저장된 개인화 정보에 대한 액세스를 제공하는 검색 색인입니다.

• 일괄 처리 프로세스 로그 테이블(XtkJobLog)에서 대량 삭제는 20,000개의 레코드로 일괄적으로 실행됩니다. 이 표에는 삭제할 게재 로그가 포함되어 있습니다.

• 게재 URL 추적 테이블(NmsTrackingUrl)에서 다음 쿼리가 사용됩니다.

  code language-sql
  DELETE FROM NmsTrackingUrl WHERE iDeliveryId=$(l)

  여기서 $(l)은(는) 게재 식별자입니다.

  이 표에는 추적을 활성화하기 위해 삭제할 게재에서 찾은 URL이 포함되어 있습니다.

게재가 게재 테이블(NmsDelivery)에서 삭제되었습니다.

DELETE FROM NmsDelivery WHERE iDeliveryId = $(l)

여기서 $(l)은(는) 게재 식별자입니다.

이를 위해 워크플로우는 각 게재가 비활성 상태임을 확인합니다(상태에 따라 다름). 게재가 활성 상태이면 삭제하기 전에 중지됩니다. 다음 쿼리를 실행하여 확인합니다.

SELECT iState FROM NmsDelivery WHERE iDeliveryId = $(l) AND iState <> 100;

여기서 $(l) ​은(는) 게재 식별자입니다.

상태 값이 Start pending , In progress , Recovery pending , Recovery in progress , Pause requested , Pause in progress 또는 Paused(값 51, 55, 61, 62, 71, 72, 75)이면 게재가 중지되고 작업이 연결된 정보를 삭제합니다.

Database cleanup 워크플로에서 만료된 게재 목록을 만듭니다. 이 목록에는 Finished 이외의 상태로 만료된 모든 게재와 10,000개 이상의 처리되지 않은 메시지가 있는 최근에 중지된 게재가 포함됩니다. 다음 쿼리가 사용됩니다.

SELECT iDeliveryId, iState FROM NmsDelivery WHERE iDeleteStatus=0 AND iIsModel=0 AND iDeliveryMode=1 AND ( (iState >= 51 AND iState < 85 AND tsValidity IS NOT NULL AND tsValidity < $(currentDate) ) OR (iState = 85 AND DateMinusDays(15) < tsLastModified AND iToDeliver - iProcessed >= 10000 ))

여기서 delivery mode 1은(는) Mass delivery 모드와 일치하고, state 51은(는) Start pending 상태와 일치하고, state 85은(는) Stopped 상태와 일치하며, 게재 서버에서 대량 업데이트된 가장 많은 게재 로그 수는 10,000개입니다.

그러면 워크플로우에는 중간 소싱을 사용하는 최근에 만료된 게재 목록이 포함됩니다. 중간 소싱 서버를 통해 아직 게재 로그가 복구되지 않은 게재는 제외됩니다.

다음 쿼리가 사용됩니다.

SELECT iDeliveryId, tsValidity, iMidRemoteId, mData FROM NmsDelivery WHERE (iDeliveryMode = 4 AND (iState = 85 OR iState = 95) AND tsValidity IS NOT NULL AND (tsValidity < SubDays(GetDate() , 15) OR tsValidity < $(DateOfLastLogPullUp)) AND tsLastModified > SubDays(GetDate() , 15))

다음 쿼리는 날짜별로 게재를 필터링하기 위해 외부 계정이 여전히 활성 상태인지 여부를 감지하는 데 사용됩니다.

SELECT iExtAccountId FROM NmsExtAccount WHERE iActive<>0 AND sName=$(providerName)

만료된 게재 목록에서 상태가 Pending ​인 게재 로그는 Delivery cancelled(으)로 전환되고 이 목록에 있는 모든 게재는 Finished(으)로 전환됩니다.

다음 쿼리가 사용됩니다.

UPDATE $(BroadLogTableName) SET tsLastModified=$(curdate), iStatus=7, iMsgId=$(bl) WHERE iDeliveryId=$(dl) AND iStatus=6

여기서 $(curdate)은(는) 데이터베이스 서버의 현재 날짜이고, $(bl)은(는) 게재 로그 메시지의 식별자이며, $(dl)은(는) 게재 식별자이고, delivery status 6은(는) Pending 상태와 일치하고, delivery status 7은(는) Delivery cancelled 상태와 일치합니다.

UPDATE NmsDelivery SET iState = 95, tsLastModified = $(curdate), tsBroadEnd = tsValidity WHERE iDeliveryId = $(dl)

여기서 delivery state 95은(는) Finished 상태와 일치하고 $(dl)은(는) 게재 식별자입니다.

오래된 게재의 모든 조각(deliveryParts)이 삭제되고 진행 중인 알림 게재의 오래된 조각이 모두 삭제됩니다. 이 두 작업에는 일괄 삭제가 사용됩니다.

다음 쿼리가 사용됩니다.

DELETE FROM NmsDeliveryPart WHERE iDeliveryPartId IN (SELECT iDeliveryPartId FROM NmsDeliveryPart WHERE iDeliveryId IN (SELECT iDeliveryId FROM NmsDelivery WHERE iState=95 OR iState=85) LIMIT 5000)

DELETE FROM NmsDeliveryPart WHERE iDeliveryPartId IN (SELECT iDeliveryPartId FROM NmsDeliveryPart WHERE tsValidity < $(curDate) LIMIT 500000)

여기서 delivery state 95은(는) Finished 상태와 일치하고 delivery state 85은(는) Stopped 상태와 일치하며 $(curDate)은(는) 현재 서버 날짜입니다.

먼저 다음 쿼리를 사용하여 삭제할 게재 목록을 복구합니다.

SELECT iDeliveryId, iNeedMirrorPage FROM NmsDelivery WHERE iWebResPurged = 0 AND tsWebValidity IS NOT NULL AND tsWebValidity < $(curdate)

여기서 $(curDate)은(는) 현재 서버 날짜입니다.

그런 다음 필요한 경우 이전에 복구된 게재의 식별자를 사용하여 NmsMirrorPageInfo 테이블을 삭제합니다. 대량 삭제는 다음 쿼리를 생성하는 데 사용됩니다.

DELETE FROM NmsMirrorPageInfo WHERE iMirrorPageInfoId IN (SELECT iMirrorPageInfoId FROM NmsMirrorPageInfo WHERE iDeliveryId = $(dl)) LIMIT 5000

DELETE FROM NmsMirrorPageSearch WHERE iMessageId IN (SELECT iMessageId FROM NmsMirrorPageSearch WHERE iDeliveryId = $(dl)) LIMIT 5000

여기서 $(dl)은(는) 게재 식별자입니다.

그런 다음 항목이 게재 로그에 추가됩니다.

그런 다음 삭제된 게재가 식별되어 나중에 다시 처리할 필요가 없습니다. 다음 쿼리가 실행됩니다.

UPDATE NmsDelivery SET iWebResPurged = 1 WHERE iDeliveryId IN ($(strIn))

여기서 $(strIn)은(는) 게재 식별자 목록입니다.

이름이 wkDlv_ ​로 시작하는 테이블 목록은 먼저 다음 쿼리(postgresql)를 사용하여 복구됩니다.

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkDlv_%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

그러면 진행 중인 워크플로우에서 사용하는 표는 제외됩니다. 이를 위해 다음 쿼리를 사용하여 진행 중인 게재 목록을 복구합니다.

SELECT iDeliveryId FROM NmsDelivery WHERE iDeliveryId<>0 AND iDeleteStatus=0 AND iState NOT IN (0,85,100);

여기서 0은(는) Being edited 게재 상태와 일치하는 값이고 85은(는) Stopped 상태와 일치하며 100은(는) Deleted 상태와 일치합니다.

더 이상 사용되지 않는 테이블은 다음 쿼리를 사용하여 삭제됩니다.

DROP TABLE wkDlv_15487_1;

다음 쿼리를 사용하여 XtkReject 테이블에서 대량 삭제를 수행합니다.

DELETE FROM XtkReject WHERE iRejectId IN (SELECT iRejectId FROM XtkReject WHERE tsLog < $(curDate)) LIMIT $(l)

여기서 $(curDate)은(는) NmsCleanup_RejectPurgeDelay 옵션(배포 마법사 참조)에 대해 정의된 기간을 뺀 현재 서버 날짜이고 $(l)은(는) 대량 삭제할 최대 레코드 수입니다.

그런 다음 모든 고아 거부가 다음 쿼리를 사용하여 삭제됩니다.

DELETE FROM XtkReject WHERE iJobId NOT IN (SELECT iJobId FROM XtkJob)

삭제할 워크플로우 목록을 복구하려면 다음 쿼리가 사용됩니다.

SELECT iWorkflowId, iHistory FROM XtkWorkflow WHERE iWorkflowId<>0

이 쿼리는 다음 쿼리를 사용하여 연결된 모든 로그, 완료된 작업 및 완료된 이벤트를 삭제하는 데 사용할 워크플로 목록을 생성합니다.

DELETE FROM XtkWorkflowLog WHERE iWorkflowId=$(lworkflow) AND tsLog < DateMinusDays($(lhistory))

DELETE FROM XtkWorkflowTask WHERE iWorkflowId=$(lworkflow) AND iStatus<>0 AND tsCompletion < DateMinusDays($(lhistory))

DELETE FROM XtkWorkflowEvent WHERE iWorkflowId=$(l) AND iStatus>2 AND tsProcessing < DateMinusDays($(lHistory))

여기서 $(lworkflow)은(는) 워크플로의 식별자이고 $(lhistory)은(는) 기록의 식별자입니다.

사용되지 않은 테이블은 모두 삭제됩니다. 이를 위해 다음 쿼리(postgresql)를 사용하는 wkf% 형식 마스크 덕분에 모든 테이블이 수집됩니다.

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkf%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

그러면 보류 중인 워크플로우 인스턴스에서 사용하는 모든 테이블이 제외됩니다. 활성 워크플로우 목록은 다음 쿼리를 사용하여 복구됩니다.

SELECT iWorkflowId FROM XtkWorkflow WHERE iWorkflowId<>0 AND iState<>20

그런 다음 각 워크플로우 식별자를 복구하여 진행 중인 워크플로우에서 사용하는 테이블의 이름을 찾습니다. 이러한 이름은 이전에 복구된 테이블 목록에서 제외됩니다.

"증분 쿼리" 유형의 활동 기록 테이블은 다음 쿼리를 사용하여 제외됩니다.

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkfhisto%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

SELECT iWorkflowId FROM XtkWorkflow WHERE iWorkflowId IN ($(strCondition))

여기서 $(strcondition)은(는) wkfhisto% 마스크와 일치하는 테이블 목록입니다.

나머지 테이블은 다음 쿼리를 사용하여 삭제됩니다.

DROP TABLE wkf15487_12;

먼저 다음 쿼리를 사용하여 추적 로그 테이블 목록을 복구합니다.

SELECT distinct(sTrackingLogSchema) FROM NmsDeliveryMapping WHERE sTrackingLogSchema IS NOT NULL;

일괄 삭제는 이전에 복구된 테이블 목록에서 모든 테이블을 삭제하는 데 사용됩니다. 다음 쿼리가 사용됩니다.

DELETE FROM NmsTrackingLogRcp WHERE iTrackingLogId IN (SELECT iTrackingLogId FROM NmsTrackingLogRcp WHERE tsLog < $(tsDate) LIMIT 5000)

여기서 $(tsDate)은(는) NmsCleanup_TrackingLogPurgeDelay 옵션에 대해 정의된 기간을 뺀 현재 서버 날짜입니다.

추적 통계 테이블은 일괄 삭제를 사용하여 삭제됩니다. 다음 쿼리가 사용됩니다.

DELETE FROM NmsTrackingStats WHERE iTrackingStatsId IN (SELECT iTrackingStatsId FROM NmsTrackingStats WHERE tsStart < $(tsDate) LIMIT 5000)

여기서 $(tsDate)은(는) NmsCleanup_TrackingStatPurgeDelay 옵션에 대해 정의된 기간을 뺀 현재 서버 날짜입니다.

이를 위해 다음 쿼리를 사용하여 게재 로그 스키마 목록을 복구합니다.

SELECT distinct(sBroadLogSchema) FROM NmsDeliveryMapping WHERE sBroadLogSchema IS NOT NULL UNION SELECT distinct(sBroadLogExclSchema) FROM NmsDeliveryMapping WHERE sBroadLogExclSchema IS NOT NULL

중간 소싱을 사용할 때 NmsBroadLogMid 테이블이 게재 매핑에서 참조되지 않습니다. nms:broadLogMid 스키마가 이전 쿼리에서 복구한 목록에 추가됩니다.

그런 다음 데이터베이스 정리 워크플로에서는 이전에 복구한 테이블에서 오래된 데이터를 제거합니다. 다음 쿼리가 사용됩니다.

DELETE FROM $(tableName) WHERE iBroadLogId IN (SELECT iBroadLogId FROM $(tableName) WHERE tsLastModified < $(option) LIMIT 5000)

여기서 $(tableName)은(는) 스키마 목록에 있는 각 테이블의 이름이고 $(option)은(는) NmsCleanup_BroadLogPurgeDelay 옵션에 대해 정의된 날짜입니다(배포 마법사 참조).

마지막으로 워크플로는 NmsProviderMsgId 테이블이 있는지 확인합니다. 이 경우 다음 쿼리를 사용하여 오래된 모든 데이터가 삭제됩니다.

DELETE FROM NmsProviderMsgId WHERE iBroadLogId IN (SELECT iBroadLogId FROM NmsProviderMsgId WHERE tsCreated < $(option) LIMIT 5000)

여기서 $(option)은(는) NmsCleanup_BroadLogPurgeDelay 옵션에 대해 정의된 날짜와 일치합니다(배포 마법사 참조).

특정 임계값(20임)을 초과하는 오류만 유지하기 위해 다음 쿼리가 실행됩니다.

SELECT iMXIP, iPublicId, SUM(iTotalConnections), SUM(iTotalErrors), SUM(iMessageErrors), SUM(iAbortedConnections), SUM(iFailedConnections), SUM(iRefusedConnections), SUM(iTimeoutConnections) FROM NmsEmailErrorStat WHERE tsDate>=$(start ) AND tsDate<$(end ) GROUP BY iMXIP, iPublicId HAVING SUM(iTotalErrors) >= 20

coalescingErrors 메시지가 표시됩니다.

시작 날짜와 종료 날짜 사이에 발생한 모든 오류를 삭제하기 위해 새 연결이 만들어집니다. 다음 쿼리가 사용됩니다.

DELETE FROM NmsEmailErrorStat WHERE tsDate>=$(start) AND tsDate<$(end)

각 오류는 다음 쿼리를 사용하여 NmsEmailErrorStat 테이블에 저장됩니다.

INSERT INTO NmsEmailErrorStat(iMXIP, iPublicId, tsDate, iTotalConnections, iTotalErrors, iTimeoutConnections, iRefusedConnections, iAbortedConnections, iFailedConnections, iMessageErrors) VALUES($(lmxip ), $(lpublicId ), $(tsstart ), $(lconnections ), $(lconnectionErrors ),$(ltimeoutConnections ), $(lrefusedConnections ), $(labortedConnections ), $(lfailedConnections ), $(lmessageErrors))

여기서 각 변수는 이전 쿼리에서 복구한 값과 일치합니다.

start 변수가 루프를 마치기 위해 이전 프로세스의 값으로 업데이트되었습니다.

정리가 필요한 시뮬레이션 목록을 복구하려면 다음 쿼리가 사용됩니다.

SELECT iSimulationId FROM NmsSimulation WHERE iSimulationId<>0

삭제할 테이블의 이름은 wkSimu_ 접두사와 시뮬레이션 식별자(예: wkSimu_456831_aggr)로 구성됩니다.

DROP TABLE wkSimu_456831_aggr