Erreur d’incohérence de l’entrepôt de données lors de l’obtention de "InputStream for blobId"

Description

Environnement

  • Experience Manager 6.4
  • Experience Manager 6.5

Problème/Symptômes
Une erreur s’est produite lors de l’obtention InputStream pour blobId

Vous avez une FileDataStore configuré dans votre système Adobe Experience Manager 6.x / Oak 1.x, et dans le fichier error.log, une erreur s’est produite lors de l’obtention de InputStream pour blobId.



 



1
2		 10.09.2015 10:38:04.220 *ERROR* pool-9-thread-3 org.apache.sling.commons.scheduler.impl.QuartzScheduler Exception during job execution of org.apache.jackrabbit.oak.plugins.index.AsyncIndexUpdate@7fe7e8fa : Error occurred while obtaining InputStream for blobId add1dd8fc5093b27b1fae1b753cb48b24ef3231f#101983 java.lang.RuntimeException: Error occurred while obtaining InputStream for blobId add1dd8fc5093b27b1fae1b753cb48b24ef3231f#101983

Résolution

Cette erreur signifie que vous ne disposez peut-être pas de fichiers dans votre répertoire de banque de données Adobe Experience Manager.  La perte de fichiers de banque de données peut être due à un échec du nettoyage de la mémoire Oak Blob, à une panne d’espace disque, à une instabilité du disque ou du partage réseau. Cela peut également être dû à la suppression par erreur de fichiers du serveur par un utilisateur.

Pour récupérer les fichiers manquants, procédez comme suit.

1. Installation du dernier CFP/SP

Vous trouverez les derniers correctifs sur Adobe Package Share.

2. Exécution de la vérification de cohérence de l’entrepôt de données

A l’aide de oak-run jar 1.6.6 et versions ultérieures, exécutez la commande suivante :

java -jar oak-run-*.jar datastorecheck —consistency -ref —id —fds crx-quickstart/install/org.apache.jackrabbit.oak.plugins.blob.datastore.FileDataStore.config —repoHome crx-quickstart/repository —store crx-quickstart/repository/datastore —dump —verbose —track

 3. Création d’une liste de chemins d’accès aux fichiers manquants

L’étape suivante de la récupération des fichiers manquants consiste à compiler une liste complète des chemins d’accès des fichiers manquants.

  1. Recherchez la sortie de vérification de cohérence pour toutes les occurrences de l’erreur "Enregistrement introuvable".

a. Sous Linux ou Unix : Utilisez cette commande pour générer la liste des fichiers manquants dans un fichier. missing_ds_files.txt:

 

| grep "blobId" consistency_check_output.txt |  grep -Eo  "0-9a-f{40,200}" |  awk '{ print substr($1, 0,2) "/" substr($1, 3,2) "/" substr($1, 5,2) "/" $1 }' |  sort -u missing_ds_files.txt |
| — |


\*\* Si votre instance Adobe Experience Manager ne démarre pas en raison des erreurs "blobId", recherchez dans vos fichiers journaux sous crx-quickstart/logs toutes les occurrences de l’erreur "Une erreur s’est produite lors de l’obtention de InputStream pour blobId" à la place :
 

| grep "Error occurred while obtaining InputStream for blobId" error.log* |  grep -Eo  "0-9a-f{40,200}" |  awk '{ print substr($1, 0,2) "/" substr($1, 3,2) "/" substr($1, 5,2) "/" $1 }' |  sort -u missing_ds_files.txt |
| — |


Si la commande fonctionnait correctement, le contenu de missing_ds_files.txt ressemblerait à ce qui suit :
 
12/92/04/129204a6dd0ce2cd5ca19c721b6f52ee2b3630e2 9f/d8/38/9fd8386d20cf55e7e0024e18d0c7d4e8400454ee 7a/13/15/7a1315788f45dafd6630454f04183601682a9f80 28/37/d2/2837d24aed3ff223cd40e90222226c4ef2e2a0c6

b. Sous Windows :  Utilisez un éditeur de texte tel que Textpad ou Notepad++ pour rechercher toutes les occurrences de "Enregistrement introuvable".  Ensuite, après avoir trouvé toutes ces occurrences, extrayez les noms de fichier à l’aide d’une macro, écrivez un script ou en copiant et en construisant manuellement les noms de fichier dans un nouveau fichier texte.

Les chemins d’accès aux fichiers DataStore sont construits à partir du nom d’enregistrement au format suivant :
{first two chars of record id}/{second two chars of record id}/{third two chars of record id}/{record id}}

Par exemple, dans cette erreur :

 

java.lang.RuntimeException: Error occurred while obtaining InputStream for blobId add1dd8fc5093b27b1fae1b753cb48b24ef3231f#101983

l’ID d’enregistrement est add1dd8fc5093b27b1fae1b753cb48b24ef3231f et le chemin d’accès au fichier est ad*/d1/dd/add1dd8fc5093b27b1fae1b1b1b1 3cb48b24ef3231f*
4. Récupération des fichiers manquants
Utilisez maintenant la sortie de la dernière étape pour rechercher les mêmes fichiers dans d’autres instances Adobe Experience Manager de votre environnement.  Les fichiers de banque de données étant stockés de manière unique, vous pouvez les copier à partir d’autres instances Adobe Experience Manager de votre environnement.

Si vous ne trouvez pas certains des fichiers dans d’autres instances, recherchez vos sauvegardes et restaurez-les de là si possible.

Sous Linux, vous pouvez vous connecter à chacune des instances Adobe Experience Manager opérationnelles et utiliser une commande telle que rsync pour copier les fichiers manquants qui y existent.  Par exemple, en l’exécutant à partir du répertoire de la banque de données sur le serveur contenant les fichiers manquants :

 

rsync -avR --files-from=missing_ds_files.txt . user@ hostname -of-server-missing-files: /path/to/crx-quickstart/repository/repository/datastore/

La commande exécute une synchronisation qui effectue une copie sur tous les fichiers répertoriés dans missing_ds_files.txt qui existent dans le serveur.
5. Nettoyer les références de fichier non récupérables
Si vous n’avez pas pu récupérer certains fichiers à partir de la sauvegarde ou d’autres instances Adobe Experience Manager, nettoyez ou corrigez les références de banque de données incorrectes.  Exécutez à nouveau la vérification de cohérence de l’entrepôt de données lors de l’étape 4.  Vous obtenez une liste actuelle des fichiers manquants.

Examinez chacun des chemins de noeud répertoriés qui font référence à des fichiers de banque de données manquants.  Examinez les ressources ou fichiers DAM manquants téléchargés sur les pages avec votre utilisateur.  Demandez-leur de télécharger à nouveau les fichiers manquants dont ils ont besoin.  Tout ce dont ils n’ont pas besoin peut être supprimé en toute sécurité via l’interface utilisateur d’Adobe Experience Manager.  Si quelque chose manque dans /var/audit ou /var/eventing peut être supprimé en toute sécurité.  Pour tous les fichiers dont vous n’êtes pas sûr, accédez à here et contactez l’équipe d’assistance AEM pour obtenir de l’aide.

 6. Réindexation de tous les index Oak asynchrones

Comme les fichiers d’index sont stockés dans le référentiel Oak, il est également possible que certains fichiers soient manquants dans les index basés sur /oak:index lucene.

Ces fichiers manquants ne seraient pas signalés dans la vérification de cohérence /system/console/repositorycheck, car ils sont masqués des traversées de référentiel.  Malheureusement, de tels fichiers ne correspondraient pas entre différentes instances AEM.

Pour corriger ces incohérences, réindexez les index Oak asynchrones affectés.

AVERTISSEMENT : Cette opération est extrêmement coûteuse et nécessitera un temps d’arrêt prolongé allant de 10 minutes à plusieurs jours selon le volume de contenu du système.

Pour réindexer les index asynchrones :

  1. Téléchargez oak-run 1.0.x correspondant à la version que vous avez installée dans votre environnement Oak : https://repo1.maven.org/maven2/org/apache/jackrabbit/oak-run/

  2. Téléchargez oak-run sur le serveur Adobe Experience Manager.

  3. Arrêtez toutes les instances Adobe Experience Manager.

  4. Exécutez la commande ci-dessous correspondant au stockage Oak de votre instance Adobe Experience Manager :

Commande TarMK :

 

java -Xmx4096m -jar /apps/staging/oak-run-*-*.jar checkpoints crx-quickstart/repository/segmentstore rm-all

Commande MongoMK :
 
1 java -Xmx4096m -jar oak-run-*-*.jar checkpoints mongodb://localhost/aem-author rm-all

​5. Redémarrez Adobe Experience Manager et surveillez vos fichiers journaux pour les messages de journal INFO de org.apache.jackrabbit.oak.plugins.index.  Si vous souhaitez afficher plus de détails sur l’indexation, accédez à /system/console/slinglog UI et activez la journalisation du niveau de débogage pour org.apache.jackrabbit.oak.plugins.index.

Vous devriez voir des messages de journal comme ceux-ci :

 

23.06.2015 14:26:23.070 *INFO* FelixStartLevel org.apache.jackrabbit.oak.plugins.index.IndexUpdate Reindexing will be performed for following indexes: /oak:index/cqAcUUID, /oak:index/nodetype, /oak:index/deviceIdentificationMode, /oak:index/campaignpath, /oak:index/active, /oak:index/jcrFrozenMixinTypes
 
23.06.2015 14:26:23.517 *INFO* FelixStartLevel org.apache.jackrabbit.oak.plugins.index.IndexUpdate Reindexing Traversed #10000 /jcr:system/jcr:versionStorage/c8/5f ... 23.06.2015 14:28:51.999 *INFO* pool-8-thread-1 org.apache.jackrabbit.oak.plugins.index.IndexUpdate Indexing report      - /oak:index/counter*(708)      - /oak:index/authorizables*(159)      - /oak:index/cqPageLucene*(1913)      - /oak:index/ntBaseLucene*(444)      - /oak:index/cqTagLucene*(512)      - /oak:index/workflowDataLucene*(116) ...
 
23.06.2015 14:28:52.009 *INFO* pool-8-thread-1 org.apache.jackrabbit.oak.plugins.index.AsyncIndexUpdate Reindexing (async) completed for indexes: /oak:index/counter*(708), /oak:index/authorizables*(159), /oak:index/cqPageLucene*(1913), /oak:index/ntBaseLucene*(444), /oak:index/cqTagLucene*(512), /oak:index/workflowDataLucene*(116) in 30.36 s

​6. Si l’indexation échoue pour une raison quelconque, elle s’affiche en boucle, en répétant ce message de journal :
 
23.06.2015 14:26:23.070 *INFO* FelixStartLevel org.apache.jackrabbit.oak.plugins.index.IndexUpdate Reindexing will be performed for following indexes: /oak:index/cqAcUUID, /oak:index/nodetype, /oak:index/deviceIdentificationMode, /oak:index/campaignpath, /oak:index/active, /oak:index/jcrFrozenMixinTypes

Sur cette page