Discussion :

[fprovot]

Bonjour

J'ai un syst�me assez performant qui fait tourner en gros ETL en production sur des volumes de donn�es assez importants. Je dispose de 10Go de ram, mais pourtant l'ETL n'utilise pas plus de RAM qu'en dev ou en test en petit volume, c'est � dire qu'on ne d�passe pas 5Go de Ram environs tout au long de l'ETL. Par contre il y a beaucoups d'I/O disque et r�seau (la BDD est sur un serveur d�di�).

J'aimerai pouvoir b�n�ficier de toute la RAM disponible, ou au moins 8Go exploit�s sur les 10, pour am�liorer les performances, et limiter les I/O disque au moins.

Savez-vous comment/que configurer au niveau des WF/DF/Job pour mieux exploiter la m�moire?

(Data Integrator 12.2.3.5)
Merci

[cedrickb]

Difficile de r�pondre � ce genre de question car tout d�pend de la mani�re dont sont d�velopp�s tes flux, de la volum�trie, de l'architecture technique, du r�seau... !

Une chose que tu peux faire relativement simplement.

1. S�lectionner un JOB avec DS Designer
2. Clic droit Executer
3. Cocher "collect statistic for optimisation"
4. Lancer le flux

Relancer le flux en cochant "use collected statistic"

tu verras d�j� si le moteur DI propose des optimisations.

Pour suivre ces �l�ments il faut analyser les fichier de trace.

Ceci te permettra d'identifier quelques axes d'am�lioration dans un premier temps.

++

[fprovot]

Int�ressant, je vais suivre cette technique.

L� j'ai fait quelques tests (sur des volum�tries l�g�res) concernant les options "Cache-Type" des DF, et "Run xxx as a separate process" sur les queries, ainsi qu'ordonner les donn�es en entr�e de TC.
Ce dernier a l'air positif (1 seul essai!), � voir � plus long terme, sur diff�rents cas (et plus de donn�es!).

[cedrickb]

Tu peux �galement mettre en cache les tables sources utilis�es dans tes DF.

Ce que je conseil, c'est dans un premier temps d'identifier les DF qui sont le plus consommateurs, et tester les diff�rentes options d'optimisation. Il se peut que ces techniques ne soient pas suffisantes, il faudra alors dans ce cas re designer les DF en s�parant les �tapes �l�mentaires au sein de DF sp�cifiques.