Problème de vitesse exécution d'un script

Bonjour,

j'ai réalisé un script qui récupère des informations dans un fichier texte, les traitent et retourne un autre fichier texte.
Le fichier texte créé peut-être très très lourd (plusieurs dizaines de Mo, sur plusieurs centaines de milliers de lignes).

Pour ce faire, chaque nouvelle ligne créée est concaténée dans une variable globale (il y a plusieurs boucles imbriquées d'où la longueur du fichier final) et ce n'est qu'à la fin du script que je crée le fichier et y entre toutes les informations.

Après différents tests, il semble que c'est la concaténation des nouvelles lignes dans la variable globale qui prend de plus en plus de temps (je suppose que plus cette variable grossi plus python a dû mal à y ajouter du texte).

J'aimerais savoir comment y palier, car il m'est quasiment impossible de créer un fichier qui dépasse les 10Mo.

Quelle est la méthode optimale ? La création de plusieurs variables globales intermédiaires afin de réduire la taille de chacune et ainsi faciliter la concaténation ? Ecrire au fur et à mesure dans le fichier  ? (bien que je préfèrerais que le fichier ne soit pas créé tant que le script n'est pas terminé, et qu'il me semble que les accès fichier sont très long).

Voilà, j'espère que vous pourrez m'aider, je ne programme que pour le plaisir, je n'ai que peu de notion sur l'efficacité d'un script.

Au revoir.

Bonjour,

Merci beaucoup, j'ai utilisé la méthode .join après avoir stocké les variables dans une table, le résultat est plutôt concluant. J'ai pu créer un fichier texte de 20.9 Mo sur 370 000 lignes en 20 secondes, ce qui est amplement suffisant.
Je n'ai pas essayé d'écrire au fur et à mesure dans le fichier, mais y-a-t'il un moyen de supprimer le fichier en cas d'erreur au cours de l'éxecution du script (et ce quelle que soit l'erreur) ?

Et encore merci .

Bonjour
... mais y-a-t'il un moyen de supprimer le fichier en cas d'erreur au cours de l'éxecution du script (et ce quelle que soit l'erreur) ?...

Tu peut utilser TRY et EXCEPT pour la gestion des erreurs (voir la doc)
Exemple:

# -*- coding: cp1252 -*-
import os

try:
    monfichier = open("monfichier.txt","w")
    gloupssss   #<=== erreur garantie
    #Suite des instructions du programme
    #...
except:
    print "erreur"
    monfichier.close()
    os.remove("monfichier.txt")
#Si le fichier n'est pas dans le répertoire courant il faut indiquer le chemin complet

Je crois plutôt que ton problème vient de l'ouverture du fichier, readlines() est 10 fois plus rapide que readline(). tout dépends de la taille du fichier que tu traites.