Accueil > > > COMPRESSION PAR LA METHODE DE HUFFMAN
COMPRESSION PAR LA METHODE DE HUFFMAN
Information sur la source
Description
Voila une petite classe utilisant l'algorithme de compression de Huffman. Bien sur ce type de compression reste tres simple et ne peut pas permettre de passer sous la barre des 12.5% par rapport à loriginal (et encore ça natteint ces 12.5% que lorsque que le fichier contient tjrs les memes octets). Et ça ne fait pas bcp gagner en realité pour les autres fichiers ^^. C'etait juste histoire de voir comment ça fonctionnait. utilisation : Huffman.py c test.mo test.comp Huffman.py d test.comp test.decomp
Source
- # -*- coding: cp1252 -*-
- import Arbre, struct, sys
-
- class HuffmanError(Exception):
- pass
-
- class Huffman:
- """classe de compression/decompression par la methode d'Huffman
- """
- def __loop(self, arbre, node, carTable, cur):
- dirs=arbre.GetDir(node)
- for i in range(len(dirs)):
- if(dirs[i].getType()=='feuille'):
- carTable[dirs[i].getValue()]=''.join(cur)+str(i)
- else:
- newcur=[k for k in cur] #pour que ça se chamboule âs ds la recursivite
- newcur.append(str(i))
- carTable=self.__loop(arbre, dirs[i], carTable, newcur)
- return carTable
-
- def __makeArbreFromTable(self, table, tot):
- n=0
- while 1:
- #on prend les deux plus petites occurences
- oc=[(tot, None, None), (tot, None, None)]
- for key, dat in table.items():
- data=dat[0]
- for i in range(2):
- if(data<=oc[i][0]):
- if(i==0) :
- ancien=oc[0]
- oc[1]=ancien
- oc[0]=(dat[0], dat[1], key)
- break
- else:
- oc[1]=(dat[0], dat[1], key)
- break
- node=Arbre.Node(1, oc[0][1], oc[1][1])
- del(table[oc[0][2]])
- del(table[oc[1][2]])
- table['node'+str(n)]=[oc[0][0]+oc[1][0], node]
- if(len(table)==1) : break
- n+=1
- a=Arbre.Arbre()
- a.SetRacine(table['node'+str(n)][1])
-
- #parcourt de larbre pour noter le chemin pour chaque car
- chem=self.__loop(a, table['node'+str(n)][1], {}, [])
-
- return a, chem
-
- def getBits(self, chem, car):
- return chem[car]
-
- def getOctet(self, bits, full=0):
- """si full a 1 on rempli la fin par des zero"""
- if(len(bits)!=8 and full==1) : bits+='0'*(8-len(bits))
- m=128
- octet=0
- for bit in bits:
- octet+=int(bit)*m
- m=m/2
- return struct.pack('B', octet)
-
- def compress(self, f1, f2):
- """f1 doit avoir la methode read et f2 la methode write"""
- #creation de la table
- table={}
- tot=0.0
- while 1:
- buf=f1.read(1024*256)
- if not buf :
- table['eof']=[1, 'eof']
- tot+=1
- break
- else:
- for car in buf:
- if table.has_key(car)==True : table[car][0]+=1
- else : table[car]=[1, car]
- tot+=1
-
- #creation de larbre et du chemin des car
- arbre, chem=self.__makeArbreFromTable(table.copy(), tot)
-
- #fabrication du fichier, header:
- header=''
- header+=struct.pack('c', 'H') #identification du fichier
- header+=struct.pack('c', 'U')
- header+=struct.pack('L', len(table)-1) #elements de la table (sans le eof)
- header+=struct.pack('L', tot) #total cars
- header+=struct.pack('L', 14+len(table)*5-5) #offset data
- f2.write(header)
-
- #ecriture de la table sans le eof qui est tjrs a 1 de tte facon
- Table=''
- for key, data in table.items():
- if(key!='eof'):
- Table+=struct.pack('c', key)
- Table+=struct.pack('L', data[0])
- f2.write(Table)
-
- #ecriture du fichier compresse
- f1.seek(0)
- curbit=''
- outbuf=''
- while 1:
- buf=f1.read(1024*16)
- if not buf :
- bits=self.getBits(chem, 'eof')
- if(len(curbit+bits)<=8):
- f2.write(self.getOctet(curbit+bits, 1))
- elif(len(curbit+bits)>8):
- towrite=curbit+bits
- for i in range(0, (len(towrite)/8)+1):
- if(i==len(towrite)/8) : f2.write(self.getOctet(towrite[i*8:], 1))
- else: f2.write(self.getOctet(towrite[i*8:i*8+8]))
- break
- else:
- for c in buf:
- bits=self.getBits(chem, c)
- if(len(curbit+bits)<=8):
- curbit=curbit+bits
- elif(len(curbit+bits)>8):
- towrite=curbit+bits
- for i in range(0, (len(towrite)/8)+1):
- if(i==len(towrite)/8) : curbit=towrite[i*8:]
- else: outbuf+=self.getOctet(towrite[i*8:i*8+8])
- f2.write(outbuf)
- outbuf=''
- f1.close()
- f2.close()
- def decompress(self, f1, f2):
- #dabord lecture des infos:
- if(f1.read(2)!='HU') : raise HuffmanError, 'This file has not been compressed by me'
- elem=struct.unpack('L', f1.read(4))[0]
- totcars=struct.unpack('L', f1.read(4))[0]
- offset=struct.unpack('L', f1.read(4))[0]
-
- ###lecture de la table
- table={}
- for i in range(elem):
- el=f1.read(5)
- key=struct.unpack('c', el[0])[0]
- table[key]=[struct.unpack('L', el[1:])[0], key]
- table['eof']=[1, 'eof']
-
- #creation de larbre et des chemins
- arbre, chem=self.__makeArbreFromTable(table.copy(), totcars)
-
- racine=arbre.getRacine()
- curnode=racine
- f1.seek(offset)
- while 1:
- buf=f1.read(1024*256)
- if not buf : break #preventif
- else:
- for car in buf:
- for i in range(8):
- bit=ord(car)&(0x80>>i)
- if(bit!=0) : bit=1
- item=arbre.GetDir(curnode)[bit]
- if(item.getType()=='feuille') :
- if(item.getValue()!='eof') : f2.write(item.getValue()); curnode=racine
- else : break
- else : curnode=item
- f1.close()
- f2.close()
-
- if __name__=='__main__':
- if(len(sys.argv)!=4) : print 'usage : Huffman.py mode source dest
- h=Huffman()
- a=open(sys.argv[2], 'rb')
- b=open(sys.argv[3], 'wb')
- if(sys.argv[1]=='c') : h.compress(a, b)
- else : h.decompress(a, b)
- raw_input('operation finie')
-
# -*- coding: cp1252 -*-
import Arbre, struct, sys
class HuffmanError(Exception):
pass
class Huffman:
"""classe de compression/decompression par la methode d'Huffman
"""
def __loop(self, arbre, node, carTable, cur):
dirs=arbre.GetDir(node)
for i in range(len(dirs)):
if(dirs[i].getType()=='feuille'):
carTable[dirs[i].getValue()]=''.join(cur)+str(i)
else:
newcur=[k for k in cur] #pour que ça se chamboule âs ds la recursivite
newcur.append(str(i))
carTable=self.__loop(arbre, dirs[i], carTable, newcur)
return carTable
def __makeArbreFromTable(self, table, tot):
n=0
while 1:
#on prend les deux plus petites occurences
oc=[(tot, None, None), (tot, None, None)]
for key, dat in table.items():
data=dat[0]
for i in range(2):
if(data<=oc[i][0]):
if(i==0) :
ancien=oc[0]
oc[1]=ancien
oc[0]=(dat[0], dat[1], key)
break
else:
oc[1]=(dat[0], dat[1], key)
break
node=Arbre.Node(1, oc[0][1], oc[1][1])
del(table[oc[0][2]])
del(table[oc[1][2]])
table['node'+str(n)]=[oc[0][0]+oc[1][0], node]
if(len(table)==1) : break
n+=1
a=Arbre.Arbre()
a.SetRacine(table['node'+str(n)][1])
#parcourt de larbre pour noter le chemin pour chaque car
chem=self.__loop(a, table['node'+str(n)][1], {}, [])
return a, chem
def getBits(self, chem, car):
return chem[car]
def getOctet(self, bits, full=0):
"""si full a 1 on rempli la fin par des zero"""
if(len(bits)!=8 and full==1) : bits+='0'*(8-len(bits))
m=128
octet=0
for bit in bits:
octet+=int(bit)*m
m=m/2
return struct.pack('B', octet)
def compress(self, f1, f2):
"""f1 doit avoir la methode read et f2 la methode write"""
#creation de la table
table={}
tot=0.0
while 1:
buf=f1.read(1024*256)
if not buf :
table['eof']=[1, 'eof']
tot+=1
break
else:
for car in buf:
if table.has_key(car)==True : table[car][0]+=1
else : table[car]=[1, car]
tot+=1
#creation de larbre et du chemin des car
arbre, chem=self.__makeArbreFromTable(table.copy(), tot)
#fabrication du fichier, header:
header=''
header+=struct.pack('c', 'H') #identification du fichier
header+=struct.pack('c', 'U')
header+=struct.pack('L', len(table)-1) #elements de la table (sans le eof)
header+=struct.pack('L', tot) #total cars
header+=struct.pack('L', 14+len(table)*5-5) #offset data
f2.write(header)
#ecriture de la table sans le eof qui est tjrs a 1 de tte facon
Table=''
for key, data in table.items():
if(key!='eof'):
Table+=struct.pack('c', key)
Table+=struct.pack('L', data[0])
f2.write(Table)
#ecriture du fichier compresse
f1.seek(0)
curbit=''
outbuf=''
while 1:
buf=f1.read(1024*16)
if not buf :
bits=self.getBits(chem, 'eof')
if(len(curbit+bits)<=8):
f2.write(self.getOctet(curbit+bits, 1))
elif(len(curbit+bits)>8):
towrite=curbit+bits
for i in range(0, (len(towrite)/8)+1):
if(i==len(towrite)/8) : f2.write(self.getOctet(towrite[i*8:], 1))
else: f2.write(self.getOctet(towrite[i*8:i*8+8]))
break
else:
for c in buf:
bits=self.getBits(chem, c)
if(len(curbit+bits)<=8):
curbit=curbit+bits
elif(len(curbit+bits)>8):
towrite=curbit+bits
for i in range(0, (len(towrite)/8)+1):
if(i==len(towrite)/8) : curbit=towrite[i*8:]
else: outbuf+=self.getOctet(towrite[i*8:i*8+8])
f2.write(outbuf)
outbuf=''
f1.close()
f2.close()
def decompress(self, f1, f2):
#dabord lecture des infos:
if(f1.read(2)!='HU') : raise HuffmanError, 'This file has not been compressed by me'
elem=struct.unpack('L', f1.read(4))[0]
totcars=struct.unpack('L', f1.read(4))[0]
offset=struct.unpack('L', f1.read(4))[0]
###lecture de la table
table={}
for i in range(elem):
el=f1.read(5)
key=struct.unpack('c', el[0])[0]
table[key]=[struct.unpack('L', el[1:])[0], key]
table['eof']=[1, 'eof']
#creation de larbre et des chemins
arbre, chem=self.__makeArbreFromTable(table.copy(), totcars)
racine=arbre.getRacine()
curnode=racine
f1.seek(offset)
while 1:
buf=f1.read(1024*256)
if not buf : break #preventif
else:
for car in buf:
for i in range(8):
bit=ord(car)&(0x80>>i)
if(bit!=0) : bit=1
item=arbre.GetDir(curnode)[bit]
if(item.getType()=='feuille') :
if(item.getValue()!='eof') : f2.write(item.getValue()); curnode=racine
else : break
else : curnode=item
f1.close()
f2.close()
if __name__=='__main__':
if(len(sys.argv)!=4) : print 'usage : Huffman.py mode source dest
h=Huffman()
a=open(sys.argv[2], 'rb')
b=open(sys.argv[3], 'wb')
if(sys.argv[1]=='c') : h.compress(a, b)
else : h.decompress(a, b)
raw_input('operation finie')
Conclusion
Le code est surement tres tres optimisable puisqu'il savere vraiment tres tres lent ^^.
Sources du même auteur
Sources de la même categorie
Commentaires et avis
Discussions en rapport avec ce code source dans le forum
Compression de fichier :Winzip et 7zip [ par HCD ]
Bonjour à tousCe qui suit s'adresse aux administrateurs du site.Lorsque l'on ajoute une nouvelle source sur le site, le fichier compressé doir comport
Déplacer méthode [ par Roro8883 ]
Bonjour à tous !Je suis débutant sous python, mais je connais assez bien le C++.J'aimerais pouvoir déplacer mes méthodes (fonctions) contenues dans me
Méthode Tabou [ par Lcapc ]
salut à tous, je dois réaliser un petit script pour récupérer les liens d'un site web. J'ai déjà récupéré les liens d'une page, maintenant je dois
Compression d'images en lignes de commande - Python [ par Elninor ]
Bonsoir, j'ai cherché sur tous les sites possibles (francophone et anglophone) mais je n'ai rien trouvé. Je recherche quelques lignes de commande perm
|
Derniers Blogs
CSS CONTENT STATE SELECTORS (PERSONNAL DRAFT)CSS CONTENT STATE SELECTORS (PERSONNAL DRAFT) par FREMYCOMPANY
Bonjour à tous, Je viens de publier une proposition comprenant 5 pseudo-classes pour le CSS Working Group ayant trait à l'état de chargement d'un élément (ex: IMG,VIDEO,AUDIO,OBJECT pour l'HTML.). Si le c½ur vous en dit, vous pouvez retrouver cette p...
Cliquez pour lire la suite de l'article par FREMYCOMPANY MBA : POURQUOI FAIRE ET COMMENT LE CHOISIR ?MBA : POURQUOI FAIRE ET COMMENT LE CHOISIR ? par ROMELARD Fabrice
Formation initiale Durant la formation, le découpage classique est le suivant (je donnerai les équivalences Suisse lorsque je les connaîtrais) : Ecole primaire jusqu'au Collège : Formation générale permettant d'obtenir les méthodes...
Cliquez pour lire la suite de l'article par ROMELARD Fabrice Y'A DES ERREURS QUI PEUVENT RENDRE LE DéVELOPPEUR VIOLENTY'A DES ERREURS QUI PEUVENT RENDRE LE DéVELOPPEUR VIOLENT par Aleks
Quand on a ce genre d'erreur sans log :
Et bas on a juste envie de choper le gas de Microsoft qu'a développé ça et lui foutre des baffes de Coboye ! ...
Cliquez pour lire la suite de l'article par Aleks [HYPER-V 3] PRéSENTATION DES COMMANDLETS POWERSHELL[HYPER-V 3] PRéSENTATION DES COMMANDLETS POWERSHELL par Pierrick CATRO-BROUILLET
Avec la sortie prochaine de la Beta Consumer Preview de Windows 8, j'avais envie de revenir sur une des fonctionnalités que j'attends le plus et que, en bon geek que je suis, j'utilise déjà : Hyper-V 3 ainsi son module PowerShell.
Il y a déjà pléthor...
Cliquez pour lire la suite de l'article par Pierrick CATRO-BROUILLET IIS7 - COMPRESSION GZIPIIS7 - COMPRESSION GZIP par cyril
La compression GZIP permet d'améliorer les performances de navigation en compressant ce qu'envoie le serveur à un client. Pour comprendre comment cela fonctionne, regardons ce qu'il se passe au niveau HTTP lorsqu'un client tente d'accéder à une ress...
Cliquez pour lire la suite de l'article par cyril
Forum
PYVISA PROBLèMEPYVISA PROBLèME par sandrine44
Cliquez pour lire la suite par sandrine44
Logiciels
Easy-Planning (1.0.0.1)EASY-PLANNING (1.0.0.1)Basé sur les mêmes principes que MyPlanning, Easy-Planning permet de créer des plannings sous la ... Cliquez pour télécharger Easy-Planning Academy System (17.1.3.0)ACADEMY SYSTEM (17.1.3.0)Logiciel de gestion des établissements.
- élèves/étudiants (inscription, dossier, absence...)
-... Cliquez pour télécharger Academy System COLLECTOR PLUS (3.00B)COLLECTOR PLUS (3.00B)COLLECTOR PLUS version 3.00B est un logiciel utilisant une base de données alimentée par :
- L... Cliquez pour télécharger COLLECTOR PLUS PONAMEDIA PREMIUM - HELLLOOO FLASH DEMO (V7.4)PONAMEDIA PREMIUM - HELLLOOO FLASH DEMO (V7.4)PONAMEDIA TV DEVIENS HELLLOOO FLASH
LA TV SUR VOTRE ORDINATEUR.
Toute une plateforme Multi... Cliquez pour télécharger PONAMEDIA PREMIUM - HELLLOOO FLASH DEMO LettresFaciles 2011 (8.0.0.1)LETTRESFACILES 2011 (8.0.0.1)LettresFaciles est un logiciel facilitant la création et la rédaction de lettres types.
Son inte... Cliquez pour télécharger LettresFaciles 2011
|