Skip to content

RoyBellingan/Ranocchio

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

25 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Il nuovo super Proxy massicciamente parallelo ranged request ecc

sono il server S01, e mi arriva una richiesta...

uso il php... e creo SCARICHINO

Controllo in MySQL se ho il file ed è completo:

se il file esiste tutto, uso l'accesso normale e scarichinizza come filepremier & affini

MA 
Se il file non esiste
o non è completo

1) disabilito le ranged request, 

2) creo altro processo SEPARATO

    SERVEROTTO (magari è già in esecuzione ed è in attesa...)

E mi baso sul fatto che il 99% delle volte serverotto preleva i dati dal server remoto MOLTO più velocemente di quando possa
 farlo il cliente e quindi i dati letti da SCARICHINO, ovvio lo limito altrimenti è palese che NON sono un utente normale...
  diciamo una connessione 30mega effettivi ci può bastare...

Nel caso NON avvenisse oltre ai dati del file in se, SERVEROTTO mi scrive sul memcache a che punto sono arrivato a prelevare
 dal server remoto. SCARICHINO non andrà oltre quel numero, e se lo raggiunge si mette ad attendere (un paio di secondi sono
  più che sufficenti prima del controllo successivo...)

Quello che è importante in questa situazione è:

SERVEROTTO deve scrivere in memcached i progressi del download e poi in mysql quando il file è completo, e fregarsene di
 tutto e tutti, e ovvio anche su disco...

SCARICHINO lui ha un file, e lo legge come ha sempre fatto, solo non va oltre un certo numero.

Ogni X tempo controllo se ci sono file che non si sono riusciti a scaricare... alias Serverotto è bloccato, questa è
ovviamente una minoranza di file, ma succede se il server remoto ha problemi (può sempre succedere...)


# Sviluppi Futuri

Fai un sha1 del file (o meglio alcune parti), per evitare di scaricare file uguali... 
Questo lo puoi fare anche dopo come controllo schedulato per cancellarli... 

About

A proxy supporting parallel ranged request

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published