Spyrit v3 ?

[romainphan]

@nducros

Suite à notre discussion pour intégrer des mesures flexibles sur plusieurs dimensions, j'ai pensé à un opérateur de mesure qui suit ces principes:

• un opérateur de mesure H, qui a des dimensions (M, *), où (*) a au moins une dimension (la/les dimension/s sur la/lesquelle/s on mesure).
  Par exemple pour faire un équivalent du HadamSplit avec h=64, on prendrait HadamSplit.H.reshape(64**2, 64, 64)
  Avec cette construction, on voit tout de suite qu'on a M=64**2 mesures, et que les mesures s'appliquent sur 2 dimensions - les 2 dimensions restantes (par exemple les 2 dernières dimensions du tenseur à mesurer).

• le tenseur mesuré en entrée devrait avoir les (*) dernières dimensions égales aux (*) dernières dimensions de l'opérateur de mesure. Dans le même exemple, l'opérateur a comme 2 dernières dimensions (64,64), donc on mesure ici des images (ou autre) de taille 64x64.

• Si on veut 'sauter' une dimension lors de la mesure (par exemple mesurer sur (c,h) au lieu de (h,w) dans l'exemple de (b,c,h,w)), on peut indiquer une dimension en plus dans l'opérateur : au lieu d'avoir H.shape = (64**2, 64, 64) on aurait (dans un cas à 512 canaux) : H.shape = (64**2, 512, 64, 1). Ici avec le 1 à la fin on comprend qu'on ne mesure rien sur cette dimension : on la 'saute' et on passe aux 2 suivantes

Voilà c'est encore un peu brouillon, je sais pas comment régler le pb du dynamique dessus mais ça m'a l'air pas mal.

[nducros]

Merci pour la synthèse !

Pour alimenter la réflexion, je crois effectivement que la bonne idée est de voir comment on voudrait se servir de ces opérateurs.

• Dans tous les cas ton opérateur de mesure prendra globalement un (b, c, h, w) en entrée (je parle du forward)
• Option 1 : La dimension de sortie dépend de chaque classe. E.g., ce sera (*, h, w) -> (*, 2M) pour Hadam2Split, (*, w) -> (*, 2M) (par exemple, (*, h, w) -> (*, h, 2M)) pour Hadam1Split.
• Option 2 : Tu essayes de généraliser en définissant un truc du genre Linear(x, dim) avec dim=1 ou dim = (-1, -2) ou dim = (-3,-1,-2). dim est utilisé pour faire un reshape ou juste un échange de dimension avant un appel aux transformées correspondantes (e.g., hadam1, hadam2, ou hadam3).

[romainphan]

Option 1 : La dimension de sortie dépend de chaque classe.

Le fait d'avoir une classe par nombre de dimensions mesurées est une bonne idée et s'aligne sur ce qui existe déjà en Python (et pytorch), mais il manque la possibilité d'indiquer la dimension qu'on veut mesurer...

Option 2 : Tu essayes de généraliser en définissant un truc du genre Linear(x, dim) avec dim=1 ou dim = (-1, -2) ou dim = (-3,-1,-2).

Justement ce que je proposais était une option 3, où la paramètre "dim" de ton option 2 est en fait déterminé par le .shape de l'opérateur en entrée. Comme ton paramètre 'dim' et l'opérateur H sont de toute façon liés, on peut faire d'une pierre deux coups et indiquer via la forme de H ce qu'onj veut mesurer.