Mejorar buscador signotacion

[agarsev]

Cuando haya más signos, evaluar cuánto acierta y cuánto no, etc. Mejorar inflexión morfológica.

Lo que sigue son ideas, pero no necesariamente todas responden a problemas reales o van a mejorar los resultados, evaluar.

• case ignore en PICAM
• grafo proximidades lugares
• problema "->" != "-" ">"
• mejorar precisión buscando también segmentos enteros
• Qs implícitas tras evoluciones
• sinonimia circulares

[agarsev]

Implementado con un buscador de ngramas (n=1,2,3) con ElasticSearch. Esto permite flexibilidad e independencia en la transcripción, y búsquedas muy amplias (a costa de devolver muchos resultados, lo que puede ser mejor o peor).

La búsqueda de ngramas, además, por las características de la Signotación, actúa indirectamente también como un lematizador, al estar muchas características segregadas como caracteres diferentes en la transcripción.

Queda pendiente algunas cuestiones morfológicas que no se reflejan con ngramas:

• minúsculas vs mayúsculas en la Q
• grafo de proximidades en el lugar (eg buscar Cab para Car, Nar también o viceversa)

Posiblemente se pueda solucionar en ElasticSearch con "sinónimos" de ngramas concretos, explorar.

[agarsev]

Otro problema son los "falsos ngramas", por ejemplo "-" aparece en "->". También que los ngramas pesan lo mismo que los términos completos, pej si busco ICAM (>3gramas) I pesa lo mismo que ICA o CAM, por lo que aparecen términos no muy relevantes.

Una posible solución es hacer una búsqueda doble con "multi_match" y "most_fields", y tener dos campos de indexación: uno de ngramas de la signotación (ignorando ":", lo que hay ahora) y otro de "segmentos completos" (partiendo por ":", sin ngramas). Esto priorizará los resultados no espúreos, posiblemente.

[agarsev]

También se pueden usar los sinónimos para Q' (^=g, 7=r). (o cambiar la signotación para que ^ == >g, 7 == >r, - == >-, + == >+ :P)

[agarsev]

solucionado lo de "->" (sustituido por → en el índice de búsqueda)

usado multi_match con ngramas (recall) + segmentos (precision) para una búsqueda robusta