FuzzyTermsGenerator

Module Contents

class FuzzyTermsGenerator(general_config)

Esta clase sirve como generador de variaciones para un token. A partir de un token permite generar diferentes variaciones en su escritura.

__setup_transformations(self, transformation_keys)
set_config(self, general_config)
get_fuzzy_tokens(self, token, max_distance=0)

Genera todas las posibles variaciones de la palabra con la que esta instanciada la clase (eliminación, trasposición, sustitución y duplicación) soportadas. De todas ellas filtra únicamente aquellas cuya distancia de demerau_levenshtein sea menor a la distancia máxima establecida para la clase y retorna un arreglo con aquellas que cumplan dicha condición.

Token:Termino a deformar
Max_distance:Distancia de demerau_levenstein maxima permitida
Returns:Arreglo con todas las variaciones que puede generar la clase

para la palabra con la que fue instanciada, cuya distancia de demerau_levenshtein es igual o menor a la establecida.

__apply_transformation_sequence(self, token, transformation_sequence)

Aplica una secuencia de transformaciones determinada en el orden recibido.

Token:Termino a deformar.
Transformation_sequence:
 Secuencia ordenada de funciones de tranforamación
Returns:lista de tokens transformados
__filter_variations_list(self, token, transformation_list, max_distance)

Filtra una lista de variaciones, eliminando aquellas entradas que esten repetidas o que no cumplan con la distancia minima requerida al token.

Token:Termino original.
Transformation_list:
 Lista de transformaciones para el termino original
Max_distance:Distancia de demerau_levenshtein maxima con el termino

original.

Returns:Lista de variaciones filtradas
__apply_transformation(self, token_list, transformation)

Aplica una transformación determinada a cada uno de los tokens contenidos en una lista de tokens

Token_list:lista de tokens
Transformation:Función de transformación a aplicar a cada uno de los

tokens

Returns:Lista de tokens transformados resultante de aplicar la

transformación dada a cada token

__get_transform_permutations(self)

Obtiene todas las posibles permutaciones para la lista de permutaciones posibles

Returns:lista de arreglos cada uno conteniendo las transformaciones

en un orden diferente.