Text Mining, la próxima frontera

Se calcula que un 80% de la información disponible en Internet se encuentra en formato no estructurado, es decir, en textos del tipo relato.
Cientos de miles de artículos, resúmenes, notas, etc. están disponibles en la web, pero el acceso a ellos se produce de manera bastante básica a partir de la búsqueda de palabras en sus contenidos.
Pero que sucede si yo quiero realizar una búsqueda en función de un concepto o idea? Por ejemplo digamos que quiero buscar un artículo en las noticias que hable sobre los “disturbios en el senado”.
Si utilizo un buscador dentro de un sitio de un diario, el mismo responderá con los links a toda información que contenga las palabras “disturbios” y “senado”, pero dejará de lado aquellos artículos que contengan frases del tipo “gresca en la cámara alta” que claramente representa un sinónimo de mi búsqueda.
El futuro de las búsquedas inteligentes se basará en la resolución de “conceptos” y no solo palabras. “Senado” además de una palabra, es un concepto que puede ser nombrado de diferentes maneras (por ej. “Cámara alta”). “Data Mining” es un concepto que va más allá de las palabras “data” y “mining” por separado.
El text mining, es un conjunto de técnicas que permite la realización de dos aplicaciones sumamente interesantes:
(1) Extracción de conceptos a partir de documentos no estructurados
(2) Descubrimiento de patrones en esos conceptos
En la primer aplicación se utilizan técnicas, que de acuerdo al idioma del documento original, harán un análisis lingüístico (sintáctico y semántico) a fin de extraer partes de las frases, rescatando los conceptos principales tratados.
El análisis lingüístico permite distinguir entre conceptos que refieran a nombres, fechas, lugares, acciones, etc.
En la segunda aplicación se utilizan técnicas de data mining más tradicionales como ser, entre otros, el link analysis, donde se buscan patrones que correlacionen los distintos conceptos encontrados.
Veamos un ejemplo de clasificación: supongamos que tenemos ante nosotros un conjunto de artículos y nuestra intención es categorizarlos de manera automática como noticias políticas, policiales, deportivas, relacionadas con el tiempo, etc.
Un modelo de Text Mining será capaz de extraer los conceptos principales de esas noticias y de acuerdo a la correlación (establecida en la fase de entrenamiento del modelo) que haya de esos conceptos con las distintas categorías, definir la categoría que mejor aplica.
Otro ejemplo, de los muchos posibles, es el autotagging, es decir, la generación automática de keywords a partir de un texto no estructurado.
80% es una cantidad muy importante de información. El text mining tiene mucho para decirnos en como explotarla.

Daniel Ferro.

Los medios online y sus anunciantes directos

Veo preocupación en los medios online. El crecimiento sostenido de las Ad-Networks, sean con inteligencia contextual o no, están generando un cambio que muchos medios ven con desconfianza.
El tema es que, historicamente, los grandes medios podían manejar quien publicitaba en sus sitios a través del contacto directo con anunciantes y sus respectivas agencias.
Actualmente servicios como Adsense y otros le han quitado a los publishers una porción de su negocio publicitario directo, generando una nueva intermediación que le permite a los anunciantes pensar más en audiencias que en medios.
La respuesta por parte de los medios a esa pérdida de control, pasa por mejorar la “inteligencia” de su adserving a través de un adecuado profiling de sus lectores. Esto le permite a esos sitios ofrecer un servicio de targeting inteligente a sus anunciantes sin que estos deban caer necesariamente en una Ad-Network.
Las dos posibilidades que tienen los medios de llevar a cabo esto son: a través del desarrollo in-house de una solución de behavioral targeting, o contratando el servicio de empresas que resuelven esto para sus sitios afiliados.
Me da la sensación que el anonymous behavioral targeting como servicio externo es un modelo en plena consolidación y para los medios online va a ser muy difícil sobrevivir en el futuro sin contar con este tipo de soluciones “inteligentes” para sus anunciantes.

Daniel Ferro.

Tendencias

Varias personas me han consultado sobre que veo en el futuro de los sistemas de CRM relacionado con el uso de modelos predictivos basados en data mining.
Actualmente es una práctica bastante común el hecho de contar con un CRM operativo, básicamente para el registro masivo de interacciones entre la compañía y sus clientes. El punto central es la poca explotación que se hace de la información almacenada. Se suelen hacer reportes que muchas veces sirven más para evaluar a los vendedores (si están en contacto con sus cuentas) o al personal del call center (para ver si las llamadas son tomadas y resueltas) que para optimizar la relación comercial con los clientes.
Cuando hablo de explotación de la información, me refiero a un uso más sofisticado de la misma.
De que manera se puede utilizar la información almacenada para caracterizar a los clientes? Que segmentos resultan? Que productos podría ofrecerles en una campaña de cross-selling según su propensión a adquirirlos? Que clientes tienen mayor riesgo de fuga?
Mi propuesta es que consideren la posibilidad de modelar descriptiva y predictivamente los datos que han acumulado, quizá durante años, de sus clientes.
Las compañias que se focalizan en el cliente, suelen utilizar cuatro dimensiones de información a fin de perfilarlos integralmente (visión de 360 grados):
- Información demográfica: lo que sabemos de nuestros clientes en cuanto a edad, sexo, nivel socioeconómico, etc.
- Información transaccional: las operaciones comerciales realizadas por dicho cliente.
- Interacciones: todo contacto que he tenido con el cliente que no resulte de una transacción (consultas, reclarmos, etc.).
- Información actitudinal: todo lo recogido por encuestas que hayamos realizado (preferencias, intereses, etc.)
Los resultados de este tipo de acciones no se hacen esperar. De hecho, los modelos son integrables al CRM operacional, para que los usuarios de dichos sistemas se beneficien inmediatamente de las indicaciones y recomendaciones que surjan.
Algunos ejemplos:
- Indicador de riesgo de fuga para un cliente determinado.
- Oferta óptima para retención.
- Indicador de valor (LTV).
- Recomendación de productos más propensos de ser aceptados.
- Recomendación automática de planes de servicio.
- Recomendación automática para up-selling.
- Etc.

Daniel Ferro.

E-commerce y Data Mining

Existe una relación natural entre el E-commerce y el Data Mining. Los medios electrónicos de compra generan grandes cantidades de información de comportamiento de sus clientes, materia vital para la construcción de un modelo predictivo de calidad que nos permita mejorar las ventas.
El problema central de todos los sitios de E-commerce es la necesidad de optimizar de manera continua la tasa de conversión de visitantes a compradores. Para esto debemos analizar un elemento clave: la experiencia de compra. La misma se basa en una combinación adecuada de funcionalidad, simpleza, agilidad, pertinencia de la oferta, estética adecuada y otros factores.
Una forma de perfeccionar esa experiencia es presentando la información dentro del sitio con un modelo de 4 capas (ordenado en función del interés del comprador):
(1) Responder a lo que el comprador quiere en ese momento. Esto habitualmente se resuelve con buenos buscadores de categorías y productos. Mi recomendación en este punto es usar un metodo de scoring de los resultados que represente la distancia entre lo que el usuario buscó y las alternativas que se presentan como resultado.
(2) Presentar lo que el comprador no solicita pero creemos que puede resultarle de utilidad. Esto tipicamente se resuelve con un modelo de cross-selling en función de su patrón de consulta y compra histórico (ej. las recomendaciones de Amazon).
(3) Presentar lo que el común de la gente quiere. La forma de hacerlo es teniendo en cuenta la estadística general de compra y consulta (ej. un análisis de frecuencia de compra de productos ordenado de mayor a menor).
(4) Proponer lo que a la empresa le interesa vender. Si bien esto puede resultar lo menos interesante para el cliente, sin duda puede generar algunas compras impulsivas si la oferta se realiza de modo seductor (descuento atractivo, etc.)
Hay infinita cantidad de maneras de presentar estas capas en el sitio, pero la recomendación es seguir la jerarquía que nos indica el customer-centric.
Piensen sus propias experiencias como cliente en algún sitio de E-commerce y van a llegar a la conclusión que a todos, como consumidores, nos gusta que nos hablen en función de nuestros intereses. El modelo de 4 capas apunta en este sentido y es aplicable tanto a sitios B2C como B2B.

Daniel Ferro.

Las distintas etapas de un proyecto de Data Mining

Quizá haya aún mucha gente que no conoce los distintos pasos que se llevan a cabo para realizar un proyecto de Data Mining.
Por esta razón, quisiera hacer al menos una breve descripción del proceso necesario para encontrar resultados lo más rápida y linealmente posible.
Como cualquier proyecto de minería, cuando se realiza un estudio de Data Mining (DM), no se tiene asegurado prima facie los resultados positivos. Sin embargo aplicando la metodología correcta es posible saber en un plazo relativamente corto y con un esfuerzo razonable si lo que hay al fin del camino es oro o no.
La primera regla a cumplir para ejecutar exitosamente un proyecto de estas características es definir un problema que queremos estudiar.
Ejemplos de problemas típicos son: mejorar la tasa de respuesta de una campaña de mails, aumentar la tasa de compradores de un sitio de ecommerce, disminuir la tasa de abandono de abonados a un servicio, mejorar la tasa de click-through de los banners impresos en un sitio web, predecir la cantidad de llamados a un call center, etc.
Una vez definido el problema a atacar, se realiza lo que llamamos “Entendimiento del Negocio”. La idea para esta etapa, es que el analista de DM se interiorice de las características que rodean al problema (como funciona la industria, quienes son los clientes, como son los productos o servicios ofrecidos, como son los procesos, etc.). Para esto es fundamental que pueda interactuar con un especialista en el tema (normalmente alguna persona de marketing o comercial de la compañía). Esta etapa se lleva adelante con una o varias entrevistas entre ambos.
A continuación se realiza el “Entendimiento de Datos”. Esta vez el analista interactuará con un experto de las bases de datos de la compañía (habitualmente gente del área de sistemas de la misma). Para este proceso hará falta una o varias reuniones y acceso a la documentación de los modelos de datos.
Una vez realizados los pasos de entendimiento, el analista solicitará una primera tanda de datos para analizar. Esto lo podrá hacer junto con el área de sistemas o en forma directa si cuenta con los permisos necesarios.
Luego trabajará realizando la “Preparación de Datos” que sea necesaria (limpieza, transformaciones, sumarizaciones, etc.). La idea es obtener al final de esta etapa una tabla de dos dimensiones con los datos “limpios” para iniciar el paso siguiente.
Ahora llegamos al núcleo del trabajo de DM con la etapa de “Modelización”. De aquí surgirán modelos que describan o predigan circunstancias o comportamientos. Es interesante hacer notar que existen numerosos tipos de modelos, por lo cuál el analista determinará en esta instancia el más adecuado para el problema que estamos tratando (ej. reglas de asociación, clusters, árboles de decisión, redes neuronales, regresiones, etc.).
Una vez obtenidos los primeros modelos el analista proseguirá con la fase de “Evaluación”, etapa en la que tratará de medir la calidad o efectividad predictiva del modelo obtenido.
Si los modelos obtenidos superan un umbral de calidad aceptable, se realizará la “Implementación” del mismo. Esta implementación tiene infinitos “flavors” (sabores). Desde listas con clientes con mayor propensión a adquirir un producto, hasta formulas que nos permitan calcular en tiempo real que banner presentar al visitante de nuestro sitio en determinado momento.
Por último, medir los resultados de los modelos implementados nos permitirá recalibrar los mismos para lograr una mejora permanente de los efectos buscados.

Para más información sobre las etapas de un proyecto de Data Mining, pueden visitar: http://www.crisp-dm.org.

Daniel Ferro.

El RFID en las tarjetas de afinidad

Tecnología fascinante la del RFID. Inicialmente pensada para el reconocimiento automático y a distancia de mercaderías, hoy encuentra aplicaciones en distintos procesos de marketing.
Para los que no lo conocen, un sistema de RFID, está formado por un lado por “tags” (pequeñas antenas con un chip adosado) y por el otro por “lectores” (antenas más importantes encargadas de la lectura de los tags).
Existen dos tipos de tags, los “activos” que emiten una señal en forma permanente y por lo tanto requieren de una batería y los “pasivos” que funcionan en base a la energía, que en forma remota, emiten los lectores o antenas principales.
En ambos casos, la identificación precisa se realiza ya que cada chip contiene un número único (no hay dos tags en el mundo que tengan la misma secuencia de dígitos).
Un ejemplo conocido de tags activos lo constituyen los utilizados en las autopistas para atravesar los peajes sin detenerse con el auto.
Al ser más sofisticados, los tags activos tienen un costo mayor, pero también un alcance de lectura más importante que los pasivos (aproximadamente 8 metros contra 1).
Por otro lado, los tags pasivos dado su bajo costo y su pequeño tamaño y espesor (aproximadamente el de una tarjeta de crédito) son la elección natural al pensar en aplicaciones masivas.
Desde mi punto de vista, una aplicación interesante del RFID, es la posibilidad de utilizar tags pasivos en las tarjetas de afinidad. Esto permite, por ejemplo, que el reconocimiento del cliente en un local, se produzca a distancia sin que el cliente necesite pasar la tarjeta de manera explícita por un lector.
Me imagino que un futuro no muy lejano, será común encontrarse con displays de ofertas que se personalicen al paso de un cliente que posea este tipo de tarjetas de afinidad.
Un ejemplo concreto de esto, pero en la vía pública, lo implementó la gente de marketing de Mini Cooper en Estados Unidos. Ellos colocaron billboards (carteles enormes en la vía pública) que emitían mensajes personalizados cuando se acercaba un Mini de alguno de sus clientes que se habían sumado a la promo. Cada auto contaba, desde fábrica, con un tag activo que les permitía reconocer al cliente cuando pasaba cerca de alguno de sus carteles dinámicos.
Imaginen esto: la posibilidad de reconocer al cliente en forma automática y un modelo predictivo por detrás que nos permita realizar la oferta más adecuada para esa persona en esa situación.
Interesante, no?

Daniel Ferro.

Banners Pertinentes

La profusión de mensajes actuales y la necesidad de encontrar un lugar en la mente del consumidor, lleva a los creativos a una búsqueda de nuevas formas de llamar la atención de los usuarios online. Esta creatividad muchas veces apela a la interrupción del usuario (pop-ups en todas sus formas).
De más está decir lo frustrante que puede resultar esto para quien está buscando una determinada información en un sitio web. Mientras trata de concentrarse en la lectura de un artículo, la pantalla se completa con una oferta de un producto cualquiera. Definitivamente es malo para la experiencia del usuario. Es realmente bueno para la marca? Yo creo que no.
Ahora bien, desde mi punto de vista existen alternativas que beneficien a ambas partes (usuario y marca). El secreto es la presentación de banners pertinentes.
Hoy es posible inferir el perfil de un cliente online a partir de su comportamiento histórico en el sitio. Esto es así, aún en los casos donde el usuario no necesita loguearse para acceder a la información. Quizá desconozcamos el nombre y apellido, pero aún así podemos estimar sus preferencias.
La base de todo esto es la utilización de técnicas de datamining para la confección de modelos descriptivos y predictivos del comportamiento de nuestros usuarios.
Con esta información en la mano, lo razonable es presentar las ofertas comerciales (propias o de nuestros anunciantes) de manera adecuada. Esto significa que es posible ofrecer lo que a la persona le pueda llegar a interesar. Que les parece una mejora del 30% en la tasa de click-through?
Todos contentos, no?
Actualmente soluciones como AdSense de Google utilizan una opción intermedia, basada en la utilización de la información de contexto de la página, a fin de presentar la publicidad más adecuada. Esto es, si la página habla sobre tenis, ofrecer avisos de tickets para el próximo torneo. Si bien no se basa en el comportamiento del usuario, es un acercamiento interesante. La clave aquí es la manera en la que la página se convierte en “keywords” que a su vez se relacionan con los correspondientes de los anuncios disponibles. De ese matching surgirán los avisos más pertinentes a presentar.
Desde el punto de vista de los medios online, el uso de los modelos de comportamiento y el entendimiento profundo de la audiencia, marcan el futuro de cómo deberán manejar su stock de impresiones. En un medio interactivo como lo es la web, no es razonable aplicar modelos publicitarios de medios masivos. En la medida que los anunciantes entiendan las posibilidades que se presentan, exigirán a los medios que publiquen sus avisos a los clientes más adecuados a sus objetivos.


Daniel Ferro.

El nuevo marketing en el Retail

Actualmente los dueños de locales al público se enfrentan a desafíos interesantes. Por un lado el crecimiento económico de la Argentina, trajo una recuperación en la nivel de facturación. Por otro lado, los clientes hoy tienen más opciones que nunca para elegir que comprar, donde, por cuanto y como. Internet parece estar consolidándose como herramienta de difusión, pero a pesar del crecimiento sostenido del uso de la red, el local a la calle sigue siendo la opción de compra para la mayoría de los clientes de rubros como Alimentos, Electrodomésticos, Deportes, Ropa, Viajes, Libros, Servicios Profesionales, etc.
Pareciera ser que la regla es “difunda por Internet, venda en el local”. Lo cierto es que si el retailer quiere mejorar el valor del ticket promedio y la retención de clientes, es fundamental que pueda aprovechar lo nuevo que la tecnología tiene para ofrecer.
Por ej. hoy es posible saber con un buen grado de certeza, que productos ofrecer al cliente, según su patrón de compra, para mejorar el proceso de cross-selling. Esto es posible gracias a los “modelos de comportamiento”, un conjunto de técnicas matemáticas, estadísticas y de inteligencia artificial, que permiten conocer a partir de los datos de consumo que puede desear el cliente. Complejo? No tanto, ya que los proveedores de este tipo de soluciones han trabajado extensa y exitosamente en simplificar las herramientas utilizadas y brindar servicios empaquetados. Hoy las áreas de Marketing de un Retail pueden acceder a convenientes servicios de consultoría que le permitan conocer más profundamente que quieren sus clientes.
Veamos un ejemplo: una cadena de tiendas que vende libros, CDs y electrodomésticos desea mejorar sus niveles de venta disminuyendo el tiempo transcurrido hasta que los clientes vuelven al local luego de una compra.
Una forma tradicional de realizar esto es a través del cuponing, esto es, la entrega de un ticket de oferta que se ha impreso junto con el ticket de venta. Esa oferta tiene una validez determinada, por lo tanto se estimula al cliente a volver al local antes que este vencimiento se produzca. Hasta aquí lo conocido. Lo nuevo es que el contenido de esa oferta puede estar personalizado de acuerdo al “patrón” de compra del cliente. Este patrón fue calculado a partir de la información demográfica, transaccional y cualquier otra interacción que ese cliente ha tenido con la compañía. De tal manera que hemos podido establecer cuál es la oferta más adecuada para ese cliente en ese momento, aumentando las chances que vuelva a nuestro local.
Otra área de aplicación, tiene que ver con fidelizar a los clientes de empresas de servicios. Que mejor para esto que conocer con anticipación la probabilidad de “fuga” del mismo, a partir de lo cuál es posible tomar acciones anticipadas para minimizar dicha probabilidad.
Reconocer al cliente en el punto de venta, conocer su historial de compra y analizar dicha información es clave para el retailer que quiera sobrevivir en un mundo hipercompetitivo como en el que vivimos.

Daniel Ferro.