ElasticSearch跨集群跨版本迁移（5.5到7.2） 作者: admin 时间: 2020-04-07 分类: 默认分类 1 条评论 ##5.5与7.2的差异 1. 7.x版本不可再自定义type ，默认的type为`_doc` 如搜索 `index/_doc/_search` 不加也可`index/_search`，type会在8.X版本彻底移除。 2. 时间格式严格匹配 2020-4-3 11:36:21 => 2020-04-03 11:36:23 正确的 ```json "range":{ "created_at":{ "gte":"2020-04-03 00:00:00" } } ``` 错误的 ```json "range":{ "created_at":{ "gte":"2020-4-3 00:00:00" } } ``` - 阅读剩余部分 -
相关词推荐 作者: admin 时间: 2020-03-19 分类: 默认分类 评论 ### 需求 根据用户输入的搜索词进行搜索词推荐，增加用户的选择。 ### 实现方法 这里我们使用word2vec进行词向量模型训练，找到与搜索词最近的几个词作为推荐项。 - 阅读剩余部分 -
elasticsearch suggest实现搜索词自动补全 作者: admin 时间: 2020-03-11 分类: elasticsearch 评论 ###如何实现 利用ES的suggest completion提示器进行关键词补全，completion提示器是由前缀树实现的，数据全部装载在内存中，速度极快。 ###现有的数据 每天每个关键词的 PV UV 搜索次数 无结果次数 ###自动补全实现 > pv/uv 每个用户有几张有效数据 (系数 2) pv/search_cnt 每次搜索有几个有效数据 (系数1) search_cnt/uv 每个用户搜几次 （系数0.05） no_results_pv/search_cnt 每次搜索有几个无效图 (系数-0.5 负反馈) · 对七天内数据（PV UV search_cnt）进行加权融合 算出权重 · 存入ES · 清洗敏感词，补全拼音 - 阅读剩余部分 -
logstash 从 MySQL 动态同步日志数据到 ElasticSearch 作者: admin 时间: 2019-11-26 分类: elasticsearch 评论 ### 需要同步的表 搜索统计表 > 每天会新建一张表，格式为20191122_search_statistics，记录了每种搜索结果的点击次数等，需每天动态查询数据，动态创建索引。数据量每天300万到400万 搜索趋势表 > 一张表，需增量同步到es，目前数据量在两千多万。 以上两种情况最为典型，搜索统计表需要动态查询数据库，创建相应的索引。搜索趋势表为总量查询千万数据，增量同步到es。 在这个需求中基于开发效率和稳定性的考虑，使用logstash同步数据。相比较写脚本同步，logstash更适合离线数据/无实时性要求数据，且实现更快便于维护，每个任务只属于一组input-filter-output配置。 - 阅读剩余部分 -