logstash 从 MySQL 动态同步日志数据到 ElasticSearch 作者: admin 时间: 2019-11-26 分类: elasticsearch 评论 ### 需要同步的表 搜索统计表 > 每天会新建一张表，格式为20191122_search_statistics，记录了每种搜索结果的点击次数等，需每天动态查询数据，动态创建索引。数据量每天300万到400万 搜索趋势表 > 一张表，需增量同步到es，目前数据量在两千多万。 以上两种情况最为典型，搜索统计表需要动态查询数据库，创建相应的索引。搜索趋势表为总量查询千万数据，增量同步到es。 在这个需求中基于开发效率和稳定性的考虑，使用logstash同步数据。相比较写脚本同步，logstash更适合离线数据/无实时性要求数据，且实现更快便于维护，每个任务只属于一组input-filter-output配置。 - 阅读剩余部分 -
图片eps格式转emf/png/svg格式的方法 作者: admin 时间: 2019-08-16 分类: 默认分类 1 条评论 #图片eps格式转emf/png/svg格式的方法 好久没写博客了，目前供职于某家商业图库，长期与图片打交道，这一年下来积累不少，却没有多少时间总结。目前接手了一个icon的项目，需要做到矢量图片之间的转换。趁这个机会，总结一下格式转换的方法。 - 阅读剩余部分 -
容器化anyproxy 作者: admin 时间: 2019-07-23 分类: 默认分类 评论 #容器化anyproxy 最近做微信公众号的爬虫，需要用到代理服务，查阅了很多资料后，选中了阿里出品的anyproxy。将anyproxy容器化再进行部署，可以节省服务器资源，也便于服务的迁移。 ####Dockerfile的编写 ``` FROM yarnpkg/node-yarn RUN npm install -g n RUN n 8 RUN yarn config set registry https://registry.npm.taobao.org RUN yarn config set ignore-engines true RUN yarn global add anyproxy RUN yarn cache clean EXPOSE 8001 8002 #这里自定义了规则 COPY ./rule_default.js /etc/rule_default.js ENTRYPOINT anyproxy -r /etc/rule_default.js -i ``` ####docker-compose的编写 ``` anyproxy: restart: always container_name: "anyproxy" build: ./anyproxy ports: - "8001:8001" - "8002:8002" ``` ####启动 ``` docker-compose up -d ```
2018年08月28日被摩擦题解 作者: admin 时间: 2018-08-29 分类: 面试题 1 条评论 > 今天去面试被总监按在地上摩擦..对一些问题的思考深度还是不够，连夜把能记得的面试题记下来做出来，知耻而后勇，立一个flag，不要再被摩擦了。 ###fastcgi是什么 php-fpm是什么 什么关系 cgi是协议 fastcgi是cgi的升级版本(fastcgi的特点是会在一个进程中依次完成多个请求，以达到提高效率的目的，大多数Fastcgi实现都会维护一个进程池。) php-cgi是解释PHP脚本的程序(PHP解释器) php-fpm是一个内置了php解释器的FastCGI服务 - 阅读剩余部分 -