斗鱼已公开的运维技术和架构分析 (2)

根据查到的公开资料，斗鱼的搜索服务是基于 ES 的。

相关内容如下：

主要针对 Elasticsearch 在斗鱼主站、鱼吧、点播系统、移动端等搜索项目中应用及其性能调优，进行演讲介绍，具体内容包含以下几点： 1.斗鱼主站、鱼吧、点播系统、移动端等不同业务环境下，ES 集群搭建、搜索接口调用、mapping 创建及配置设置。 2.斗鱼搜索技术架构，接口采用 Nginx 处理一级缓存以及负责均衡，Tomcat 实现索引同步及搜索接口，以 ES，MySQL，Redis 为基础的数据存储。 3.斗鱼搜索服务缓存处理，高并发应对策略。 4.由于斗鱼网络科技有限公司的语言异构性，搜索集群如何处理数据同步。 5.斗鱼搜索基于 Zabbix + ELK 的监控环境搭建，日志收集。 6.以及在搜索开发过程中遇到的接口问题、集群环境问题，并发负载问题以及解决方法的分享。 7.以及未来对搜索服务规划，服务接口化，统一工程分化，Docker 化。 第一个基于 ES 的线上搜索项目是斗鱼鱼吧搜索，该项目类似于斗鱼的论坛，涉及到大量的分词检索，因此，采用了 ES+IK。 上线后，效果明显，且服务器压力，负载均很稳定，便逐渐在其他项目推广开来，斗鱼主站，鱼秀，移动端，点播搜索等等。 再后来不仅搜索服务，部分全站日志收集，实时监控，也采用了 ELK 体系。 4. 系统相关

包含 LDAP、内部 DNS、DHCP、Mail、SMS、GitLab、YUM 仓库、操作审计（xenapp）、堡垒机等内容。

操作系统层 CPU

包含 CPU 运行级别、使用率、上下文切换、运行队列、进程调度、系统调用、CPU 管理（进程管理、taskset、Intel VT-X）等内容。

内存

包含虚拟内存、SWAP 换入换出、内存寻址、内存管理（Buffer Cache、HugePages、ksmd、EPT）等内容。

I/O（磁盘）

包含缺页中断、IOPS（顺序IO、随机IO）、IO 管理（IO 调度算法、virtio）等内容。

I/O（网络）

包含 TCP/IP（三次握手、四次挥手、状态转换、TCP 队列）、IO 模型、Bonding、Bridge、网络管理（iftop、tcpdump）等内容。

内核/Shell

包含内核定制、内存参数优化、脚本编程（AWK、Sed、Shell、Python、PHP、Perl、Ruby、Lua）等内容。

基础设施层 IAAS(基础设施即服务)

包含公有云、私有云（OpenStack/cloudstack+KVM/XEN、oVirt）、混合云等内容。

硬件管理

包含硬件选型、配件更换、资产录入、系统安装（Cobbler）、标签化、Raid构建、远程控制（KVM、iDrac、ILO、IMM）等内容。

IDC 托管

包含需求分析、IDC选型、网络测试、谈价格、签合同、设备采购（原厂vs渠道）、机柜和机位规划等内容。

测试和开发相关

包含运维协助：性能测试（TCPCopy、日志转换）、单机监控（nmon）、环境规划（开发、测试、预生产、生产）、CI（持续集成）、自动化部署等内容。