by admin

kubernetes 修改Pod 容器内hosts文件

HostAliases定义了Pod的hosts文件(/etc/hosts)里面的内容: apiVersion: v1 kind: Pod … spec: hostAliases: – ip: “10.161.1.222” hostnames: – “foo.remote.com” – “bar….

Read More


by admin

Prometheus + Grafana 监控mysql、redis

Prometheus 收集数据 Grafana展示数据 安装Prometheus + Grafana省略…. 注意的是,在添加Grafana数据库的时候,名字必须写prometheus ,因为要引用mysql的grafana模板,里面引用的数据库名字规定了的 1. 修改Prometheus配置文…

Read More


by admin

Prometheus + Grafana 监控

组件: Prometheus server端, 用于统计信息 Prometheus agent端, 用于收集信息 Grafana, 用于图像展示以及报警设置 包: go1.8.3.linux-amd64.tar.gz 需要安装go语言 prometheus-2.4.3.linux-amd64.tar…

Read More


by admin

Nginx cors 跨域(多域名)

需求: 当前,需要对多个域名允许跨域请求,服务器使用的是nginx 直接上配置 ….. ### 通过map映射需要跨域的域名,default 0 , 意思是如果其他都没匹配到,则匹配default 0 ,并且在header中显示出来 map $http_origin $corsHost { de…

Read More


by admin

通过Openresty 实现IP白名单功能

需求: 需要维护一个IP列表,并且对request请求的IP进行判断,如果实在IP列表内,则放行,否则返回403 工具: openresty + lua openresty: 什么是openresty: 官网一大堆,这里就不说了,说的简单点,就是nginx基础上,集成了ngx_lua模块,用lua语…

Read More


by admin

elasticsearch 安装head插件

es版本不同, 安装head插件的方法也不同 elasticsearch-2.4 安装命令 /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head 使用方法 http://1.1.1.1:9200/_plugin/hea…

Read More


by admin

kubernetes 将pod 信息暴露在容器中

需求: spring cloud框架中,各个服务之间需要通过http请求进行调用,正常情况下,一般用Nodeport方式,通过SLB进行代理nodeport端口进行访问 但是这样通信过程中,会有数据延迟的可能,那么直接把所有的服务全部放在k8s中,并且直接通过pod ip进行通信 如上需求,需要修改…

Read More


by admin

大数据之 Storm集群

简介: storm是一个分布式实时大数据处理框架 核心组件: Nimbus: 负责资源分配和任务调度 Supervisor: 负责接收nimbus分配的任务,启动和停止属于自己管理的worker进程,通过配置文件设置当前supervisor上启动多少个worker Worker: 运行具体处理组件逻…

Read More


by admin

大数据之Sqoop

Sqoop简介 用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 是一个命令…

Read More


by admin

大数据之 kafka 集群

环境说明: 系统: centos7 主机说明: 10.161.1.58 kafka-01 kafka 10.161.1.57 kafka-02 kafka 10.161.1.54 kafka-03 kafka 10.161.1.13 zookeeper-01 zookeeper 10.161.1.5…

Read More


by admin

大数据之 Hive安装配置

说明: hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分…

Read More


by admin

大数据之Hbase-HA集群

Hbase 集群是基于zookeeper实现,并且存储是基于HDFS实现,在建Hbase之前,需要保证hdfs和zookeeper已正常启动 环境说明: 系统: Centos7 hadoop版本: 2.7.7 zookeeper版本: 3.4.10 服务器分配,基于之前的hadoop-HA基础上实现…

Read More


by admin

大数据之 Hadoop-HA分布式集群

系统: centos7.4 java版本: java-1.8 服务器分配: 10.161.1.107 namenode DFSZKFailoverController ResourceManager 10.161.1.47 namenode DFSZKFailoverController Resou…

Read More


by admin

大数据之Azkaban 调度系统 集群安装

介绍: Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有三个重要组件: 关系数据库(目前仅支持mysql)…

Read More


by admin

大数据之ambari安装

ambari概述: Apache Hadoop集群的供应、管理和监控, 支持hadoop大多组件 安装说明: 系统: ubuntu 16.04 服务器大小: 4核32G * 6 ambari主机: 172.18.1.112 hadoop-01: 172.18.1.113 hadoop-02: 172…

Read More


by admin

大数据之presto集群

presto概述: Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。 Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析 环境: …

Read More


by admin

nginx web页面账号密码登录

安装 httpasswd # yum -y install httpd 生成认证文件,admin是账号,后面输入密码 #htpasswd -c /etc/nginx/.htpasswd admin 修改nginx location,引用密码文件 auth_basic “The Kibana Moni…

Read More


by admin

filebeat 收集系统日志

1.filebeat 概述 日志收集平台, logstash –> elasticsearch –> kibana flebeat 是 logstash的代替版本, 比logstash更轻量级的采集工具 2.安装 filebeat和其他es组件一样都需要使用java,这里使用的是op…

Read More


by admin

zookeeper集群

什么是zookeeper ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Hadoop和Hbase的重要组件。 它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 角色划分: leader(领导者): 负责进行投票的发起和决议,…

Read More


by admin

elasticsearch 集群

3台es 服务器做集群 es-01: 10.161.1.62 es-02: 10.161.1.63 es-03: 10.161.1.64 es-01: 安装rpm包 #wget https://artifacts.elastic.co/downloads/elasticsearch/elastics…

Read More


by admin

kong 网关 安装、命令

概述: 什么是kong, 一个开源的网关服务器,使用openresty开发,通过nginx + ngx_lua模块处理一系列请求 安装: 通过k8s进行安装 git clone文件 #git clone https://github.com/Kong/kong-dist-kubernetes.git…

Read More


by admin

nginx处理过程,十一个阶段介绍

nginx 执行步骤: 1.post-read 读取请求内容阶段, nginx读取并解析完请求头之后就立即开始运行 2.server-rewrite server请求地址重写阶段 3.find-cofig 配置查找阶段,用来完成当前与location配重块之间的配对工作 4.rewrite loca…

Read More


by admin

kube启动参数解析

kube-apiserver: –logtostderr=true // 记录错误信息 –v=4 //日志等级 –etcd-servers=https://10.161.1.103:2379,https://10.161.1.104:2379,https://10.161.1.105:2379…

Read More


by admin

kubernetes yaml文件常用参数解析

service.yaml文件 kind: Service apiVersion: v1 metadata: labels: app: user-2 name: user-service-2 namespace: default spec: type: NodePort ### 通过nodeport方…

Read More


by admin

kubernetes + Harbor私有仓库

kubernetes集群中需要一个镜像仓库,以下是使用的vmware Harbor作为私有仓库 说明: kubernetes具体安装步骤请参照本文: http://www.mylinuxer.com/?p=1126 Harbor安装步骤请参照本文: http://www.mylinuxer.com/…

Read More


by admin

kubernetes Namespaces

kubernetes可以使用多个Namespaces(命名空间)创建多个虚拟集群 相同的Namespaces中的对象具有相同权限 kubernetes默认有 default 和 kube-system两个namespace 基础使用 创建 1).命令创建 # kubectl create names…

Read More


by admin

Kubernetes组件

master组件: kube-apiserver: 用于暴露kubernetes API,任何请求、调用都徐亚通过kube-apiserver提供的接口进行 etcd: 默认的存储系统,保存多有集群数据 kube-controller-manager: 管理控制器,管理控制(node)、副本控制(r…

Read More


by admin

etcd搭建、常用操作

概述: 1.etcd是一个键值对存储,多台etcd之间组成一个集群,并选举出一个leader用于管理,官方推荐组成集群时,采用3、5、7基数节点的方式。 2.集群节点越多,读取速度越快,但是由于节点之间数据需要同步,那么节点越多的情况下,写入时间则越长 3.官方指定etcd会占用两个端口,2379用…

Read More


by admin

kubernetes1.9(https认证)安装

master:10.161.1.43 node01:10.161.1.92 node02:10.161.1.93 kubernetes: 1.9 etcd:3.2 docker:17.12-ce 一.安装docker(node01、node02) # yum -y install yum-utils…

Read More


by admin

Kubernetes 安装部署

系统: centos7.2 kubenetes: v1.8 etcd: v3 docker: ce-17-10 master: 192.168.241.131 etcd/kube-apiserver/kube-controller-manager/kube-scheduler node02: 192…

Read More


by admin

Docker Weava网络

Weava 路由功能 使用前提: 1.确保Linux内核版本3.8+, Docker1.10+ 2.节点之间如果有防火墙,必须彼此放行TCP 3783和UDP 6783/6784端口,这是weave控制喝数据端口 3.主机名不能相同,通过主机名标识子网 部署: 1.安装Weave # wget -O…

Read More


by admin

Docker Macvlan Network

MacVlan 有两种模式, Macvlan Bridge模式和Macvlan VLAN Bridge模式 Macvlan Bridge: 直接绑定在物理网卡上 需要在所有节点中都创建网络, 不同于overlay网络会自动同步 只能vlan之间通信,不能访问外网和其他vlan 1.创建macvlan…

Read More


by admin

通过redis漏洞,获取用户root权限

redis 默认情况下,会绑定在0.0.0.0:6379端口, 这样将redis暴露在公网上, 如果没有开启认证的情况下, 可以导致任意用户在访问目标服务器的情况下未授权访问redis已经读取redis数据 那么就可以通过写入公钥的方式, 对目标服务器进行登录, 默认redis启动的用户如果没有修改…

Read More


by admin

Docker Overlay Network

Docker Overlay Network 解决多主机之间容器的互通性 新建一个Overlay网络, 容器加入到该网络之中,实现网络互通 要使用Overlay网络, linux内核版本必须高于3.12以上, 此处用的是ubuntu16.04 服务器说明:Consul 192.168.241.137…

Read More


by admin

docker容器之swarm集群

背景: Docker版本1.12+ 集群节点之间保证TCP 2377、TCP/UDP 7946和UDP 4789端口通信 1.docker多台宿主机之间,虚拟网段无法通信 2.容器的虚拟IP会变更,连接容器时需要通过映射端口才能访问 3.单台docker不易于管理 swarm: swarm是dock…

Read More


by admin

docker之supervisor管理进程

概述: docker容器内的进程都必须是前台运行, 一般情况下,我们拥有两个方案进行操作 1.把容器中需要运行的服务前台运行,并且编写成脚本, 在启动容器的时候,运行此服务 2.在容器中配置supervisor进行管理,下文就是介绍如何在centos7 Dockerfile文件中增加supervis…

Read More


by admin

Docker仓库之Harbor文档

背景: docker生产环境使用中, 都会用到镜像存放地址, docker官方给出了一个registry镜像作为仓库使用, 但是安装起来比较繁琐, 并且没有相应的UI界面 vmware公司推出了一款基于UI、web界面的docker仓库方案, 安装简单、可操作性强 环境: centos7.3 doc…

Read More


by admin

GlusterFs分布式文件系统

应用: 文档、图片、音频、视频 云存储、虚拟化存储、高性能计算(HPC) 日志文件、RFID(射频识别)数据 对1M起的文件很适合, 但是对小文件不适合 部署安装 关闭iptable selinux 修改主机名, 保证所有主机能hostname DNS解析 node01 192.168.241.13…

Read More


by admin

Zabbix通过jmx监控tomcat

zabbix需要通过jmx监控tomcat 需要使用到zabbix-gateway来进行收集 注意: 所有服务器都已关闭selinux , 之前就是应为server端未关闭selinux导致无法解析 tomcat+zabbix-agent主机: 192.168.241.130 zabbix-serv…

Read More


by admin

Zabbix新增Nginx活动连接数监控项

nginx通过 http://1.1.1.1/nginx_status可以查看到当前活动连接数, 前提是安装相应模块 zabbix要监控nginx活动连接数, 需要自定义监控项(items) 1.首先, 需要在Agent端编写脚本 # vim /etc/zabbix/zabbix_agentd.d/…

Read More


by admin

Zabbix Server Agent安装部署

Server: 192.168.241.132 Centos7.3 Agent: 192.168.241.130 Centos6.7 Server安装: 1.基础环境准备 1.1 安装zabbix 使用阿里云yum源 rpm -ivh http://mirrors.aliyun.com/zabbix…

Read More


by admin

Linux进程优先级

Linux通过 nice 命令更改优先级执行诚如, 范围为-20(最高优先) 到19(最低优先) 使用这个命令必须为root 例如: 把sshd进程设置最高优先级, 当服务器CPU无论怎么暴涨, 都保证ssh能正常连接 改变进程优先级有两种, 一是进程已经在执行的情况, 二是还未执行 1.进程已经在…

Read More


by admin

gitlab 安装

系统: centos7 # yum install curl policycoreutils openssh-server openssh-clients postfix # systemctl start postfix 通过清华大学源进行安装 # vim /etc/yum.repos.d/git…

Read More


by admin

elk 生产环境实践

说明:         elk 由三个组件组成          elasticsearch:        负责处理数据          logstash:                负责收集数据, 并发送到elasticsearch          kibana:            …

Read More


by admin

Python 调用putty 实现自动登录

目的: 通过python调用windows下putty.exe程序, 传参数进去实现自动登录linux服务器 python代码: >>> from subprocess import Popen >>> args = ‘C:\Users\Admin\Desktop…

Read More


by admin

python socket基础

readme : 本地开启一个客户端和服务器, 通过8000端口连接 socket连接建立完成, 当 客户端输入exit, 退出当前连接,并且向服务端发送空字符’ ‘ , 服务端接收空字符后, 退出当前socket并新建socket连接等待其他客户端接入   ser…

Read More


by admin

SSL双向认证

目的: 网站后台登录需要公私钥认证才能登录, 没有相应秘钥则报错400, 加强安全 1.openssl目录准备 mkdir /etc/pki/ca_linvo cd /etc/pki/ca_linvo mkdir root server client newcerts echo 01 > se…

Read More


by admin

Docker 基本使用

Docker基本使用 docker 镜像管理 #docker search centos  #搜索centos镜像 #docker pull centos       #下载centos最新镜像 #docker images            #列出本地下载好的镜像 #docker save -…

Read More


by admin

Docker安装部署

环境: centos7.3 docker版本: docker-ce 安装: 安装必要的包 #yum -y install net-tools vim lrzsz tree screen lsof tcpdump nv mtr nmap 配置源 #yum install -y yum-utils #y…

Read More


by admin

Fabric实例,文件上传/校验文件

#!/usr/bin/env python # coding: utf-8 “”” 通过put()方法实现文件上传 通过对比本地与远程主机文件的md5, 实现文件一致性校验 “”” from fabric.api import * from fabric.context_managers impor…

Read More