Kubernetes traefik ingress使用
Traefik介绍
简单的说,ingress就是从kubernetes集群外访问集群的入口,将用户的URL请求转发到不同的service上。Ingress相当于nginx、apache等负载均衡反向代理服务器,其中还包括规则定义,即URL的路由信息。
Traefik是一款开源的反向代理与负载均衡工具。它最大的优点是能够与常见的微服务系统直接整合,实现自动化动态配置。Traefik通过不断地跟 kubernetes API 打交道,实时的感知后端 service、pod 等变化,比如pod,service 增加与减少等;当得到这些变化信息后,Ingress自动更新配置并热重载 ,达到服务发现的作用。
Traefik主要特性详解
-
自动熔断
在集群中,当某一个服务大量出现请求错误,或者请求响应时间过久,或者返回500+错误状态码时,我们希望可以主动剔除该服务,也就是不在将请求转发到该服务上,而这一个过程是自动完成,不需要人工执行。Traefik 通过配置很容易就能帮我们实现,Traefik 可以通过定义策略来主动熔断服务。NetworkErrorRatio() > 0.5:监测服务错误率达到50%时,熔断。
LatencyAtQuantileMS(50.0) > 50:监测延时大于50ms时,熔断。
ResponseCodeRatio(500, 600, 0, 600) > 0.5:监测返回状态码为[500-600]在[0-600]区间占比超过50%时,熔断。 -
负载均衡策略
Traefik 提供两种负载均衡策略支持。一种是 wrr(加权轮训调度算法),一种是 drr(动态加权循环调度算法)。wrr是默认的负载均衡策略,新创建的 service 权重都是一样为1,这样的话,请求会平均分给每个服务,但是这样很多时候会出现资源分配不均衡的问题,比如由于集群中每个机器配置不一样,而且服务消耗不一样,假设 A 资源使用率已经很高,而 B 属于空闲状态,如果还是均摊到每个服务的话,会加重 A 的负荷,这时候因该有一种策略能够主动识别并分担更多流量到 B 才对。
drr 就更加智能,它是一种动态加权轮训调度方式,它会记录一段时间内转发到 A 的请求数,跟转发到 B 的请求数对比,转发数量多,说明处理速度快,响应时间快。如果 A 处理请求速度比 B 快,那么就会调整 A 的权重,接下来的一段时间,就会转发更多请求给 A,相应的 B 的转发就少一些。整个过程都在不断的调整权重,实现请求的合理分配,从而达到资源使用最大化。
部署Traefik ingress
创建ingress-rbac.yaml,将用于service account验证。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
apiVersion: v1 kind: ServiceAccount metadata: name: ingress namespace: kube-system --- kind: ClusterRoleBinding apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: ingress subjects: - kind: ServiceAccount name: ingress namespace: kube-system roleRef: kind: ClusterRole name: cluster-admin apiGroup: rbac.authorization.k8s.io |
创建Depeloyment部署traefik,如文件名为deployment.yaml
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 |
apiVersion: extensions/v1beta1 kind: Deployment metadata: name: traefik-ingress-lb namespace: kube-system labels: k8s-app: traefik-ingress-lb spec: template: metadata: labels: k8s-app: traefik-ingress-lb name: traefik-ingress-lb spec: terminationGracePeriodSeconds: 60 hostNetwork: true restartPolicy: Always serviceAccountName: ingress containers: - image: traefik name: traefik-ingress-lb resources: limits: cpu: 1000m memory: 3000Mi requests: cpu: 500m memory: 2000Mi ports: - name: http containerPort: 80 hostPort: 80 - name: admin containerPort: 8580 hostPort: 8580 args: - --web - --web.address=:8580 - --kubernetes |
注意我们这里用的是Deploy类型,没有限定该pod运行在哪个主机上。Traefik的端口是8580。
编写Traefik UI的ingress部署文件,如文件名为traefik-ui.yaml
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
apiVersion: v1 kind: Service metadata: name: traefik-web-ui spec: selector: k8s-app: traefik-ingress-lb ports: - name: web port: 80 targetPort: 8580 --- apiVersion: extensions/v1beta1 kind: Ingress metadata: name: traefik-web-ui namespace: kube-system spec: rules: - host: traefik.ui.com http: paths: - path: / backend: serviceName: traefik-web-ui servicePort: web |
backend中要配置default namespace中启动的service名字。path就是URL地址后的路径,如traefik.frontend.io/path,service将会接受path这个路径,host最好使用service-name.filed1.filed2.domain-name这种类似主机名称的命名方式,方便区分服务。
配置完成后就可以启动treafik ingress了。
1 2 3 4 5 6 7 |
# kubectl create -f . deployment.extensions/traefik-ingress-lb created serviceaccount/ingress created clusterrolebinding.rbac.authorization.k8s.io/ingress created service/traefik-web-ui created ingress.extensions/traefik-web-ui created ingress.extensions/traefik-ingress created |
查看是否部署成功
1 2 3 4 5 6 |
# kubectl get pods -n kube-system | grep traefik traefik-ingress-lb-57786f6c44-cwr96 1/1 Running 0 2m27s # kubectl get ingress -o wide --all-namespaces NAMESPACE NAME HOSTS ADDRESS PORTS AGE kube-system traefik-web-ui traefik.ui.com 80 12s |
在客户端配置hosts域名解析,如下
1 |
172.16.0.180 traefik.ui.com |
172.16.0.180是traefik pod所在的K8s节点,通过域名traefik.ui.com访问将可以看到dashboard。
左侧黄色部分列出的是所有的rule,右侧绿色部分是所有的backend。
测试
下面模拟部署一个程序,以Nginx 为例,并使用drr动态轮训加权策略。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 |
# cat nginx-deployment.yaml apiVersion: apps/v1beta1 kind: Deployment metadata: name: nginx-pod spec: replicas: 2 template: metadata: labels: app: nginx-pod spec: containers: - name: nginx image: nginx:1.15.5 ports: - containerPort: 80 --- apiVersion: v1 kind: Service metadata: name: nginx-service annotations: traefik.ingress.kubernetes.io/load-balancer-method: drr spec: template: metadata: labels: name: nginx-service namespace: default spec: selector: app: nginx-pod ports: - port: 80 targetPort: 80 --- apiVersion: extensions/v1beta1 kind: Ingress metadata: name: nginx-ingress annotations: kubernetes.io/ingress.class: traefik spec: rules: - host: k8s.nginx.com http: paths: - backend: serviceName: nginx-service servicePort: 80 |
创建nginx
1 2 |
kubectl apply -f nginx-deployment.yaml kubectl get pods |
同样,修改客户端的hosts文件。在其中加入
1 2 |
172.16.0.180 traefik.ui.com 172.16.0.180 k8s.nginx.com |
所有访问这些地址的流量都会发送给172.16.0.180这台主机,就是我们启动traefik的主机。Traefik会解析http请求header里的Host参数将流量转发给Ingress配置里的相应service。
在外部客户端,访问nginx应用的ingress地址
http://k8s.nginx.com/
在K8s集群节点上访问测试
1 |
# curl -x 172.16.0.180:80 http://k8s.nginx.com |
ingress配置同域名不同路径代理web应用
很多使用我们不想配置太多的域名来区别应用,使用同域名分路径的方式来区别应用就简洁方便很多。ingress也提供了相关的配置。
假设两个应用tomcat-test1和tomcat-test2。这里可配置域名tomcat.test.k8s,通过路径test1、test2来分别代理两个tomcat应用。其中,分路径配置需添加配置:traefik.frontend.rule.type: PathPrefixStrip
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
# vi ingress-tomcat.yaml --- apiVersion: extensions/v1beta1 kind: Ingress metadata: name: tomcat-test-web namespace: default annotations: kubernetes.io/ingress.class: traefik traefik.frontend.rule.type: PathPrefixStrip spec: rules: - host: tomcat.test.k8s http: paths: - path: /test1/ backend: serviceName: tomcat-test1 servicePort: 8080 - path: /test2/ backend: serviceName: tomcat-test2 servicePort: 8080 |
1 2 |
# kubectl apply -f ingress-tomcat.yaml # kubectl describe ingress tomcat-test-web |
从describe信息和ui界面上可以看到,tomcat.test.k8s分别有了/test1/和/test2/的域名代理以及相对应的后端,可以修改hosts测试一下分路径是否生效:
1 |
172.16.0.180 tomcat.test.k8s |
在线修改资源配置
如果需要在线修改部署的资源,如deployment、service或ingress等,可以使用kubectl edit命令。如修改deployment。
1 2 |
# kubectl get deploy # kubectl edit deploy nginx-pod |
或者直接修改yaml文件后,执行kubectl apply命令更新即可生效。