.NetCore中IdentityServer使用nginx-proxy的一次排错经历

前言

最近在看 Duende.IdentityServer.Admin,本地使用IIS Express跑了一下源码,也看了一遍的代码,决定使用他们的模板创建一个Demo,部署在本地的Docker环境中,也算是踩一下坑吧。以下不会详细介绍项目的部署,只会介绍部署时遇到的问题。.

创建 Duende.IdentityServer.Admin

首选安装模板 ,此时最新版本 1.1.0,具体可以参考官方

dotnet new -i Skoruba.Duende.IdentityServer.Admin.Templates::1.1.0

然后可以就可以使用VS去创建了,当然也可以使用命令行创建,具体在GitHub上已有说明,这里不做详细赘述。

Docker部署

创建完项目之后,使用IIS Express运行项目,几乎没有任何问题,接下来就是使用docker-compose去部署项目。docker-compose.yml代码如下:

version: '3.4'

services:
  sqldata:
    image: mcr.microsoft.com/mssql/server:2017-latest
    container_name: youthsoft-identityserver-db

  identity-sts:
    image: ${REGISTRY:-youthsoftdapr}/identity.sts:${TAG:-latest}
    build:
      context: .
      dockerfile: src/Services/Identity/YouthSoft.IdentityServer.STS.Identity/Dockerfile
    container_name: youthsoft-identity-sts

  identity-admin:
    image: ${REGISTRY:-youthsoftdapr}/identity.admin:${TAG:-latest}
    build:
      context: .
      dockerfile: src/Services/Identity/YouthSoft.IdentityServer.Admin/Dockerfile
    container_name: "youthsoft-identity-admin"

这里没有配置具体的信息,具体信息配置在了docker-compose.override.yml文件中,如下:

version: '3.4'

services:
  sqldata:
    environment:
      - SA_PASSWORD="${DB_PASSWORD:-Pass@word}"
      - ACCEPT_EULA="Y"
    ports:
      - "6433:1433"
    volumes:
      - youthsoft-sqldata:/var/opt/mssql

  identity-sts:
    environment:
      - ASPNETCORE_ENVIRONMENT=Development
      - AdminConfiguration__IdentityAdminBaseUrl=http://localhost:6101
      - ConnectionStrings__ConfigurationDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__PersistedGrantDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__IdentityDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__DataProtectionDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
    ports:
      - "6101:6101"
    depends_on:
      - sqldata
    volumes:
      - './shared/serilog.json:/app/serilog.json'

  identity-admin:
    environment:
      - VIRTUAL_HOST=admin.youthsoft.local
      - ASPNETCORE_ENVIRONMENT=Development
      - 'AdminConfiguration__IdentityAdminBaseUrl=http://localhost:6102'
      - AdminConfiguration__IdentityAdminRedirectUri=http://localhost:6102/signin-oidc
      - AdminConfiguration__IdentityServerBaseUrl=http://localhost:6101
      - ConnectionStrings__ConfigurationDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__PersistedGrantDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__IdentityDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__AdminLogDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__AdminAuditLogDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__DataProtectionDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
    depends_on:
      - identity-sts
      - sqldata

volumes:
  youthsoft-sqldata:
    external: false

networks:
  proxy:
    driver: bridge
  identityserverui:
    driver: bridge

遇到的问题

问题1:IDX20804

.NetCore中IdentityServer使用nginx-proxy的一次排错经历

 

说明:docker-compose 中 sts 设置的端口是 6101,访问地址是 http://localhost:6101,admin设置的端口是6102,访问地址是http://localhost:6102。理想状态下打开http://localhost:6101 会打开sts,点击 IdentityServer Admin 按钮时会跳转到admin,也就是http://localhost:6102,但是每次当点击跳转的时候就会出现上边的错误,起初不是很理解,最后在GitHub的issue得到了启发。

第一次打开http://localhost:6101时会打开sts,此时正常跳转。但是当点击 IdentityServer Admin 时,此时的http://localhost:6102就不是宿主机的地址了,而是sts容器中的地址,容器中没有6102端口所以就无法打开。

.NetCore中IdentityServer使用nginx-proxy的一次排错经历

解决方法

仔细查看了Duende.IdentityServer.Admin中的配置,发现要使用docker的话,就不能使用localhost,而是要使用域名,那本地如何设置域名呢?答案就是在windows的host文件中配置,在host文件中添加 127.0.0.1 admin.youthsoft.local sts.youthsoft.local,这样这两个域名就会运行在本地,就可以实现localhost的功能。

同时还需要借助nginx将不同的域名代理到不同的容器中,这里使用了nginx-proxy,他可以根据docker-compose上的配置自动生成ngxin的配置,也就是docker容器的自动反向代理,详细的使用可参考官方,使用起来也比较简单,就是在环境变量中添加一个 VIRTUAL_HOST配置,并指向前边配置的本地域名,然后nginx-proxy在创建容器的时候就会自动创建该容器的反向代理。

如下就是自动生成的反向代理:

.NetCore中IdentityServer使用nginx-proxy的一次排错经历

修改docker-compose.override.yml

version: '3.4'

services:
  nginx-proxy:
    image: jwilder/nginx-proxy
    container_name: nginx002
    ports:
      - '80:80'
    volumes:
      - './shared/nginx/conf.d:/etc/nginx/conf.d'
      - '/var/run/docker.sock:/tmp/docker.sock:ro'
    networks:
      proxy: null
      identityserverui:
        aliases:
          - sts.youthsoft.local
          - admin.youthsoft.local
    restart: always
  sqldata:
    environment:
      - SA_PASSWORD="${DB_PASSWORD:-Pass@word}"
      - ACCEPT_EULA="Y"
    ports:
      - "6433:1433"
    volumes:
      - youthsoft-sqldata:/var/opt/mssql
    networks:
      identityserverui: null

  identity-sts:
    environment:
      - VIRTUAL_HOST=sts.youthsoft.local
      - ASPNETCORE_ENVIRONMENT=Development
      - AdminConfiguration__IdentityAdminBaseUrl=http://admin.youthsoft.local
      - 'IdentityServerOptions__IssuerUri=http://sts.youthsoft.local'
      - ConnectionStrings__ConfigurationDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__PersistedGrantDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__IdentityDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__DataProtectionDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
    depends_on:
      - sqldata
    volumes:
      - './shared/serilog.json:/app/serilog.json'
      - './shared/nginx/certs/cacerts.crt:/usr/local/share/ca-certificates/cacerts.crt'
    networks:
      identityserverui:
        aliases:
          - sts.youthsoft.local

  identity-admin:
    environment:
      - VIRTUAL_HOST=admin.youthsoft.local
      - ASPNETCORE_ENVIRONMENT=Development
      - 'AdminConfiguration__IdentityAdminBaseUrl=http://admin.youthsoft.local'
      - AdminConfiguration__IdentityAdminRedirectUri=http://admin.youthsoft.local/signin-oidc
      - AdminConfiguration__IdentityServerBaseUrl=http://sts.youthsoft.local
      - 'IdentityServerData__Clients__0__ClientUri=http://admin.youthsoft.local'
      - 'IdentityServerData__Clients__0__RedirectUris__0=http://admin.youthsoft.local/signin-oidc'
      - 'IdentityServerData__Clients__0__FrontChannelLogoutUri=http://admin.youthsoft.local/signin-oidc'
      - 'IdentityServerData__Clients__0__PostLogoutRedirectUris__0=http://admin.youthsoft.local/signout-callback-oidc'
      - 'IdentityServerData__Clients__0__AllowedCorsOrigins__0=http://admin.youthsoft.local'
      - 'IdentityServerData__Clients__1__RedirectUris__0=http://admin-api.youthsoft.local/swagger/oauth2-redirect.html'
      - ConnectionStrings__ConfigurationDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__PersistedGrantDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__IdentityDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__AdminLogDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__AdminAuditLogDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
      - ConnectionStrings__DataProtectionDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true
    depends_on:
      - identity-sts
      - sqldata
    networks:
      identityserverui: null

volumes:
  youthsoft-sqldata:
    external: false

networks:
  proxy:
    driver: bridge
  identityserverui:
    driver: bridge

注意:本次修改的配置文件中,修改了数据库初始化文件(identityserverdata.json)中种子数据中的地址。这就要先把之前迁移生成的数据库先删掉,或者把数据库中的地址改成和配置文件中的地址一样,建议还是先删掉再重新执行一次迁移。

问题2:找不到任何可成功连接的IP (sts.youthsoft.local:80)

.NetCore中IdentityServer使用nginx-proxy的一次排错经历

 

大部分人可能都不会遇到这个问题,但是这个问题困扰了我好久,错误也捕捉不到,原因就是我的80端口被占用了,CMD执行 netstat -aon|findstr "80"命令,发现除了docker占用了80端口,还有其它程序也占用了80端口,一看原来是我开着FastGithub.UI这个程序,这个程序主要就是加速GitHub的访问,平时访问github时不能出来的图片,在打开它后也可以出来,经常逛GitHub的朋友可以用一下。如果有类似的问题,可以排查一下80端口是否被占用

解决方法:

关闭掉程序就可以打开了。

问题3:跳转 IdentityServer Admin 时,nginx报502错误

上边一切就绪,但是在跳转到IdentityServer Admin时,出现了nginx 502错误,在查看了nginx容器的日志后,找到了问题。

upstream sent too big header while reading response header from upstream

解决方法

解决方法就是在nginx配置的http段添加以下配置

proxy_buffer_size          128k;
proxy_buffers              4 256k;
proxy_busy_buffers_size    256k;

但是nginx的配置是自动生成的啊,怎么办?我们可以把 nginx的 conf.d 文件夹挂载到本地,并在文件夹中创建一个 .conf 结尾的文件,比如:proxy.conf,内容就存放上边的配置即可。因为在 nginx.conf 的http段有一个配置,默认会包含 conf.d 文件夹下的所有配置文件。include /etc/nginx/conf.d/*.conf;

.NetCore中IdentityServer使用nginx-proxy的一次排错经历

重新运行docker-compose 发现就可以

写在最后

排错是痛苦的,但是也是成长最快的方法,因为在经历一番折腾后得出的知识印象也最深刻。