酷码熊博客

关于

Fri, 07 Aug 2020 23:53:43 +0800

关于

这里是阿熊的个人博客（原博客名称：隐逸山林），主要分享一些开发笔记。

由于.me的域名续费太贵 axiong.me的域名后面不续费了，还是用.com划算，咩哈哈~~

国内主站： https://www.kumaxiong.com
海外镜像： https://www.kuma2code.com
github备用：https://nickfan.github.io
原域名跳转 https://axiong.me

linux系统下的文件下载

Fri, 13 Nov 2020 16:36:12 +0800

linux系统下的文件下载

单线程

wget

1

wget -c "https://releases.ubuntu.com/bionic/ubuntu-18.04.5-live-server-amd64.iso"

使用代理

1

wget -e "http://127.0.0.1:1080" -c "https://releases.ubuntu.com/bionic/ubuntu-18.04.5-live-server-amd64.iso"

curl

1

curl -O -C - "https://releases.ubuntu.com/bionic/ubuntu-18.04.5-live-server-amd64.iso"

使用代理

1

curl -x 127.0.0.1:1080 -O -C - "https://releases.ubuntu.com/bionic/ubuntu-18.04.5-live-server-amd64.iso"

多线程

axel

n参数代表连接数

1

axel -a -n 10 "https://releases.ubuntu.com/bionic/ubuntu-18.04.5-live-server-amd64.iso"

aria2

s每个文件最多连接数（默认5） k每个连接分片单次最多下载大小（默认20） x每个服务器最多连接数（默认1） j多个下载任务时同时下载的任务数限制（默认5）

1

aria2c --file-allocation=none -c -s10 -x10 -k5M "https://releases.ubuntu.com/bionic/ubuntu-18.04.5-live-server-amd64.iso"

其他

通过环境变量使用代理

1
2
3
4
5
6


export http_proxy="http://127.0.0.1:1080"
export all_proxy=$http_proxy
export https_proxy=$http_proxy
export ftp_proxy=$http_proxy
export no_proxy="localhost,.example.com,128.0.0.1,10.96.0.0/12,192.168.99.0/24,192.168.39.0/24"

apt使用代理

1
2
3


echo 'Acquire::http::Proxy "http://127.0.0.1:1080";' >~/.apt_proxy.conf
sudo apt-get -c ~/.apt_proxy.conf update

win10下基础开发环境搭建2020

Fri, 16 Oct 2020 13:22:12 +0800

目前win10系统对wsl的支持在逐步提升，mac已经转型消费向的arm阵营了，也许从远期来看是对的方向，但当下的开发还是以桌面工作环境为主，所以目前而言还是配一下桌面开发环境，做一下笔记

参考笔记

https://www.lagou.com/lgeduarticle/85437.html

https://zhuanlan.zhihu.com/p/145488247

https://www.sitepoint.com/wsl2/

预备

win+x快捷键，选Y系统，在设备规格中选“重命名这台电脑”，可以配置个简单点的名字尽量英文小写字母后面配hosts的时候也简单点

安装

升级win10到最新版本

家庭版和专业版都可以，有的企业版本貌似没有microsoft store商店，所以不推荐

访问：https://support.microsoft.com/zh-cn/help/3159635/windows-10-update-assistant 下载更新助手（windows易升）或者直接访问 https://www.microsoft.com/zh-cn/software-download/windows10 点立即更新升级安装时间主要看你的机器性能及网络带宽

安装配置好你的网络访问工具

比如clash,v2等等解决网络访问慢和阻塞的问题，此处不可描述n字省略。

安装windows terminal

在开始菜单找到microsoft store商店进入后搜索并安装 windows terminal

安装WSL2

参考：https://docs.microsoft.com/zh-cn/windows/wsl/install-win10

右键选择以管理员身份运行windows terminal，打开默认的Windows PowerShell 粘贴安装指令：

1
2


dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

运行完毕后重启系统按照步骤4中下载并更新linux内核包参考： https://aka.ms/wsl2kernel

比如下载安装包为：

https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi

右键选择以管理员身份运行windows terminal，打开默认的Windows PowerShell 粘贴配置指令：

1

wsl --set-default-version 2

安装对应的linux发行版，此次以ubuntu1804为例子 https://www.microsoft.com/zh-hk/p/ubuntu-1804-lts/9n9tngvndl3q?rtc=1&activetab=pivot:overviewtab

安装完成后创建初始用户（比如www）并设置密码则安装完毕

通过终端运行

1

wsl -l -v

可以确认当前的发行版所使用的wsl的版本是2还是1

如果上一个步骤中配置后忘记了初始用户的密码可以通过命令行处理一下 参考：https://winaero.com/reset-password-wsl-linux-distro-windows-10/

先设置默认登陆用户到root，此处以ubuntu18.04发行版为例子右键选择以管理员身份运行windows terminal，打开默认的Windows PowerShell 粘贴配置指令：

1

ubuntu1804 config --default-user root

以root身份打开ubuntu18.04的终端修改www用户密码：

1

passwd www

输入新密码后，再把默认用户切回来右键选择以管理员身份运行windows terminal，打开默认的Windows PowerShell 粘贴配置指令：

1

ubuntu1804 config --default-user www

现在用刚更新后的密码登录即可。

安装包管理工具

基础包安装工具

右键选择以管理员身份运行windows terminal，打开默认的Windows PowerShell 运行：

1
2
3
4


Install-PackageProvider -Name NuGet -Force
Install-Module -Name PowerShellGet -Force
Update-Module -Name PowerShellGet
Exit

官方基础命令行包管理工具winget（类似于apt/yum等发行版的包管理器）

网站：https://github.com/microsoft/winget-cli 下载：https://github.com/microsoft/winget-cli/releases 找最新版本的下载后执行（比如）：https://github.com/microsoft/winget-cli/releases/download/v.0.2.2521-preview/Microsoft.DesktopAppInstaller_8wekyb3d8bbwe.appxbundle

安装三方chocolatey包管理工具（全局-管理员）

网站：https://chocolatey.org 安装参考：https://chocolatey.org/install#individual

右键选择以管理员身份运行windows terminal，打开默认的Windows PowerShell 粘贴安装指令：

1

Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))

安装三方scoop包管理工具（当前用户）

网站：https://scoop.sh/

直接运行windows terminal（以非管理员身份）打开默认的Windows PowerShell 粘贴安装指令：

1

Invoke-Expression (New-Object System.Net.WebClient).DownloadString('https://get.scoop.sh')

或者

1

iwr -useb get.scoop.sh | iex

如果运行出现权限异常则执行：

1

Set-ExecutionPolicy RemoteSigned -scope CurrentUser

后重新运行上面的安装指令

升级安装最新的PowerShell

网站：https://github.com/PowerShell/PowerShell

直接运行windows terminal（以非管理员身份）打开默认的Windows PowerShell

用winget下载安装：

1

winget install -i powershell

其中的-i参数可以在部分有安装选项的软件中提供安装过程中的交互，如果都按照默认值安装则可以直接不带-i参数执行默认的静默模式安装

通过winget安装相关基础软件

wox 启动器(类似于macos下的Alfred)

1

winget install -i wox

notepad++文本编辑器

1

winget install -i notepad++

vscode代码编辑器

1

winget install -i vscode

Microsoft Edge 浏览器

1

winget install -i "Microsoft Edge"

git源码管理工具

1

winget install -i git

配置windows terminal

支持sudo(管理员身份运行)

使用psutils脚本参考：https://github.com/lukesampson/psutils 直接运行windows terminal（以非管理员身份）打开默认的Windows PowerShell

1

scoop install psutils

使用gsudo工具网站：https://github.com/gerardog/gsudo

右键选择以管理员身份运行windows terminal，打开默认的Windows PowerShell 运行：

1

PowerShell -Command "Set-ExecutionPolicy RemoteSigned -scope Process; iwr -useb https://raw.githubusercontent.com/gerardog/gsudo/master/installgsudo.ps1 | iex"

或者用前面的chocolatey包管理工具来安装：

1
2


choco install gsudo
refreshenv

配置支持管理员身份运行的windows terminal选项

参考：https://blog.csdn.net/weixin_39858881/article/details/107026065

在windows terminal的右上方的下拉菜单中选择设置然后编辑settings.json文件

其中powershell的图标"C:\\opt\\data\\assets\\img\\Giuj3FT.png"下载自：https://i.imgur.com/Giuj3FT.png

cmd命令行图标"C:\\opt\\data\\assets\\img\\CMD_32px.png" 下载自： https://raw.githubusercontent.com/mahoshojoHCG/GithubPageAccessories/master/Terminal/CMD_32px.png

参考：https://github.com/mahoshojoHCG/GithubPageAccessories/tree/master/Terminal

基本的配置例子：

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128


// This file was initially generated by Windows Terminal 1.3.2651.0
// It should still be usable in newer versions, but newer versions might have additional
// settings, help text, or changes that you will not see unless you clear this file
// and let us generate a new one for you.
// To view the default settings, hold "alt" while clicking on the "Settings" button.
// For documentation on these settings, see: https://aka.ms/terminal-documentation
{
"$schema": "https://aka.ms/terminal-profiles-schema",
"defaultProfile": "{574e775e-4f2a-5b96-ac1e-a2962a402336}",
// You can add more global application settings here.
// To learn more about global settings, visit https://aka.ms/terminal-global-settings
// If enabled, selections are automatically copied to your clipboard.
"copyOnSelect": false,
// If enabled, formatted data is also copied to your clipboard
"copyFormatting": false,
// A profile specifies a command to execute paired with information about how it should look and feel.
// Each one of them will appear in the 'New Tab' dropdown,
// and can be invoked from the commandline with `wt.exe -p xxx`
// To learn more about profiles, visit https://aka.ms/terminal-profile-settings
"profiles": {
"defaults": {
// Put settings here that you want to apply to all profiles.
},
"list": [
{
"guid": "{574e775e-4f2a-5b96-ac1e-a2962a402336}",
"hidden": false,
"name": "PowerShell",
"colorScheme": "Solarized Dark",
"fontFace": "Sarasa Mono Slab SC",
"source": "Windows.Terminal.PowershellCore"
},
{
"guid": "{41dd7a51-f0e1-4420-a2ec-1a7130b7e950}",
"name": "Windows PowerShell Elevated",
"commandline": "gsudo.exe powershell.exe",
"hidden": false,
"colorScheme": "Solarized Dark",
"fontFace": "Sarasa Mono Slab SC",
"icon": "C:\\opt\\data\\assets\\img\\Giuj3FT.png"
},
{
"guid": "{c6eaf9f4-32a7-5fdc-b5cf-066e8a4b1e40}",
"hidden": false,
"name": "Ubuntu-18.04",
"source": "Windows.Terminal.Wsl"
},
{
// Make changes here to the cmd.exe profile.
"guid": "{0caa0dad-35be-5f56-a8ff-afceeeaa6101}",
"name": "命令提示符",
"commandline": "cmd.exe",
"hidden": false
},
{
// Make changes here to the cmd.exe profile.
"guid": "{0caa0dad-35be-5f56-a8ff-afceeeaa6102}",
"name": "命令提示符(管理员)",
"commandline": "gsudo.exe cmd.exe",
"hidden": false,
"icon": "C:\\opt\\data\\assets\\img\\CMD_32px.png"
},
{
// Make changes here to the powershell.exe profile.
"guid": "{61c54bbd-c2c6-5271-96e7-009a87ff44bf}",
"name": "Windows PowerShell",
"commandline": "powershell.exe",
"hidden": false
},
{
"guid": "{b453ae62-4e3d-5e58-b989-0a998ec441b8}",
"hidden": false,
"name": "Azure Cloud Shell",
"source": "Windows.Terminal.Azure"
},
{
"guid": "{574e775e-4f2a-5b96-ac1e-a2962a402336}",
"hidden": false,
"name": "PowerShell",
"source": "Windows.Terminal.PowershellCore"
},
{
"guid": "{c6eaf9f4-32a7-5fdc-b5cf-066e8a4b1e40}",
"hidden": false,
"name": "Ubuntu-18.04",
"source": "Windows.Terminal.Wsl"
}
]
},
// Add custom color schemes to this array.
// To learn more about color schemes, visit https://aka.ms/terminal-color-schemes
"schemes": [],
// Add custom actions and keybindings to this array.
// To unbind a key combination from your defaults.json, set the command to "unbound".
// To learn more about actions and keybindings, visit https://aka.ms/terminal-keybindings
"actions": [
// Copy and paste are bound to Ctrl+Shift+C and Ctrl+Shift+V in your defaults.json.
// These two lines additionally bind them to Ctrl+C and Ctrl+V.
// To learn more about selection, visit https://aka.ms/terminal-selection
{ "command": { "action": "copy", "singleLine": false }, "keys": "ctrl+c" },
{ "command": "paste", "keys": "ctrl+v" },
// Press Ctrl+Shift+F to open the search box
{ "command": "find", "keys": "ctrl+shift+f" },
// Press Alt+Shift+D to open a new pane.
// - "split": "auto" makes this pane open in the direction that provides the most surface area.
// - "splitMode": "duplicate" makes the new pane use the focused pane's profile.
// To learn more about panes, visit https://aka.ms/terminal-panes
{
"command": {
"action": "splitPane",
"split": "auto",
"splitMode": "duplicate"
},
"keys": "alt+shift+d"
}
]
}

配置完成后默认第二项“Windows PowerShell Elevated”即为管理员权限的PowerShell终端不需要右键再选择windows terminal图标手工执行了。

美化windows terminal/powershell

参考：https://github.com/JanDeDobbeleer/oh-my-posh#installation

参考：https://hcg.today/2019/08/02/windows-terminal/

参考：https://sspai.com/post/52868

参考：https://www.cnblogs.com/kasnti/p/12547985.html

参考：https://coolcode.org/2018/03/16/how-to-make-your-powershell-beautiful/

安装字体

参考：https://github.com/microsoft/cascadia-code/releases

参考：https://github.com/be5invis/Sarasa-Gothic

国内镜像：https://mirrors.tuna.tsinghua.edu.cn/github-release/be5invis/Sarasa-Gothic/

下载解压安装更纱黑体之后，我们重新启动一个 PowerShell 终端，就可以在菜单栏右键，选择「属性-字体」，并在字体中选择更纱黑体。适合终端使用的等宽字体是「等距更纱黑体 T SC」或「Sarasa Mono T SC」。

安装colortool

1
2
3


scoop install colortool
#colortool -s
#colortool -d OneHalfDark

安装：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


mkdir ~\dir_colors
Set-PSRepository -Name PSGallery -InstallationPolicy Trusted
Set-ExecutionPolicy -Scope CurrentUser Bypass
Install-Module windows-screenfetch -Scope CurrentUser -AllowClobber
Install-Module PSColor -Scope CurrentUser
Install-Module DirColors -Scope CurrentUser
Install-Module posh-git -Scope CurrentUser
Install-Module oh-my-posh -Scope CurrentUser
Set-Prompt
Set-Theme Agnoster
Install-Module -Name PSReadLine -AllowPrerelease -Scope CurrentUser -Force -SkipPublisherCheck

编辑当前用户的powershell默认启动配置：

1
2


if (!(Test-Path -Path $PROFILE )) { New-Item -Type File -Path $PROFILE -Force }
notepad $PROFILE

在弹出的notepad记事本中粘贴内容：

1
2
3
4
5
6
7
8
9


#Import-Module DirColors
#Update-DirColors ~/dircolors
Set-Alias edit notepad
Import-Module posh-git
#if (!(Get-SshAgent)) {
# Start-SshAgent
#}
Import-Module oh-my-posh
Set-Theme Paradox

配置powershell支持命令行代理

参考： https://zcdll.github.io/2018/01/27/proxy-on-windows-terminal/

编辑当前用户的powershell默认启动配置：

1
2


if (!(Test-Path -Path $PROFILE )) { New-Item -Type File -Path $PROFILE -Force }
notepad $PROFILE

在弹出的notepad记事本中追加粘贴内容：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


# NOTE: registry keys for IE 8, may vary for other versions
$regPath = 'HKCU:\Software\Microsoft\Windows\CurrentVersion\Internet Settings'
function Clear-Proxy
{
Set-ItemProperty -Path $regPath -Name ProxyEnable -Value 0
Set-ItemProperty -Path $regPath -Name ProxyServer -Value ''
Set-ItemProperty -Path $regPath -Name ProxyOverride -Value ''
[Environment]::SetEnvironmentVariable('http_proxy', $null, 'User')
[Environment]::SetEnvironmentVariable('https_proxy', $null, 'User')
}
function Set-Proxy
{
$proxy = 'http://example.com'
Set-ItemProperty -Path $regPath -Name ProxyEnable -Value 1
Set-ItemProperty -Path $regPath -Name ProxyServer -Value $proxy
Set-ItemProperty -Path $regPath -Name ProxyOverride -Value '<local>'
[Environment]::SetEnvironmentVariable('http_proxy', $proxy, 'User')
[Environment]::SetEnvironmentVariable('https_proxy', $proxy, 'User')
}

其中http://example.com替换为你本地http代理的地址比如：http://127.0.0.1:1080

验证：

1

Invoke-WebRequest -URI https://httpbin.org/ip

配置WSL磁盘挂载问题

参考：https://p3terx.com/archives/problems-and-solutions-encountered-in-wsl-use-2.html

windows terminal打开Ubuntu-18.04标签页

1

sudo nano /etc/wsl.conf

粘贴内容：

1
2
3
4
5
6


enabled = true
root = /mnt/
options = "metadata,umask=22,fmask=111"
mountFsTab = true
C:\ /mnt/c drvfs rw,noatime,uid=1000,gid=1000,metadata,umask=22,fmask=11 0 0

windows本地环境与wsl环境问题

参考： https://zhuanlan.zhihu.com/p/237941890

WSL访问windows环境：通过上面的drvfs的方式，挂载win下的磁盘分区到/mnt路径下，不过wsl2的访问win的性能比较差

windows环境访问WSL：

整体磁盘分区挂载方式：目前而言需要Windows 10 Insider Preview Build 20211版本才能通过wsl –mount 挂载物理磁盘而且还有概率会碰到ubuntu系统下的rpc服务的问题 https://github.com/microsoft/WSL/issues/5915

走网络磁盘映射方式：系统默认会提供\wsl$的入口，比如我们上面安装的Ubuntu 18.04 那么整个发行版的访问路径就是

1

\\wsl$\Ubuntu-18.04

然后用资源管理器打开\\wsl$后可以右键Ubuntu-18.04文件夹将其映射为网络驱动器，比如U:盘。

普通的映射有个问题是并非Administrator权限参考：https://cnzhx.net/blog/install-app-into-mapped-network-drive-in-windows-10/

新建这个wsl_startup.bat批处理文件：

1
2
3


@echo off
rem net use u: /delete
net use u: \\wsl$\Ubuntu-18.04 /persistent:yes

将上面的批处理添加到“任务计划程序” win开始，输入“任务计划程序”打开任务计划程序（本地）>任务计划程序库>右键“创建基本任务”：名称：wsl_startup 触发器：计算机启动时操作：启动程序程序或脚本，选择上面创建的wsl_startup.bat文件完成在右侧的列表中找到wsl_startup项，右键>属性安全选项中选中：不管用户是否登录都要运行勾选中使用最高权限运行确定设置完成

打开注册表编辑器找到路径：

1

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System

新建修改DWORD类型键值：

1

EnableLinkedConnections

值为1

如果win10是家庭版非专业版，默认是没有组策略编辑器的，需要通过手工打开

编辑一个批处理比如enable_gpedit.bat：

1
2
3
4
5
6


@echo off
pushd "%~dp0"
dir /b C:\Windows\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientExtensions-Package~3*.mum >List.txt
dir /b C:\Windows\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientTools-Package~3*.mum >>List.txt
for /f %%i in ('findstr /i . List.txt 2^>nul') do dism /online /norestart /add-package:"C:\Windows\servicing\Packages\%%i"
pause

然后在资源管理器中右键以管理员身份运行完成后就可以使用组策略编辑器了接着我们需要允许当前用户使用mklink创建软链接参考：https://blog.csdn.net/SharkMarine/article/details/88538995

win+r运行

1

secpol.msc

本地策略>用户权限分配>右侧列表中找到“创建符号链接”打开后点击“添加用户或组”，输入当前用户比如user，然后点右侧的检查名称，成功后点确定

然后重启电脑

重启后系统会自动挂载wsl的ubuntu18.04发行版实例的磁盘到U:盘分区同时当前用户也可以通过mklink创建软链接了。

需要注意的地方：windows的软链接和linux系统的软链接是互相不认识的，所以win下创建的软链接只能windows系统自己用,linux下的亦然。

代码开发与运行环境

基于目前drvfs访问性能的问题以及在可见的未来ms应该大概率会支持直接访问ext4的磁盘分区，所以目前来说个人觉得更好的方案就是在win10下默认自动挂载wsl的分区到盘符后创建目录软链接，本地IDE直接读取U:盘符或者软链后的目录中的各个项目，运行环境可以在win下安装或者直接使用wsl中的环境运行代码项目。

多节点持续部署白瞟篇

Mon, 07 Sep 2020 09:43:13 +0800

对于中小型项目部署而言，还是尽可能的节省资源，（抠门~~~）再去自搭个gitlab-ci,或者jenkins去做持续部署就有点大炮打蚊子了。于是Github Actions 了解一下，整了一下白瞟方案。基础的知识学习可以去看阮博士的 GitHub Actions 入门教程，在此不赘述。

资源

网上瞟了一圈，目前比较实用的一些actions有如下：

Hub Mirror Action

github,gitee上都支持私库了代码双份同步他难道不香吗？

Git Mirror Action

如果你的代码是托管在自搭或其他服务商的平台上的用这个纯ssh协议的镜像actions就对了。

GitHub Actions for Hugo

现在已经追求简约风了，hugo的基本功能做博客绰绰有余，用这个再结合peaceiris/actions-gh-pages基本上github.io的镜像自动发布也一步到位了。

GitHub Actions for GitHub Pages

自动化发布静态内容到GitHub Pages上形成xxx.github.io的独立站点（有钱买米CNAME一下更可个性化）

GitHub Action SSH

基本上在项目的secrets里配好私钥，再结合这个ssh的action可以对你自己的服务器为所欲为

设计

代码仓库同步使用 Hub Mirror Action 做github,gitee同步，白瞟目标1达成。
github的gh-pages服务直接使用 GitHub Actions for Hugo + GitHub Actions for GitHub Pages 构建即可，白瞟目标2达成。
自有vps配好部署公钥后，代码仓库使用GitHub Action SSH 做vps本地script/shell指令的执行，白瞟目标3达成。

其他

对于国内的服务器而言，用github是会时常撞墙的，所以国内的服务器使用gitee的仓库，但依赖github-acions的回国链路来做部署，不知道何时也会撞墙，看了一下，貌似gitee这边是支持百度效率云的DevOps的服务的，所以也可以拿来白瞟，配置过程略复杂，在此不赘述了，有兴趣的可以来捣鼓一下。用了一下基本上是和阿里云的Pipeline一个套路，装个java的agent到你的vps节点上，然后后台配置脚本内容和路径，基本和jenkins差不多，国内免撞墙自动部署，白瞟目标达成+1。

配置iptables的NAT转发

Fri, 04 Sep 2020 19:34:32 +0800

打开系统ip_forward的配置：

临时：

1

echo 1 >/proc/sys/net/ipv4/ip_forward

保持重启有效：

1

sudo vim /etc/sysctl.conf

追加/修改：

1

net.ipv4.ip_forward=1

NAT转发流量：

1
2


-A PREROUTING -p tcp -m tcp --dport 8443 -j DNAT --to-destination 192.168.0.3:81443
-A POSTROUTING -d 192.168.0.3/32 -p tcp -m tcp --dport 81443 -j SNAT --to-source 192.168.0.2

解释：前置路由：把对本地网络（比如内网地址为192.168.0.2）8443端口的请求转发给 192.168.0.3的ip地址的81443端口后置路由：把来自192.168.0.3的ip的81443的请求转发到源ip为192.168.0.2的地址去

查看结果：

1

sudo iptables -t nat -nvL

链接及证书的命令行检查(curl+openssl)

Wed, 02 Sep 2020 11:08:32 +0800

日常开发运维中经常需要用到的一些检查链接连通性，包括但不限于挂代理/指定服务实例IP的情况，另外随着LE的使用，证书的单个周期的有效性检测验证也需要做一下记录。

http/https连通性检查

常规连接检查

1

curl --connect-timeout 15 --max-time 20 -ivs http://www.bing.com

指定域名和ip检测

http协议的：

1

curl --connect-timeout 15 --max-time 20 -ivs --resolve "www.bing.com:80:202.89.233.101" http://www.bing.com

https协议的：

1

curl --connect-timeout 15 --max-time 20 -ivs --resolve "www.bing.com:443:202.89.233.101" https://www.bing.com

（备选）使用手工指定ip+Host头的模式：

1

curl --connect-timeout 15 --max-time 20 -ivs -H "Host:www.bing.com:80" http://202.89.233.101

验证挂代理后的公网地址

1

curl --connect-timeout 15 --max-time 20 -ivs -x http://127.0.0.1:8118 https://httpbin.org/ip

其中参数：

1

-x http://127.0.0.1:8118

代表使用本地127.0.0.1的IP的8118端口的http协议的代理服务

证书有效期检查

本地证书检查

1

openssl x509 -in mycert.pem -noout -enddate

输出类似于：

1

notAfter=Oct 28 23:42:57 2020 GMT

证书明细信息打印：

1

openssl x509 -in mycert.pem -noout -text

在线服务的证书检查

1
2
3


echo | openssl s_client -servername bing.com -connect "bing.com":443 2>/dev/null | openssl x509 -noout -enddate
# or 
echo | openssl s_client -connect bing.com:443 | openssl x509 -noout -dates

H5下的图片上传下载与dataURI转换

Wed, 26 Aug 2020 19:46:19 +0800

最近加强了一点点对前端的学习，从各个地方查找和学习到了前端图片基础处理的一些知识记录一下。

先看需要解决的问题：

粘贴与拖拽上传：这部分我阅读了一下iview的上传的组件的源码，基本上就是监听元素的触发事件的关联对象：拖拽

1
2
3


const onDrop = function (e) {
this.uploadFiles(e.dataTransfer.files);
};

粘贴：

1
2
3


const handlePaste = function (e) {
this.uploadFiles(e.clipboardData.files);
};

本质上是通过事件e触发后读取关联的对象（拖拽行为的dataTransfer和粘贴行为的clipboardData）下属的files数组（内容为File对象的数组列表）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


const uploadFiles = function (files) {
let postFiles = Array.prototype.slice.call(files);
if (!this.multiple) postFiles = postFiles.slice(0, 1);
if (postFiles.length === 0) return;
postFiles.forEach(file => {
this.upload(file);
});
};

uploadFiles遍历files数组后逐个调用上传接口

上传图片的预览

现在的chrome的安全机制已经不能允许直接使用input file的源路径直接展示内容了。不过我们还是可以通过File Reader的方式将需要读取的图片文件转为dataURI的形式并赋值给img的src直接呈现出来。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


// 创建一个 FileReader 对象
let reader = new FileReader();
// readAsDataURL 方法用于读取指定 Blob 或 File 的内容
// 当读操作完成，readyState 变为 DONE，loadend 被触发，此时 result 属性包含数据：URL（以 base64 编码的字符串表示文件的数据）
// 读取文件作为 URL 可访问地址
reader.readAsDataURL(file);
const _this = this;
// eslint-disable-next-line no-unused-vars
reader.onloadend = function(e) {
_this.handlePreview(reader.result);
};

其中的reader.result就是文件内容的base64编码后的dataURI地址链接直接赋值给img的src即可呈现出来

远程图片的下载

这个直接在网上找到了处理的方法，记录一下代码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


const getBase64ImageFromUrl = async function(imageUrl) {
let res = await fetch(imageUrl);
let blob = await res.blob();
return new Promise((resolve, reject) => {
let reader = new FileReader();
reader.addEventListener(
"load",
function() {
resolve(reader.result);
},
false
);
reader.onerror = () => {
return reject(this);
};
reader.readAsDataURL(blob);
});
};

本质上还是利用FileReader转换fetch下载回来的blob内容转换为dataURI的链接

dataURI的上传

要做到dataURI的上传首先先了解一下思路：

将dataURI转化为File对象
将File对象和其他的提交字段一并添加到FormData的对象实例
将FormData通过axios或者原生等ajax方式转化为和普通上传文件表单一样的http报文的形式实现提交上传请求

基础的就是将dataURI的字符串拆解并转换回Blob对象：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


const dataURItoBlob = function(dataURI) {
// convert base64 to raw binary data held in a string

// doesn't handle URLEncoded DataURIs - see SO answer #6850276 for code that does this
 let byteString;
if (dataURI.split(",")[0].indexOf("base64") >= 0) {
byteString = atob(dataURI.split(",")[1]);
} else {
byteString = unescape(dataURI.split(",")[1]);
}
// separate out the mime component

let mimeString = dataURI
.split(",")[0]
.split(":")[1]
.split(";")[0];
// write the bytes of the string to an ArrayBuffer

let ab = new ArrayBuffer(byteString.length);
// create a view into the buffer

let ia = new Uint8Array(ab);
// set the bytes of the buffer to the correct values

for (var i = 0; i < byteString.length; i++) {
ia[i] = byteString.charCodeAt(i);
}
// write the ArrayBuffer to a blob, and you're done

let blob = new Blob([ab], { type: mimeString });
return blob;
};

深入去看一下File对象的接口会发现其实File对象就是Blob对象的装饰器，其实就是一个壳子加上了name,lastmodified等属性

所以简单改造一下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46


dataURItoFile = function(dataURI, filename, lastModified) {
// convert base64 to raw binary data held in a string

// doesn't handle URLEncoded DataURIs - see SO answer #6850276 for code that does this
 let byteString;
if (dataURI.split(",")[0].indexOf("base64") >= 0) {
byteString = atob(dataURI.split(",")[1]);
} else {
byteString = unescape(dataURI.split(",")[1]);
}
// separate out the mime component

let mimeString = dataURI
.split(",")[0]
.split(":")[1]
.split(";")[0];
if (!lastModified) {
lastModified = Date.now();
}
if (!filename) {
let ext = mimeString.split("/")[1] || "bin";
filename = `upload.${ext}`;
}
// write the bytes of the string to an ArrayBuffer

let ab = new ArrayBuffer(byteString.length);
// create a view into the buffer

let ia = new Uint8Array(ab);
// set the bytes of the buffer to the correct values

for (var i = 0; i < byteString.length; i++) {
ia[i] = byteString.charCodeAt(i);
}
// write the ArrayBuffer to a blob, and you're done

let file = new File([ab], filename, {
type: mimeString,
lastModified: lastModified
});
return file;
};

再加上点小辅助函数：

1
2
3


const checkIsDataURI = function(dataURI) {
return dataURI.split(",")[0].indexOf("base64") >= 0;
};

得到File对象以后可以和其他需要一并提交的数据组成FormData对象实例:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


let srcDataURI = 'data:image/png;base64,xxx此处省略base64编码后的内容';
let dataFile = dataURItoFile(srcDataURI);
let fileFieldName = 'upload_file';
let addonData = {
field1:'val1',
field2:'val2',
};
let postData = new FormData();
postData.append(fileFieldName, dataFile, dataFile.name);
if (addonData) {
Object.keys(addonData).forEach(function(key) {
postData.append(key, addonData[key]);
});
}

然后再整体封装成普通的表单上传文件的头+内容的方式，此处使用axios处理：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


const postUploadDataUri = function(uploadUrl, dataURI, addonData, filename, field, authToken) {
let dataFile = dataURItoFile(dataURI, filename);
let postData = new FormData();
if (!field) {
field = "upload_file";
}
postData.append(field, dataFile, dataFile.name);
if (addonData) {
Object.keys(addonData).forEach(function(key) {
postData.append(key, addonData[key]);
});
}
let requestConfig = {
headers: {
Authorization: `Bearer ${authToken}`
}
};
this.$axios
.post(uploadUrl, postData, requestConfig)
.then(function(response) {
console.log(response);
})
.catch(function(error) {
console.log(error);
});
}

注意由于post的参数对象是FormData对象类型，headers的配置中不需要也不能傻乎乎的加上：

1

{ "Content-Type": "multipart/form-data" }

虽然文件上传的确需要multipart/form-data的头，但完整的报文中form-data的头里，各个文件和附加字段之间是会有boundary的分割标记字符串来告知服务端上传的各个数据流的内容到了服务端那边如何解析报文的类似于这样：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


POST http://www.example.com HTTP/1.1
Content-Type:multipart/form-data; boundary=----WebKitFormBoundaryFw0bBOkuhsMWbwBV
 
------WebKitFormBoundaryFw0bBOkuhsMWbwBV
Content-Disposition: form-data; name="field1"
val1
------WebKitFormBoundaryFw0bBOkuhsMWbwBV
Content-Disposition: form-data; name="field2"
val2
------WebKitFormBoundaryFw0bBOkuhsMWbwBV
Content-Disposition: form-data; name="upload_file"; filename="example.png"
Content-Type: image/png
PNG ... content of example.png ...

boundary的分割标记随机字符串axios封装的XMLHttpRequest对象会自动和Content-Type:multipart/form-data一并帮我们生成并加上所以并不用自己手工处理这块的头信息

至此基本上可以解决大部分dataURI的上传处理问题

mysql数据库空间的influxDB增量统计

Tue, 25 Aug 2020 19:30:17 +0800

业务系统中RDS的mysql的空间捉襟见肘时就会想起来需要做一下容量的统计和趋势监控实施的方案是：

定时用python从mysql的information_schema库中的TABLES表中抽取DATA_LENGTH+INDEX_LENGTH的数据以及DATA_FREE的数据来做统计项将数据抽取到influxDB中备查

核心的查询语句：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


 # 1048576 字节 等于 1MB
# 监控门槛：
# DATA_FREE>= 6MB （可优化空间大于6MB）
# TABLE_ROWS>= 100k (10万行以上)
# DATA_LENGTH>= 20MB (数据空间占用大于20MB)
# INDEX_LENGTH>= 20MB (索引空间占用大于20MB)
# `TABLE_SCHEMA` IN ('{"','".join(self.check_dbs)}')
sql = f""" SELECT `TABLE_SCHEMA`,`TABLE_NAME`, CONCAT_WS('.',`TABLE_SCHEMA`,`TABLE_NAME`) AS DBTABLENAME,
(`DATA_FREE`/1048576) AS free_len_mb,
(`DATA_LENGTH`+ `INDEX_LENGTH`)/1048576 AS row_len_mb,
(`TABLE_ROWS`/1000) AS rows_kb ,
(`DATA_LENGTH`/1048576) AS dat_len_mb,
(`INDEX_LENGTH`/1048576) AS idx_len_mb
FROM `information_schema`.`TABLES` WHERE
`TABLE_SCHEMA` IN ('{"','".join(self.check_dbs)}')
AND (`DATA_FREE`>=6291456 OR TABLE_ROWS >= 100000 OR DATA_LENGTH>=20971520 OR INDEX_LENGTH>=15728640 )
ORDER BY free_len_mb DESC,row_len_mb DESC,dat_len_mb DESC,idx_len_mb DESC, `TABLE_SCHEMA` ASC,`TABLE_NAME` ASC
"""

然后单行的influxdb的表结构：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


 tsdb_item_record = {
'measurement': 'dbtable_stats',
'tags': {
'db': db,
'table':table,
'dbtable':dbtable,
},
'time': f'{utcnow.strftime("%Y-%m-%dT%H:%M:%S")}Z',
'fields': {
'free_len_mb':free_len_mb,
'row_len_mb':row_len_mb,
'rows':rows_kb,
'dat_len_mb':dat_len_mb,
'idx_len_mb':idx_len_mb
}
}

这样在influxdb中我们就有了每个埋点间隔下统计的数据信息，接下来在grafana中可以用InfluxDB的查询函数统计出对应的信息并展示图表

按时间查询各个表的空间占用（数据+索引）的增长量：

1

SELECT cumulative_sum(difference(mean("row_len_mb"))) FROM "dbspace_watches_rp"."dbtable_stats" WHERE $timeFilter GROUP BY time(5m), "dbtable" fill(null)

再加上一下查询起始时的值就是当下的总数据量的表数据空间排名：

1

SELECT first("row_len_mb") + cumulative_sum(difference(mean("row_len_mb"))) FROM "dbspace_watches_rp"."dbtable_stats" WHERE $timeFilter GROUP BY time(5m), "dbtable" fill(null)

同理也可以得到库表的DATA_FREE也就是可优化空间的增长量和排名在此不再赘述另外提一句，mysql在做optmize释放空间的时候会锁表，所以还是在业务空闲期做这些释放空间的活比较好

另外可以顺便求一下倒数得到查询时间区间内的各表的增长率，方便发现特别高增长的表做对应的优化

1

SELECT derivative(cumulative_sum(difference(mean("row_len_mb"))), 10m) FROM "dbspace_watches_rp"."dbtable_stats" WHERE $timeFilter GROUP BY time(1h), "dbtable" fill(null)

OpenCv开发中所遇到的问题备忘

Wed, 12 Aug 2020 19:10:42 +0800

1.qt库冲突的问题：

1
2
3


You might be loading two sets of Qt binaries into the same process. Check that all plugins are compiled against the right Qt binaries. Export DYLD_PRINT_LIBRARIES=1 and check that only one set of binaries are being loaded.
QObject::moveToThread: Current thread (0x7ff56d74feb0) is not the object's thread (0x7ff570dfec60).
Cannot move to target thread (0x7ff56d74feb0)

运行conda环境下opencv时遇到的，查了一下大概是需要卸载了opencv-python后再安装一下opencv-python-headless的版本

1
2


pip uninstall opencv-python
pip install opencv-python-headless

安装时长不够就用：

1

pip install --default-timeout=50000 opencv-python-headless

参考： https://www.pythonheidong.com/blog/article/410902/

FastApi开发中所遇到的问题备忘

Wed, 12 Aug 2020 19:02:42 +0800

1. 需要fastapi的服务端提供静态文件：

1

app.mount("/static", StaticFiles(directory=os.path.join(myapp.env().get_data_path(), 'static')), name="static")

其中第一个static是网站访问路径，第二个static是磁盘路径，第三个static是FastApi代码内部引用名称

2. 文件上传处理：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


async def file_upload(
upfile: UploadFile = File(...)
):
dest_file_path = 'uploaded/userfile.ext'
destination = Path(dest_file_path)
try:
with destination.open("wb") as buffer:
shutil.copyfileobj(upfile.file, buffer)
finally:
upload_file.file.close()

3. cors问题

服务端配置cros:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


origins = [
# "*"
"https://localhost"
, "http://localhost"
, "http://localhost:8000"
, "https://www.kumaxiong.com"
]
app.add_middleware(
CORSMiddleware,
allow_origins=origins,
allow_credentials=True,
allow_methods=["*"],
# allow_methods=["DELETE", "GET", "POST", "PUT"],
allow_headers=["*"],
)

客户端处理的时候不要with-credentials带上cookie等信息：

参考：https://blog.csdn.net/liyuling52011/article/details/80013725

阿熊的Caddy+Hugo+Acme.sh配置填坑笔记

Fri, 05 Jan 2018 12:04:38 +0800

前言

最近想比较一下caddy和nginx的服务及功能，

设定的目标是用hugo搭建一个静态站点然后通过Caddy服务起来提供

https://axiong.me 的访问。

于是就走上了一条不断踩坑的不归路，在此记录一下踩坑、填坑的过程。

第〇个踩到的坑：github的CNAME站点不支持https

理论上站点也可以放在github的gh-pages上，所以我就尝试了

Hugo托管到Github的流程说明

Tips

我用的是gh-pages的分支方案项目master分支根节点可以加gitignore忽略掉hugo的发布路径public，方便测试注意安装主题的话最好用submodule的方式而不是文档中的git clone,比如：

1

git submodule add https://github.com/christianmendoza/hugo-smpl-theme themes/hugo-smpl-theme

这样后续部署的时候才不会遇到尴尬的项目没法自动部署的问题。

问题

github的CNAME站点不支持https

不过@根域名CNAME记录和MX记录TXT记录冲突，蛋疼（免费邮局服务不想放），而且MD不支持https，所以，方案被我毙掉了。

解决方案

自己有vps就可以任性一下了，也顺便捣腾一下Caddy的https服务

第一个踩到的坑：Caddy自动申请证书不成功

就是Caddy自动申请 Let’s Encrypt 的请求总是总是timeout，不知道是不是因为解析服务用cloudxns的问题，而caddy目前还没有cloudxns的组件。

解决方案

用 Acme.sh 这个自动脚本做配置做证书的issue和renew，注意要采用dns的api模式,毕竟到这一步Caddy的服务还被申请证书卡着。

参考：Acme.sh说明

1. 证书申请

1

acme.sh --issue --dns -d axiong.me

2. 到解析服务商后台添加对应的Txt记录

我的是cloudxns基本上就是加一条的Txt类型记录，_acme-challenge为主host部分记录，内容部分是acme终端中给出的。

3. 重新生成证书

1

acme.sh --renew -d axiong.me

4. 到你的解析服务商后台申请API的key和secret

参考链接

Acme.sh的DNSApi的配置说明

5. 导出/安装证书到本地供后续Caddy使用

1

acme.sh --installcert -d axiong.me --key-file /etc/ssl/caddy/certs/axiong.me/ssl.key --fullchain-file /etc/ssl/caddy/certs/axiong.me/fullchain.cer --reloadcmd "systemctl restart caddy"

按照acme.sh的说明，它的crontab脚本会自动续期证书。

免费ssl证书问题至此算是告一段落。

第二个踩到的坑：Caddy+Hugo组合配置问题

网上有Caddy+Hugo的教程:

都有一些小坑，比如：

caddy的插件有依赖必须通过他官方的服务整合编译，上面的配置中依赖http.hugo,http.minify,http.git等
caddy的官方下载如果插件加多了很可能给你返回500，安装失败
caddy的hugo插件，hugo指令必须是环境变量里支持的，我适用golang开发环境的hugo如果作为系统服务就会找不到
caddy的配置问题，errors节点里不能配置log指令

解决方案

查文档，看官方说明，例子。

1. caddy+插件下载问题，至少需要http.git,http.minify,http.hugo

精简插件数量只装必要的

Caddy官方的下载页面可以定制，定制完毕页面最下方有命令行指令参考

https://caddyserver.com/download

一键安装指令：

1

curl https://getcaddy.com | bash -s personal dns,hook.service,http.git,http.hugo,http.minify,tls.dns.rfc2136

或者用下载链接下载后解压缩后把caddy放到/usr/local/bin/caddy

1

wget -O "caddy.tar.gz" "https://caddyserver.com/download/linux/amd64?plugins=dns,hook.service,http.git,http.hugo,http.minify,tls.dns.rfc2136&license=personal"

2. hugo指令必须是环境变量里支持的,去官方直接下载发行版的安装包

注意apt-get或者snap安装的版本会比较老，建议直接去 https://github.com/gohugoio/hugo/releases 下载比如ubuntu用的.deb的包下载后安装

1

sudo dpkg -i hugo_xxx_Linux-64bit.deb

第三个踩到的坑：Caddy的ulimit问题

其实不算是Caddy的锅，系统的limits配置我的vps没调整，Caddy会报

1

caddy: WARNING: File descriptor limit 1024 is too low for production servers. At least 8192 is recommended. Fix with "ulimit -n 8192".

解决方案

临时解决方案就是执行提示里的

1

ulimit -n 8192

再跑caddy，彻底的解决方案是修改系统的limits配置：

1

sudo vim /etc/security/limits.conf

追加对文件句柄的配置设定

1
2
3
4


* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

第四个踩到的坑：Caddy的默认端口是2015

Caddy的配置有个坑，如果tls不是他它自动签发的模式，的情况下 http的端口用的是2015。

参见

解决方案

手工配置自动跳转

1
2
3
4
5
6
7


http://axiong.me {
redir https://axiong.me
}
https://axiong.me {
tls ssl.cer ssl.key
...
}

第五个踩到的坑：Caddy自启动的Systemd配置问题

配置Caddy的Systemd自启动遇到

1

caddy.service: Failed at step NAMESPACE spawning /usr/local/bin/caddy: No such file or directory

启动不了

参考 https://caddy.community/t/starting-with-systemd-failed-at-step-namespace-spawning-usr-local-bin-caddy-no-such-file-or-directory/423

改吧改吧，然后转角遇到爱，尼玛，又出现

1
2


ExecStart=/usr/local/bin/caddy -log stdout -agree=true -conf=/etc/caddy/Caddyfile -root=/var/tmp (code=exited, status=226/NAMESPACE)
Main PID: xxx (code=exited, status=226/NAMESPACE)

解决方案

死活找不到原因，怒了，重新按社区贡献的配置文档重新整了一遍，

参考 https://github.com/mholt/caddy/tree/master/dist/init/linux-systemd 文档，并下载caddy.service作为模板

重新一步步把用户权限配置了一遍，搞定，不在出现226/NAMESPACE问题。

优化完善Caddy配置

查Caddy的官方文档，完整的解决配置文件Caddyfile内容问题

修改后的完整示例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


http://axiong.me {
redir https://axiong.me
}
https://axiong.me {
#tls off
#tls admin@example.com
tls /etc/ssl/caddy/certs/axiong.me/fullchain.cer /etc/ssl/caddy/certs/axiong.me/ssl.key
minify
gzip
log / /var/log/caddy/pub-axiong.me_access.log "{combined}" {
rotate_size 100 # Rotate a log when it reaches 100 MB
rotate_age 14 # Keep rotated log files for 14 days
rotate_keep 10 # Keep at most 10 rotated log files
rotate_compress # Compress rotated log files in gzip format
}
errors /var/log/caddy/pub-axiong.me_error.log {
404 404.html # Not Found
rotate_size 100 # Rotate a log when it reaches 100 MB
rotate_age 14 # Keep rotated log files for 14 days
rotate_keep 10 # Keep at most 10 rotated log files
rotate_compress # Compress rotated log files in gzip format
}
root /var/www/axiong.me/public
git {
repo https://github.com/nickfan/axiong.me
path /var/www/axiong.me
then hugo --destination=/var/www/axiong.me/public
hook /webhook [你在github后台设置的webhook的口令]
hook_type github
clone_args --recursive
pull_args --recurse-submodules
interval 3600
}
hugo
}

其中webhook就是你代码托管服务比如github上代码repo后台设定中添加一下webhook这样代码提交以后就会自动构建你的新静态网站比如我的托管在github上webhook.settings设定在 https://github.com/nickfan/axiong.me/settings/hooks

添加webhook,PayloadURL填写你域名/webhook，比如我的：

1

https://axiong.me/webhook

content-type选json secret填写和Caddyfile中的口令保持一致其他保持默认即可。

至此Caddy才算是初步可以看了。

有访问日志、有错误日志，日志都有rotate不会撑满磁盘。
有minify+gzip做输出优化
免费自定义ssl证书，有钱你换DV,OV级别的我也没意见
自动http->https跳转
改完站点提交代码后webhook自动发布上线

TODO

webhook的配置可以从Caddyfile配置中用环境变量替换出来，放到Systemd的附加配置里，比如加个override.conf之类的，更完善。

android终端环境配置

Sun, 20 Aug 2017 10:27:49 +0800

效果图

惯例，先看最终执行效果图

android客户端软件清单

Termux

无需root的终端app，基于busybox

(可选) Hacker’s Keyboard

更舒服的编码键盘

(可选) Quick Keyboard Switch

快速切换键盘（通知栏输入法切换）

(可选) Remote Keyboard

非常简单的远程键盘输入，你所需要的只是一个telnet终端工具（windows的telnet命令或者SecureCRT,XShell之类的都可以）打开Remote Keyboard后会告诉你本机的服务地址和端口同时你选中的输入法是Remote Keyboard 在你的终端工具/指令中连接上此ip端口即可

1

telnet 192.168.1.247 2323

然后就尽情的输入吧，不过话说，有台式机还要在手机玩，应该是缺乏安全感吧。

(备用) Terminal IDE

这货也是基于busybox的，不过属于一次性集成n多包的那种，目前没看到追加包的办法只有rpm指令，如果内置的功能够用，这个备选也不错。

(推荐) JuiceSSH - SSH Client

如果你仅仅是需要远程登录到服务器临时解决一下问题的话这个ssh终端工具也许会更适合你。

准备

如果你愿意认真读Termux的帮助文档，这里的很多废话可以略过，想省时间的话看下面：

触屏键盘

触屏键盘手机的实体键位中的音量减相当于linux中的Control键(CTRL)
触屏键盘手机的实体键位中的音量加相当于linux中的Alt键(ALT)或一些特殊功能键
触屏键盘记得按音量加 + Q键开启扩展功能键视图会比较方便输入

安装包管理器

debian/ubuntu的包管理器的那一套的简装版

安装包 apt install xxx
搜索包 apt search xxx
卸载包 apt remove xxx
列出已安装包 apt list --installed

所有的apt命令也可以用pkg命令替代比如pkg install 等价于apt install

我本地配置基本环境所用到的包清单：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


aria2
coreutils
curl
git
golang
gzip
less
lftp
nano
openssh
screenfetch
vim
wget
zsh
termux-tools

挂载点配置

运行指令：

1

termux-setup-storage

具体的挂载点可以参考 https://termux.com/storage.html 在这里就不展开说了

交互终端配置

你可以安装zsh来提供更便捷的使用体验

1

apt install zsh

切换zsh为默认shell:

1

chsh -s zsh

注意你的配置里locale的设置应该会无效，至少我目前是把服务端的.profile修改后再使用的

默认的zsh啥也木有，而网上的oh-my-zsh又没办法直接安装在termux里有人已经做好了移植版：

https://github.com/Cabbagec/termux-ohmyzsh

安装指令：

1
2
3

sh -c "$(curl -fsSL https://github.com/Cabbagec/termux-ohmyzsh/raw/master/install.sh)"

记得先apt install 我上面包列表中的curl至少。

最后可以根据自己的个人喜好修改一下~/.zshrc配置中的主题

个人比较喜好ys主题，诸君请随意。

手机ssh服务

除了Remote Keyboard这种歪脖看手机屏幕，电脑键盘打字的方式，更传统的方式是把手机当服务器ssh连进来玩。

apt install openssh 之后即可，不过有几点注意的地方：

sshd需要手工跑一下
有1024低端口安全限制所以这里sshd的服务是开在8022端口上的
因为Termux是不需要root的系统，所以一般情况下你登录的用户名需要你自己看一下：

1

whoami

ssh登录是key公钥模式登录，你可以先手工scp远程的公钥到本地的路径再cat追加到~/.ssh/authorized_keys中然后在客户机以密钥对的私钥登录

1

ssh -p8022 xxx@192.168.1.247

其中xxx是你whoami中查到的值

如果你要从手机上ssh到其他服务器

最简单的办法，copy私钥到~/.ssh/id_rsa位置然后在zsh里开启ssh-agent插件:

1
2


plugin=(git ssh-agent)

或者你也可以试试在自己的.profile或者其他交互启动脚本中追加：

1
2
3
4
5



if [ -f ~/.ssh/id_rsa ]; then
ssh-add -K ~/.ssh/id_rsa 2>/dev/null
fi

杂谈

这货虽然是busybox组装的但是基础组件都能慢慢堆叠，

虽然环境简陋了点，但好歹真正的应急移动办公也算有点着落

另外私钥还是要保管好的说。

除此之外，有aria2可以用来当下载服务用，路径记得设在外面的挂载点里，配合android端的ui，你懂的。

golang装好了之后还能起个本地web服务玩玩，总之爱折(zhuang)腾(bi)的朋友不容错过。

github上hexo静态博客自动部署配置笔记

Tue, 25 Jul 2017 20:33:00 +0800

前言

越来越觉得时间不够用，千头万绪，容我喝口水。。

写blog的频率还赶不上wordpress的安全更新的推送频率，思考了一下还是决定把博客迁移到github上来，动机：

wordpress的强大对于我等懒人实在是太折腾了。
https+全静态，后续维护不想再折腾太多。
不怕忘了续费，哪怕百年之后也算留点痕迹。(但愿github在10年之内能继续服务下去，至少感觉比国内的服务靠谱一点，关站的几率较小)

方案

目前来说看了一眼 https://www.staticgen.com/

jekyll最火，ruby的，环境配置方面感觉有点担心 hugo其次, golang的，虽然最快，最强大，但从写博客的角度出发而言，功能不多，而且貌似教程不多。 hexo再次，node的，教程挺多，还有比较成熟的主题，就他了。

建站工具: hexo + NexT 主题模板
github公共主页静态页面网站
bitbucket后端项目源码
codeship持续集成自动发布

预备

git本地配置+ssh公钥配置
github账号
bitbucket账号
codeship账号

安装

安装hexo

1

npm install -g hexo-cli

生成并初始化博客

1

hexo init myblog

安装NexT主题 (下载最新版本的主题并mv到myblog/themes/next路径)

1
2
3
4
5


cd myblog
wget https://github.com/iissnan/hexo-theme-next/archive/v5.1.1.tar.gz
tar zxf v5.1.1.tar.gz
mv hexo-theme-next-5.1.1 themes/next
rm -rf v5.1.1.tar.gz

参考链接:

手把手教你使用Hexo + Github Pages搭建个人独立博客
史上最详细的Hexo博客搭建图文教程
NexT主题配置流程
hexo 官方中文文档
按参考链接中的说明配置好你的站点 _config.yml 配置文件和主题配置文件 themes/next/_config.yml

使用

基本页面

关于页面

1

hexo new page about

内容自己填写

tags 页面

1

hexo new page tags

内容：

1
2
3
4
5
6


---
title: tags
date: 2017-07-25 15:06:12
type: "tags"
comments: false
---

categories 页面

1

hexo new page categories

内容：

1
2
3
4
5
6
7


---
title: categories
date: 2017-07-25 16:21:02
type: "categories"
comments: false
---

新建文章

1

hexo new "hello world"

文章源文件存储在source/_posts/

不用的文章删掉文件重新发布即可。

本地测试

1

hexo s -g

访问 http://localhost:4000 预览效果。

清理

1

hexo clean

手工发布

1

hexo d -g

自动发布配置

在bitbucket上新建私有项目（部分配置key需要保密）
在codeship中导入此私有项目
在codeship中查看deploy-keys发布公钥，并在github的对应静态站点中配置此发布公钥并允许write写入权限
配置codeship基础setup初始化指令：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10



nvm install 6.11.1
npm install hexo-cli -g
npm install
# or, if you prefer to use yarn
#yarn install
git config --global user.email "yourname@example.com"
git config --global user.name "yourname"

注意记得指令中配置git的全局配置，不然部署流程可能失败

删掉test的commands的pipeline 指令，不需要
配置deploy部署指令的分支为master
配置部署指令的脚本为custom scripts:

1
2


hexo clean
hexo d -g

注意：如果你使用了algolia的三方服务组件的情况下： 你的codeship配置中环境变量要加上HEXO_ALGOLIA_INDEXING_KEY的变量并且在algolia 新建对应的索引用的apikey，设置流程参考：hexo-algolia

部署脚本的指令也要改为：

1
2
3
4


hexo clean
hexo g
hexo algolia
hexo d

写点内容到你的博客中，并提交push到bitbucket的项目中去(source/_posts/中新建xxx.md的日志文件)

等着发布完成的通知

查看你的静态博客站点看效果吧。

当前这篇文章就是在bitbucket的在线创建文件编辑器(支持markdown)中编写的。

TODO

在线图床可以用imgur或者七牛的服务，如果写文字为主也可以本地存图，

完整的想好好的像medium、简书之类的服务在线码字贴图的话，

一种方案就是写个前后端编辑器处理上传文件服务和提交/获取bitbucket项目文件。再牛一点就是纯h5方案前端集成图床的api接口+bitbucket的服务接口。

windows下基础开发环境搭建2016

Sat, 28 May 2016 09:22:12 +0800

工作需要在windows环境下搭建一个基础开发环境，在此记录一下：

一、注意事项

以下的安装配置方法仅支持win7/8/10之类的系统，xp可以洗洗睡了。
装了cmder-full(With git-for-windows)版或者babun就没有必要安装git-for-windows了，不过从兼容性角度出发，建议还是使用cmder-full的版本，至少纯windows的环境下也能直接使用git指令，也支持外部ide调用。
babun（cygwin）是调整过的cygwin环境,cmder默认是windows环境(可以安装chocolatey做包管理)两个环境面对的场景不同，choco安装的软件基本都是port到win环境下的版本，和babun的cygwin环境下的版本配置方式不一样，看各人喜好，可以分别使用，也可以只使用一个。
linux的家HOME目录用~字符来标识，windows下通常对应的就是C:\Users\Administrator目录

二、终端环境

推荐使用cmder(With git-for-windows) + babun(cygwin)预配置环境的方式，既有普通cmd终端的linux化，又支持cygwin环境安装使用你所需要的linux环境安装包

cmder-full（With git-for-windows）下载后解压缩到磁盘，（推荐c:\opt\cmder）
加入系统环境变量PATH环境变量中追加c:\opt\cmder路径。
注册右键菜单：以管理员身份启动命令行提示符(cmd)，然后进入c:\opt\cmder路径后执行：

1

 Cmder.exe /REGISTER ALL

提示符配置：修改cmder目录下的config\cmder.lua的第2行把λ替换为$,更符合日常linux下用户prompt的习惯。

1
2
3


 function lambda_prompt_filter()
clink.prompt.value = string.gsub(clink.prompt.value, "{lamb}", "$")
end

常用别名配置：修改cmder目录下的config\alias文件，在最后加入常用的alias，比如：

1
2
3


 l=ls --show-control-chars
la=ls -aF --show-control-chars
ll=ls -alF --show-control-chars

中文字间距问题，启动cmder后win+alt+p呼出设置面板去掉 monospace 选项（点两下让勾选框留空），然后save settings保存设置。
可选（安装chocolatey windows包管理器），打开cmder/cmd终端，执行以下命令：

1

 @powershell -NoProfile -ExecutionPolicy Bypass -Command "iex ((new-object net.webclient).DownloadString('https://chocolatey.org/install.ps1'))" &amp;&amp; SET PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin

安装babun的环境：下载babun官网上的安装包，解压后执行其中的install.bat批处理文件
配置整合babun环境到cmder工具中：启动cmder后win+alt+p呼出设置面板(Settings)，然后打开 Startup>Tasks面板点+号添加一个task，名称输入babun， Task parameters中输入：

1

 /icon "%userprofile%\.babun\cygwin\bin\mintty.exe" /dir "%userprofile%"

下面的Commands大输入文本框中输入：

1

%userprofile%\.babun\cygwin\bin\mintty.exe /bin/env CHERE_INVOKING=1 /bin/zsh.exe

save settings保存设置，然后你可以按up或down的按钮把{babun}的顺序调到{cmd}的前后，也可以勾选Default task for new console和Default Shell选项来把它作为默认console。注意，如果新开窗口想默认用{babun}，需要修改Startup面板中的Specified named task不选{cmd}而是新的这个{babun}

修改babun的环境配置：cmder启动后打开{babun}的终端后编辑~/.zshrc文件：

1

vim ~/.zshrc

修改ZSH_THEME=“babun"为ZSH_THEME=“ys”，后保存退出，然后关闭终端后再启动{babun}终端即可。

如果你还是习惯mingw的git-bash环境也可以在cmder工具中添加配置：启动cmder后win+alt+p呼出设置面板(Settings)，然后打开 Startup>Tasks面板点+号添加一个task，名称输入gitbash，Task parameters中留空下面的Commands大输入文本框中输入：

1

%ConEmuDir%\..\git-for-windows\git-cmd.exe --cd-to-home --command=usr/bin/bash.exe -l -i

save settings保存设置即可，后续的就可以启动{gitbash}终端使用了。

至此你已经完成了windows下终端环境的配置，启动cmder后，{cmd}的task为windows上下文命令行：使用choco作为包管理器 同时也支持一些基本的linux命令比如ls,curl之类的，软件包管理可以使用chocolatey的choco指令，

1

 choco install -y notepadplusplus

{babun}的task为cygwin上下文命令行：使用pact作为包管理器

1
2


 pact find php
pact install -y php

注意{babun}的cygwin环境上下文中的安装的包不能在windows上下文环境中使用，（比如这里安装的php指令在windows环境下则会报招不到php指令），但windows上下文环境中安装的软件可以在cygwin环境下最后被搜索到则调用，注意是调用，效率比较低，而且也无法控制执行，所以通常情况下的windows指令还是推荐在{cmd}终端中执行。

命令行生成私钥公钥对：

1

 ssh-keygen -t rsa -C "you@myteam"

默认生成的文件在~/.ssh路径下的id_rsa(私钥)和id_rsa.pub(公钥)，id_rsa.pub可以添加到代码托管环境的个人公钥列表中去

设置个人基础的git信息:

1
2


 git config --global user.name "你的名字或昵称"
git config --global user.email "你的邮箱"

其他推荐软件

以下软件都可以用 chocolatey windows下的命令行包管理器来安装，安装/卸载软件并不需要用到那些什么软件管理专家了。

wox windows下类似于mac的alfred的快速启动工具，有了它记得软件、目录名字就可以了，忘了开始菜单吧。
everything windows下的文件搜索工具，这个就不用多说了吧。

基于Laravel Envoy的部署脚本

Tue, 21 Jul 2015 16:04:06 +0800

如题，找了半天貌似都没有符合laravel的天朝网络环境的的部署脚本，于是乎结合参考了多个部署脚本和工具的理念又造了个新轮子：

https://github.com/nickfan/envoy-deployscript

使用说明见：https://github.com/nickfan/envoy-deployscript/blob/master/README.zh-CN.md

欢迎大家测试吐槽。

主要特点：

支持本地构建打包部署

1

envoy run deploy_localrepo_install --branch=master --env=production

支持工作拷贝本地构建依赖模块(vendor目录)

1

envoy run deploy_mix_pack

原理/设计规划

你的 $deploybasepath 远程部署基础路径将会看起来像如下这样(如果你有多个子应用在同一个部署基路径里).

1
2
3
4


 mysite/
mysite2/
mysite3/

你的 $deploybasepath/$appname 远程部署应用路径将会看起来如下.

1
2
3
4
5
6
7


 releases/release_20150717032737/
releases/release_20150717034646/
current -> ./releases/release_20150717034646
shared/storage/
tmp/
.env

正如你所见的, current 目录是软链到最近一次的部署目录的

在你的部署目录中文件列表看起来像下面这样(只列举了部分文件做例子):

1
2
3
4
5
6
7
8
9


 app/
artisan
boostrap/
public/index.php
composer.json
.env -> ../../.env
storage -> ../../shared/storage
vendor/

部署目录中的.env文件和storage文件夹都软链接到了上级应用目录中的公共文件/文件夹了,这样部署本身只部署源代码和vendor等依赖环境, storage等公共数据在shared文件夹中并不随代码部署,节省了空间也保留延续了日志/应用cache等相关基础数据在应用中的使用

一个简单的php守护进程代码示例

Wed, 08 Jul 2015 12:50:29 +0800

工作中同事需要做一个简单的工作进程，需要在进程结束时不能被硬生生的掐断当前正在执行的工作流程，需要等一个处理流程跑完了再结束，所以这时候就需要用到pcntl的信号量来工作了，主要的设计思路：

捕获系统发给进程的中断的信号量
在handler代码中设置标志位变量
在一个业务循环处理完成之后判断标志位变量，如果接收到过终止请求，则跳出整个工作循环。主要的处理逻辑：

注册绑定函数：

1
2
3
4
5
6
7


 protected function regist_sig_handler()
{
declare(ticks = 1);
pcntl_signal(SIGTERM, [$this, 'sig_handler']);
pcntl_signal(SIGHUP, [$this, 'sig_handler']);
pcntl_signal(SIGINT, [$this, 'sig_handler']);
}

在函数中设置标志位：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


protected function sig_handler($signo)
{
switch ($signo) {
case SIGTERM:
case SIGHUP:
case SIGINT:
self::$_MYDAEMON_SHOULD_STOP = true;
// ...
 break;
}
}

构建退出处理函数

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


 protected function shouldStop()
{
if (self::$_MYDAEMON_SHOULD_STOP) {
// before exit staff code
 // ...
 return true;
}
return false;
}

在主循环中一次处理完成后判断是否要终止退出

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


 while (true) {
if ($this->shouldStop()) {
break;
}
try {
$jobStatusInfo = $this->execute([]);
} catch (Exception $ex) {
$this->log($ex->getMessage());
}
usleep(10);
}

附上完整代码（loop是示例需要长时间处理的业务逻辑，memoryusage超限也会退出，外部可以由supervisor/daemontools等进程监控程序控制）

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135


#!/usr/bin/env php
<?php
/**
 * Description
 *
 * @project mydevkit
 * @package mydevkit
 * @author nickfan <nickfan81@gmail.com>
 * @link http://www.axiong.me
 * @version $Id$
 * @lastmodified: 2015-07-08 09:37
 *
 */
@set_time_limit(0);
class myDaemon
{
const DEBUG = true;
protected static $_MYDAEMON_SHOULD_STOP = false;
public static $memLimit = 5242880;
private $loop = 10;
protected $logpath = '';
public function __construct($option = [])
{
$option += [
'loop' => 10,
'memLimit' => 5242880,
'logpath' => '/tmp/daemon_kill.log',
];
$this->loop = $option['loop'];
$this->logpath = $option['logpath'];
self::$memLimit = $option['memLimit'];
$this->regist_sig_handler();
}
public function __destruct()
{
$this->log('worker progress ending...');
}
protected function regist_sig_handler()
{
declare(ticks = 1);
pcntl_signal(SIGTERM, [$this, 'sig_handler']);
pcntl_signal(SIGHUP, [$this, 'sig_handler']);
pcntl_signal(SIGINT, [$this, 'sig_handler']);
}
protected function sig_handler($signo)
{
switch ($signo) {
case SIGTERM:
case SIGHUP:
case SIGINT:
self::$_MYDAEMON_SHOULD_STOP = true;
$signoStr = '';
if ($signo == SIGTERM) {
$signoStr = 'SIGTERM';
} elseif ($signo == SIGHUP) {
$signoStr = 'SIGHUP';
} elseif ($signo == SIGINT) {
$signoStr = 'SIGINT';
}
$content = date('Y-m-d H:i:s') . ' ' . $signoStr . PHP_EOL;
file_put_contents($this->logpath, $content, FILE_APPEND);
break;
}
}
protected function shouldStop()
{
if (self::$_MYDAEMON_SHOULD_STOP) {
// before exit staff code
 // ...
 return true;
}
return false;
}
protected function log()
{
$args = func_get_args();
$retstr = date('[Y-m-d H:i:s] ') . implode(' ', $args) . PHP_EOL;
if (self::DEBUG == true) {
echo $retstr;
} else {
return $retstr;
}
}
public function execute($data = [])
{
$this->log('[EXECUTE] process lot of data.');
for ($i = 0; $i < $this->loop; $i++) {
$this->log('step:' . ($i + 1));
sleep(1);
}
return rand(1, $this->loop);
}
public function run()
{
$this->log('[RUN] worker starting to run ...');
while (true) {
if ($this->shouldStop()) {
break;
}
$this->log('processJobData Start ...');
try {
$jobStatusInfo = $this->execute([]);
$this->log('processJobData end with: ' . var_export($jobStatusInfo, true));
unset($jobStatusInfo);
} catch (Exception $ex) {
$this->log($ex->getMessage());
}
$memory = memory_get_usage();
$this->log('memory usage:' . sprintf('%.2fMB', round($memory / 1048576, 2)));
if ($memory > self::$memLimit) {
$this->log('exiting run due to memory limit');
exit;
}
//sleep(1);
 usleep(10);
}
$this->log('[RUN] worker run quit.');
}
}
$gotMyParam = 10;
if (isset($argv[1])) {
$gotMyParam = intval(trim(strip_tags($argv[1])));
}
$worker = new myDaemon(['loop' => $gotMyParam, 'memLimit' => 1048576 * 128,]);
$worker->run();

测试：

在class代码中的构造函数中注释掉

1

//$this->regist_sig_handler();

运行daemon代码，在执行execute的for循环时ctrl+c或者用 kill 杀死当前进程

进程直接结束，没有执行完execute的一个完整流程就直接退出了，

把注释去掉重新执行daemon代码：

在执行过程中按ctrl+c或者kill命令杀死前进程

观察daemon运行的结果是直到整个execute循环执行完了以后才退出程序的

laravel的oauth2-server相关开发的备忘

Wed, 01 Jul 2015 10:53:52 +0800

开发当中踩了不少坑，做个备忘。

代码环境：

laravel 5.1

oauth2-server服务组件：

lucadegasperi/oauth2-server-laravel 也就是 thephpleague/oauth2-server 的laravel 包装版本

目前插件的版本是~4.1

需要注意的点是：

一般而言最常见的应用场景是grant_type为authorization_code的情景，

thephpleague的oauth2-server要求的数据提交必须是POST数据编码方式是application/x-www-form-urlencoded，默认情况下如果你用的是curl组件会以multipart/form-data模式编码提交的post数据，所以后端提交请求的时候注意一下，如果你用的是curl，需要设置：

1

curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/x-www-form-urlencoded'));

如果你用的是GuzzleHttp的组件：参考官方的说明：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$response = $client->post('http://httpbin.org/post', [
'form_params' => [
'field_name' => 'abc',
'other_field' => '123',
'nested_field' => [
'nested' => 'hello'
]
]
]);

其他的基础配置设定,插件作者的wiki中已经有了说明，我这里做了一些自己的设定：

不想关闭全局的csrf保护咋办？如果你是直接安装的laravel 5.1版不要关闭全局$middleware的csrf：

1
2
3
4
5
6
7
8
9


 protected $middleware = array(
\Illuminate\Foundation\Http\Middleware\CheckForMaintenanceMode::class,
\LucaDegasperi\OAuth2Server\Middleware\OAuthExceptionHandlerMiddleware::class,
\App\Http\Middleware\EncryptCookies::class,
\Illuminate\Cookie\Middleware\AddQueuedCookiesToResponse::class,
\Illuminate\Session\Middleware\StartSession::class,
\Illuminate\View\Middleware\ShareErrorsFromSession::class,
\App\Http\Middleware\VerifyCsrfToken::class, // 不要关闭
 );

按wiki中的说明添加$routeMiddleware中的设定：

1
2
3
4
5
6
7
8
9


 protected $routeMiddleware = [
'csrf' => \App\Http\Middleware\VerifyCsrfToken::class, // 添加 csrf配置
 'auth' => \App\Http\Middleware\Authenticate::class,
'auth.basic' => \Illuminate\Auth\Middleware\AuthenticateWithBasicAuth::class,
'guest' => \App\Http\Middleware\RedirectIfAuthenticated::class,
'oauth' => \LucaDegasperi\OAuth2Server\Middleware\OAuthMiddleware::class,
'oauth-owner' => \LucaDegasperi\OAuth2Server\Middleware\OAuthOwnerMiddleware::class,
'check-authorization-params' => \LucaDegasperi\OAuth2Server\Middleware\CheckAuthCodeRequestMiddleware::class,
];

在你的\App\Http\Middleware\VerifyCsrfToken类中的$except变量添加：

1
2
3
4
5
6


 protected $except = [
//
 'api',
'api/*',
'oauth/access_token',
];

也就是：

你的oauth服务获取access_token的入口地址，如果你换了地址修改这里对应的设置即可。
你使用oauth中间件保护的服务接口也不需要csrf做多余的防护，在此排除掉 api/* 这对应的前缀即可如果是5.0之类的升级上来的，VerifyCsrfToken可能还是老的写法，不支持$except，自己改造一下符合新版规范：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54


<?php namespace App\Http\Middleware;
use Closure;
use Illuminate\Foundation\Http\Middleware\VerifyCsrfToken as BaseVerifier;
use Illuminate\Session\TokenMismatchException;
class VerifyCsrfToken extends BaseVerifier {
/**
 * The URIs that should be excluded from CSRF verification.
 *
 * @var array
 */
protected $except = [
//
 'api/*',
'oauth/access_token',
];
/**
 * Handle an incoming request.
 *
 * @param \Illuminate\Http\Request $request
 * @param \Closure $next
 * @return mixed
 */
public function handle($request, Closure $next)
{
if ($this->isReading($request) || $this->shouldPassThrough($request) || $this->tokensMatch($request)) {
return $this->addCookieToResponse($request, $next($request));
}
throw new TokenMismatchException;
//return parent::handle($request, $next);
 }
/**
 * Determine if the request has a URI that should pass through CSRF verification.
 *
 * @param \Illuminate\Http\Request $request
 * @return bool
 */
protected function shouldPassThrough($request)
{
foreach ($this->except as $except) {
if ($request->is($except)) {
return true;
}
}
return false;
}
}

本地登录授权的页面（View::make(‘oauth.authorization-form’)）该怎么写？原来官方的wiki中没有，放狗找了一圈的issue list才凑合着写了一个放了上去，作者插件的wiki里我已改过了：

注意提交的form原先GET请求中的querystring是需要一并post的这个坑要注意一下。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


@extends('app')
@section('content')
<div class="row">
{!! Form::open(['method' => 'POST','class'=>'form-horizontal', 'url'=> route('oauth.authorize.post',$params)]) !!}
<div class="form-group">
<dl class="dl-horizontal">
<dt>Client Name</dt>
<dd>{{$client->getName()}}</dd>
</dl>
</div>
{!! Form::hidden('client_id', $params['client_id']) !!}
{!! Form::hidden('redirect_uri', $params['redirect_uri']) !!}
{!! Form::hidden('response_type', $params['response_type']) !!}
{!! Form::hidden('state', $params['state']) !!}
{!! Form::submit('Approve', ['name'=>'approve', 'value'=>1, 'class'=>'btn btn-success']) !!}
{!! Form::submit('Deny', ['name'=>'deny', 'value'=>1, 'class'=>'btn bg-danger']) !!}
{!! Form::close() !!}
</div>
@endsection

而对应的$params在controller中的设置：

1
2
3
4


 $authParams = Authorizer::getAuthCodeRequestParams();
$formParams = array_except($authParams,'client');
$formParams['client_id'] = $authParams['client']-&gt;getId();
return View::make('oauth.authorization-form', ['params'=&gt;$formParams,'client'=&gt;$authParams['client']]);

最后在你被oauth保护的api接口中你就可以获得到对应的当前用户id了：

1

$uid = Authorizer::getResourceOwnerId();

酷码熊博客

关于

关于

linux系统下的文件下载

linux系统下的文件下载

单线程

多线程

其他

win10下基础开发环境搭建2020

参考笔记

预备

安装

升级win10到最新版本

安装配置好你的网络访问工具

安装windows terminal

安装WSL2

安装包管理工具

升级安装最新的PowerShell

通过winget安装相关基础软件

配置windows terminal

配置powershell支持命令行代理

配置WSL磁盘挂载问题

windows本地环境与wsl环境问题

代码开发与运行环境

多节点持续部署白瞟篇

资源

设计

其他

配置iptables的NAT转发

链接及证书的命令行检查(curl+openssl)

http/https连通性检查

常规连接检查

指定域名和ip检测

验证挂代理后的公网地址

证书有效期检查

本地证书检查

在线服务的证书检查

H5下的图片上传下载与dataURI转换

mysql数据库空间的influxDB增量统计

OpenCv开发中所遇到的问题备忘

1.qt库冲突的问题：

FastApi开发中所遇到的问题备忘

1. 需要fastapi的服务端提供静态文件：

2. 文件上传处理：

3. cors问题

阿熊的Caddy+Hugo+Acme.sh配置填坑笔记

前言

第〇个踩到的坑：github的CNAME站点不支持https

第一个踩到的坑：Caddy自动申请证书不成功

1. 证书申请

2. 到解析服务商后台添加对应的Txt记录

3. 重新生成证书

4. 到你的解析服务商后台申请API的key和secret

5. 导出/安装证书到本地供后续Caddy使用

第二个踩到的坑：Caddy+Hugo组合配置问题

1. caddy+插件下载问题，至少需要http.git,http.minify,http.hugo

2. hugo指令必须是环境变量里支持的,去官方直接下载发行版的安装包

第三个踩到的坑：Caddy的ulimit问题

第四个踩到的坑：Caddy的默认端口是2015

第五个踩到的坑：Caddy自启动的Systemd配置问题

优化完善Caddy配置

查Caddy的官方文档，完整的解决配置文件Caddyfile内容问题

TODO

android终端环境配置

效果图

android客户端软件清单

准备

触屏键盘

安装包管理器

挂载点配置

交互终端配置

手机ssh服务

杂谈

github上hexo静态博客自动部署配置笔记

前言

方案

预备

安装

使用

基本页面

第五个踩到的坑：Caddy自启动的Systemd配置问题