nginx在windows服务器下使用的正确姿势(使nginx在windows下突破1024的限制)

Nginx是一款轻量级的web服务器/反向代理服务器,更详细的释义自己百度了。目前国内像新浪、网易等都在使用它。对于Linux不熟悉或者没有运维的情况下,如何在生产环境的Windows服务器将Nginx搭建起来。一般小流量的站点直接去官网下载window的安装包即可。对于大流量的站点,直接官网的windows安装包部署在生产环境里,将会频繁出现如下错误:

maximum number of descriptors supported by select() is 1024 while waiting for request

这是因为文件访问句柄数被限制为1024了,当访问量大时就会无法响应。如果要想在windows下保持nginx的高性能,可以通过下方的链接进行下载。

nginx for windows官网:http://nginx-win.ecsds.eu/

nginx for windows下载载地址: http://nginx-win.ecsds.eu/download/

找到conf文件夹中的nginx-win.conf,把它复制一份更名为nginx.conf,然后在此文件中做配置.

特别要注意的是:linux版的nginx 头文件为include fastcgi.conf; 而windows版的nginx 头文件为include fastcgi_params;

附一个可以将nginx设置为windows服务的小工具nssm(NSSM是一个服务封装程序)

官网地址:http://www.nssm.cc/

注:由于nginx自身没有提供windows服务的安装,使用nssm虽然可以将nginx作为windows服务进行运行,将无法使用nginx -s reload是更改的配置文件生效,只能使用net stop nginx net start nginx是更改的配置文件生效。如果配置不需要实时生效,完全可以将nginx作为windows服务运行。

发表在 开源, 服务器 | 标签为 , , | 评论关闭

windows下使用cygwin安装goaccess实时日志分析工具

GoAccess 简介

简单来说呢 GoAccess 是一个专门用来分析日志的工具,既可以在终端中展示结果,也可以生成 HTML 报表在浏览器中查看。GoAccess 最吸引人的一点就是它生成的 HTML 足够炫酷。

1、下载goaccess安装包



https://goaccess.io/

goaccess-1.2.tar.gz

2、安装cygwin

1、下载cygwin



http://www.cygwin.com/

2、Cygwin国内镜像地址



http://mirrors.sohu.com/cygwin/

3、在cygwin中需要安装的包



https://goaccess.io/faq#installation

先安装cygwin,然后cmd切换到cygwin安装应用程序目录下含有setup-x86_64.exe的文件夹里执行安装goaccess需要的安装包


setup-x86_64.exe -q -P libGeoIP-devel -P libncurses-devel -P libncursesw10 -P gcc-core
-P make -P automake -P gettext -P "automake wrapper scripts"

在cygwin环境里安装 goaccess


$ wget http://tar.goaccess.io/goaccess-1.2.tar.gz
$ tar -xzvf goaccess-1.2.tar.gz $ cd goaccess-1.2/
$ ./configure --enable-utf8 --enable-geoip=legacy
$ make
$ make install

make出错的话,最好设置一下path环境变量  去usr下看(h-i686-pc-cygwin)含有cygwin字符的文件夹对应的文件夹名字。


PATH=/usr/h-i686-pc-cygwin/bin:$PATH

注:由于Cygwin的PATH和Windows的PATH用的是同一个变量
在往PATH里面加路径的时候,尽可能将Cygwin的路径写在Windows之前。

4、报告输出

1、交互模式报告

goaccess access.log

2、html报告

goaccess access.log -a -o report.html

3、指定多个日志文件

goaccess access.log access.log.1
goaccess access*.log

5 交互式菜单

F1 主帮助页面
F5 重绘主窗口
q 退出程序或者当前{详细视图}(窗口)
打开当前激活模块的详细视图
c 设置或改变配色方案
TAB 向前迭代模块。从当前激活模块开始。
SHIFT + TAB 向后迭代模块。从当前激活模块开始。
RIGHT ARROW 打开当前激活模块的详细视图
0-9 激活模块,这样用户就可以使用^o^或^RIGHT ARROW^打开{详细视图}
SHIFT + 0-9 激活超过10的模块
s 根据日期进行独立访客排序。仅在独立访客模块(1)有效。
S 根据点击数进行独立访客排序。仅在独立访客模块(1)有效。
/ 向前在任意{详细视图}窗口搜索输入模式(pattern)。
n 在任意{详细视图}窗口中找到下一次出现的位置。
t 跳到第一个条目或屏幕顶端
b 跳到最后一个条目或者屏幕底部

6 日期格式(date_format)

空格之后的date_format变量指定了包含常规字符和特殊格式说明符的任意组合。这些字符都以百分号(%)开始。详见:man strftime

%a    星期几的简写形式
%A   星期几的全称
%b   月份的简写形式
%B   月份的全称
%c    日期和时间
%d   月份中的日期,0-31
%H   小时,00-23
%I     12进制小时钟点,01-12
%j     年份中的日期,001-366
%m  年份中的月份,01-12
%M  分,00-59
%p   上午或下午
%S    秒,00-60
%u   星期几,1-7
%w   星期几,0-6
%x    当地格式的日期
%X   当地格式的时间
%y    年份中的最后两位数,00-99
%Y   年
%Z   地理时区名称

7 日志格式(log_format)

日志格式(log_format)

空格之后的date_format变量指定了日志格式字符串。

%x 与时间格式和日期格式变量匹配的日期和时间字段。当使用时间戳而不是日期和时间在两个单独的变量中时使用这个。
%t 时间字段匹配time_format变量。
%d 匹配date_format变量的日期域。
%D 服务请求所用的时间,以微秒为单位。
%e 这是通过HTTP认证确定请求文档的人的用户ID。
%h 主机(客户端IP地址,IPv4或IPv6)。
%r 来自客户端的请求行。这需要围绕请求的特定分隔符(单引号,双引号等)可解析。否则,请使用特殊格式说明符(如%m,%U,%q和%H)的组合来解析各个字段。
%m 请求方式。
%U请求的URL路径。
%q查询字符串。
%H请求协议。
%s 服务器返回给客户端的状态码。
%b 返回给客户端的对象大小。
%R RefererHTTP请求头。
%u 用户代理HTTP请求头。
%^ 忽略该域。
%T 服务请求所需的时间,以秒为单位,以毫秒为单位。
%L 服务请求所需的时间,以毫秒为单位,为十进制数。
%~ 向前移动日志字符串,直到找到一个非空格(!isspace)字符
~h X-Forwarded-For(XFF)字段中的主机(客户端IP地址,IPv4或IPv6)。

发表在 开源, 服务器 | 评论关闭

网站静态资源迁移到阿里OSS的方法,不需要更改网站源代码

随着网站的运行,网站里的静态资源越来越多,网站不仅包含自身的脚本,样式,配图等静态资源,还包括网站内容的需要上传的图片。图片一多,就需要考虑将图片单独分离出去来减轻服务器的IO读写。自建图片服务器虽然没有技术难度,但是考虑到时间,冗余,备份,性能等成本,最后放弃了自建图片服务器,选择使用阿里的OSS+CDN来做网站的静态资源存储。具体方法如下:

1,首先需要准备一个域名或者已有域名的二级域名来引用站点里的静态资源,单独域名做静态资源的引用的好处网上很多,可以根据需要来处理。

2,根据需要购买阿里的OSS和CDN服务,【阿里的OSS和CDN对域名只需要备案,并不要求必须接入阿里云,简化了许多流程】

3,在oss控制台创建Bucket,用来存储自己的静态资源。由于是通过CDN进行访问,不单独进行访问所以读写权限设置成了私有。在CDN里开启私有Bucket回源即可。

4,将服务器上现有的静态资源同步到阿里OSS创建的Bucket里。阿里针对OSS提供了很多可用的工具,根据需要进行选择即可。【阿里OSS工具汇总页面:https://help.aliyun.com/document_detail/44075.html?spm=5176.doc32204.6.1025.IMy0ZG】最后选择了ossutil这个命令行工具进行数据同步,之所以选择这个工具一是没有依赖,二是本身静态资源也就几百G,没必要使用ossimport2这类的工具进行同步。下载工具后,记得将ossutil的路径添加到Windows的系统环境变量里,方便使用。

在CMD里执行同步命令:


x: 切换盘符。
cd x:\files 进入到files文件夹
ossutil64.exe config -e EndPoint -i AccessKeyID -k AccessKeySecret  配置工具替换成自己的id和key
ossutil64.exe cp uploads/ oss://bucket/uploads/ -r -f -u  --snapshot-path=log/
 将uploads文件夹下的内容全部上传到bucket里的uploads文件夹下【oss其实没有文件夹概念的】.
更多ossutil用法可以使用ossutil64.exe help cp进行查看。

5,就是将上传的图片自动同步到阿里的oss里面。为了不修改网站代码,只能从服务器上保存图片的文件夹入手。对服务器上保存图片的文件夹进行监控,有文件创建就提交到oss上。需要用到一个小工具inotifywait 地址:https://github.com/thekid/inotify-win,需要写一个命令行程序通过管道接收inotifywait的文件地址。
syncfileOSS.exe主要代码


namespace syncfileOSS
{
class Program
{
private static Queue ossuploadqueue = new Queue();
static void Main(string[] args)
{
Task.Factory.StartNew(()=>{
while(true)
{
while(ossuploadqueue.Count>0)
{
string path=ossuploadqueue.Dequeue();
foreach (string localdir in appConfig.GetLocalDire())
{
if (path.ToLower().StartsWith(localdir.ToLower()))
{
try
{
//Console.WriteLine("正在向阿里OSS提交文件:" + filepath);
//Console.WriteLine("oss路径:" + appConfig.Ossprefix(s) + filepath.Replace(s, "").Replace("\\", "/"));
log.Info("正在向阿里OSS提交文件:" + path);
appConfig.PutObject(appConfig.Ossprefix(localdir) + path.Replace(localdir, "").Replace("\\", "/"), path);
}
catch(Exception ex)
{
string msg = ex.Message;
if (msg.IndexOf("because it is being used by another process") != -1)
{
ossuploadqueue.Enqueue(path);
Thread.Sleep(300);
}
log.Info("提交失败:" + path + ";错误信息:" + msg);
//Console.WriteLine("提交失败:" + filepath);
}
break;
}
}
}
Thread.Sleep(appConfig.delaytime);
}
});
string line;
while ((line = Console.ReadLine()) != null)
{
string[] lineArr = line.Split(' ');
string eventtag = lineArr[0];
if (eventtag.IndexOf("ISDIR") != -1)
{
continue;
}
string filepath = lineArr[1];
log.Info("正在提交文件:" + filepath);
if (!ossuploadqueue.Contains(filepath))
{
ossuploadqueue.Enqueue(filepath);
}
//Console.WriteLine("正在提交文件:"+filepath);

}
}
}
}

appConfig.cs


namespace syncfileOSS
{
public class appConfig
{
private static string accessKeyId = ConfigurationManager.AppSettings["accessKeyId"].ToString();
private static string accessKeySecret = ConfigurationManager.AppSettings["accessKeySecret"].ToString();
private static string endpoint = ConfigurationManager.AppSettings["endpoint"].ToString();
private static string localmaposs = ConfigurationManager.AppSettings["localmaposs"].ToString();
private static string bucketname = ConfigurationManager.AppSettings["bucketName"].ToString();
///
/// 延迟多少毫秒执行
///
public static int delaytime = Convert.ToInt32(ConfigurationManager.AppSettings["delaytime"].ToString());
private static List locallist =new List();
private static Dictionary maposs = IntiDic();

private static Dictionary IntiDic()
{
Dictionary dict = new Dictionary();
if (string.IsNullOrEmpty(localmaposs)) return dict;
string [] localArr = localmaposs.Split(';');
foreach (string str in localArr)
{
string[] strArr = str.Split('|');
locallist.Add(strArr[0]);
dict[strArr[0]] = strArr[1];
}
return dict;
}
///
/// 获取oss存储的prefix
///
///
 ///
public static string Ossprefix(string localpath)
{
if (maposs.ContainsKey(localpath))
{
return maposs[localpath];
}
return "other/";
}

public static string[] GetLocalDire()
{
return locallist.ToArray();
}

private static OssClient client = new OssClient(endpoint, accessKeyId, accessKeySecret);
public static void PutObject(string key, string fileupload)
{
client.PutObject(bucketname, key, fileupload);
}
}
}

配置文件信息:


<configuration>
<appSettings>
<add key="accessKeyId" value="AccessKeyID"/>
<add key="accessKeySecret" value="AccessKeySecret"/>
<add key="endpoint" value="EndPoint"/>
<add key="bucketName" value="bucket名字"/>

<!-- localmaposs本地文件夹与阿里oss prefix对应关系,用|分隔,多个对应关系用;分隔,本地文件夹以\结尾-->
<add key="localmaposs" value="x:\pic\test\|news/test/"/>

<!--delaytime 延迟多少毫秒提交 默认为300毫秒  如果不需要实时提交图片,可以设置的时间稍微长一些。-->
<add key="delaytime" value="300"/>
</appSettings>
</configuration>

批处理执行方法


inotifywait.exe -rmq -e create --format "%%e %%w\%%f %%T" x:\pic\test | syncfileOSS.exe
即可监控指定文件夹下文件的创建。

附阿里oss迁移工具程序含源码

发表在 Net | 评论关闭

服务器上部署https,免费又好用的https证书

随着苹果发布声明接口https化,再加上微信小程序的接口必须使用https,可是服务器上部署https就需要一笔小小的费用,在天朝掏钱的事是没人干的,都在找寻免费的服务,虽然挺折腾,但是难不住天朝的程序员。特别是为了测试微信小程序,实在是没必要购买ssl证书,只好寻求免费的服务。

StartSSL(官网:https://www.startssl.com/),提供免费的ssl证书申请,16年的时候按照网上的教程申请过一个免费的证书,用着还不错,17年的时候想为相同域名下的另一个二级域名申请证书的时候,提示系统正在升级,跳转到另一个主站,申请之后一直是Pending Issued(待签发)状态,也没有原因提醒,一直没搞懂神马情况,只好另寻办法。

Let’s Encrypt,免费的,开放的证书签发服务,之前也看到过,虽然只有90天的有效期,但是如果要安装 Let’s Encrypt 凭证,必须要熟悉 Unix 指令,才能够在远端主机下指令来取得凭证(不是很难,却需要一些时间)。自从发现了有开发者推出一款名为 SSL For Free 线上工具,让你从网站上取得免费 SSL 凭证,当然这是连接 Let’s Encrypt 的凭证签发功能,不过无须自己到主机输入安装指令,即可透过网页介面来取得凭证的相关档案(包括私密金钥、CA bundle 和凭证 crt 档),再从控制台 SSL 功能将凭证安装进去就能使用。

网站名称:SSL For Free
网站链接:https://www.sslforfree.com/

1,进入网站之后,直接在上方填入你要申请 Let’s Encrypt 凭证的网域名称,可以用空白来分隔不同的网址,例如「subdomain.domain.com domain.com other.com」,填入后点选右边的「Create Free SSL Certificate」继续。
2,为了确定这个网域名称使你所有,会有三种验证方式,如果你的网站本身开启 FTP 功能的话,可使用「Automatic FTP Verification」来输入相关资讯完成验证;还有一种就是DNS验证;我使用的是手动的验证方式,必须自己下载档案,依照说明上传到主机。

3,点选后,点选下方的「Manually Verify Domain」继续。
4,点选网站上提供的档案下载链接,依照说明建立两层资料夹,将档案放进去即可。记得结束前先通过以下两个链接来看看能否正常读取档案,如果不行,代表你的路径可能错误,重新检查一次吧!总之要让两个链接都能正常开启。由于使用的是windows主机,并且使用的IIS7,操作稍微麻烦一些,如果没有站点,需要先建一个站点,验证支持http或者https,在站点根目录创建.well-known文件夹,由于是特殊文件夹,直接创建肯定是创建不上,需要在文件名后再跟一个小圆点,既创建一个.well-known.【再windows下看到就是.well-known】,在它下面再创建一个acme-challenge文件夹,将下载下来的文件放到里面。由于下载下来的文件是无后缀的文件,需要在IIS上设置一下,支持无后缀的文件访问。打开IIS7,点击相应的站点,在功能视图,点击MIME类型,添加一个文件扩展为.*,mimeType类型为text/plain,这样就可以文本的方式访问无后缀的文件了。确保文件可以访问后
5,再点选最下方的「Download SSL Certificate」,通过验证后,SSL For Free 就会开始为你产生 SSL 凭证。
6,当凭证产生后,你就能在最终的结果页面看到这些资讯。不过在此之前,我会建议你先找到如下面截图标示出来的「Get Notified of Expiration」栏位,设定一组 Email 和密码,即可在凭证过期前取得通知,以免错过延长(renew)时间。从网页最下方点选「Download All SSL Certificate Files」就能打包这些档案,解压缩后可以取得一个私密金钥(Privacy Key)、CA_bundle.crt 和 certificate.crt 三个档案,返回你的主机控制台,即可将凭证安装进去囉!
7,由于是windows的IIS,直接下载下来的文件还无法部署到IIS7上,需要使用openssl将下载下来的文件转换成pfx的文件才可以导入到IIS的证书里.openssl使用的是Openssl-windows-0.9.8k命令行工具,在cmd里执行:
openssl pkcs12 -export -out domin.pfx -inkey private.key -in certificate.crt 会提示输入导入时的密码,导入证书的时候有用。生成pfx后可以导入到IIS里。参考网址:http://stackoverflow.com/questions/6307886/how-to-create-pfx-file-from-certificate-and-private-key/17284371#17284371
支持https已经设置完毕。

参考网站:http://www.chinaz.com/web/2016/0216/504896.shtml

注:windows服务器上默认是不支持TLS 1.2,要想服务器支持TLS 1.2,需要修改一下注册表,【例如苹果就要求必须为TLS 1.2】,禁用SSL3.0,启用TLS1.2如下:
注册表路径:HKLM SYSTEM\CurrentControlSet\Control\SecurityProviders\SCHANNEL\Protocols
右键->新建->项->新建TLS 1.1,TLS 1.2
TLS 1.1和TLS 1.2 右键->新建->项->新建Server, Client
在新建的Server和Client中都新建如下的项(DWORD 32位值), 总共4个
DisabledByDefault [Value = 0]
Enabled [Value = 1]

禁用老SSL配置
SSL 2.0,SSL 3.0项里的Client,Server项:
DisabledByDefault [Value = 0]
Enabled [Value = 0]
需要重启服务器

测试服务器ssl信息的网站:https://www.ssllabs.com/ssltest/
参考网站:http://www.chinaz.com/web/2016/0216/504896.shtml

发表在 开源, 服务器 | 标签为 , | 评论关闭

Windows Server2008 R2服务器IIS7站点突然爆出此实现不是 Windows 平台 FIPS 验证的加密算法的一部分的解决方法

有一台Windows Server 2008 R2服务器由于内存问题导致服务器蓝屏并不断重启,之后引起了一系列问题,特别是爆出了此实现不是Windows平台FIPS验证加密算法的一部分,前所未闻的问题犹如泰山压顶,迅速通过度娘,Google查找问题根源。查了数十个小时,可以分为两种,一种是组策略,一种是修改注册表。
1,开始,运行,输入 gpedit.msc打开组策略,左侧列表中找到 计算机配置 – Windows设置 – 安全设置 – 本地策略 – 安全选项,并在右侧找到“系统加密:将FIPS兼容算法用于加密、哈希和签名” 双击上述策略,在弹出的选项中,将状态改为已禁用。【系统本身已是禁用状态】
2更改注册表,开始,运行,输入regedit打开注册表,HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Lsa\FipsAlgorithmPolicy,将Enabled的值改为0  【值本身就为0】2   HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet001\Control\Lsa\FipsAlgorithmPolicy,将Enabled的值改为0  【值本身就为0】

当然还有一种是说在web.config文件里增加一行<runtime><enforceFIPSPolicy enabled=”false” /> </runtime>试了试还是不行。
搜便所有互联网,基本上都是上面的解决访问,时间一分一秒的过去了,还是一筹莫展,不能这样就重做系统吧!那么多站点部署也不是那么容易的。既然是程序报错,修改程序总可以吧!
1 System.InvalidOperationException: This implementation is not part of the Windows Platform FIPS validated cryptographic algorithms

首先碰到一个难题,就是md5加密这块,md5不可用,所有账号都是通过md5加密的,不可能换新的加密方式,既然系统的md5加密不可用,只好去网上搜搜C#写的md5加密类,还好找到了一个互联网大牛写的md5加密类,试了试还行,对字符等加密和原有的加密出来的一样。唯一的缺点是不支持中文,还好系统密码都限制了不能使用中文,满足条件,就将密码这块统一更换成了改md5加密方式。
2,针对缓存碰到的一个问题。由于硬盘比较廉价,站点使用了大量的文件缓存。在处理缓存子文件夹和缓存文件名的时候使用了md5对字符串加密,由于担心字符串含有中文,就无法使用上面的md5加密类,搜索之后发现了sha1加密方式,虽然比md5慢一点,但是完全符合唯一性。接下来就将所有与密码无关的md5加密全部换成了下方的sha1加密方式。

 public static string SHA1(string input)
        {
            using (System.Security.Cryptography.SHA1CryptoServiceProvider provider =
              new System.Security.Cryptography.SHA1CryptoServiceProvider()){
                      return BitConverter.ToString(
                               provider.ComputeHash(Encoding.UTF8.GetBytes(input))
                                                 ).Replace("-", "").ToLower();
            }
       }

3此实现不是 Windows 平台 FIPS 验证的加密算法的一部分

由于Net 2.0的站点都报这个错误,还以为也是与安全性有关,找了半天,最后新建了一个以aspx结尾的空文件,居然也报错,无计可施的时候,将该站点进程池切换到4.0下面,居然运行正常了,一直不清楚什么原理。不过切换到4.0之后,表单提交页面对ValidateRequest=”false”这个不起作用,如果表单包含html代码一样会报错,需要在web.config 增加<httpRuntime  requestValidationMode=”2.0″ />
至此站点基本恢复正常。

发表在 Net, 服务器 | 标签为 , | 评论关闭