网站静态资源迁移到阿里OSS的方法,不需要更改网站源代码

随着网站的运行,网站里的静态资源越来越多,网站不仅包含自身的脚本,样式,配图等静态资源,还包括网站内容的需要上传的图片。图片一多,就需要考虑将图片单独分离出去来减轻服务器的IO读写。自建图片服务器虽然没有技术难度,但是考虑到时间,冗余,备份,性能等成本,最后放弃了自建图片服务器,选择使用阿里的OSS+CDN来做网站的静态资源存储。具体方法如下:

1,首先需要准备一个域名或者已有域名的二级域名来引用站点里的静态资源,单独域名做静态资源的引用的好处网上很多,可以根据需要来处理。

2,根据需要购买阿里的OSS和CDN服务,【阿里的OSS和CDN对域名只需要备案,并不要求必须接入阿里云,简化了许多流程】

3,在oss控制台创建Bucket,用来存储自己的静态资源。由于是通过CDN进行访问,不单独进行访问所以读写权限设置成了私有。在CDN里开启私有Bucket回源即可。

4,将服务器上现有的静态资源同步到阿里OSS创建的Bucket里。阿里针对OSS提供了很多可用的工具,根据需要进行选择即可。【阿里OSS工具汇总页面:https://help.aliyun.com/document_detail/44075.html?spm=5176.doc32204.6.1025.IMy0ZG】最后选择了ossutil这个命令行工具进行数据同步,之所以选择这个工具一是没有依赖,二是本身静态资源也就几百G,没必要使用ossimport2这类的工具进行同步。下载工具后,记得将ossutil的路径添加到Windows的系统环境变量里,方便使用。

在CMD里执行同步命令:


x: 切换盘符。
cd x:\files 进入到files文件夹
ossutil64.exe config -e EndPoint -i AccessKeyID -k AccessKeySecret  配置工具替换成自己的id和key
ossutil64.exe cp uploads/ oss://bucket/uploads/ -r -f -u  --snapshot-path=log/
 将uploads文件夹下的内容全部上传到bucket里的uploads文件夹下【oss其实没有文件夹概念的】.
更多ossutil用法可以使用ossutil64.exe help cp进行查看。

5,就是将上传的图片自动同步到阿里的oss里面。为了不修改网站代码,只能从服务器上保存图片的文件夹入手。对服务器上保存图片的文件夹进行监控,有文件创建就提交到oss上。需要用到一个小工具inotifywait 地址:https://github.com/thekid/inotify-win,需要写一个命令行程序通过管道接收inotifywait的文件地址。
syncfileOSS.exe主要代码


namespace syncfileOSS
{
class Program
{
private static Queue ossuploadqueue = new Queue();
static void Main(string[] args)
{
Task.Factory.StartNew(()=>{
while(true)
{
while(ossuploadqueue.Count>0)
{
string path=ossuploadqueue.Dequeue();
foreach (string localdir in appConfig.GetLocalDire())
{
if (path.ToLower().StartsWith(localdir.ToLower()))
{
try
{
//Console.WriteLine("正在向阿里OSS提交文件:" + filepath);
//Console.WriteLine("oss路径:" + appConfig.Ossprefix(s) + filepath.Replace(s, "").Replace("\\", "/"));
log.Info("正在向阿里OSS提交文件:" + path);
appConfig.PutObject(appConfig.Ossprefix(localdir) + path.Replace(localdir, "").Replace("\\", "/"), path);
}
catch(Exception ex)
{
string msg = ex.Message;
if (msg.IndexOf("because it is being used by another process") != -1)
{
ossuploadqueue.Enqueue(path);
Thread.Sleep(300);
}
log.Info("提交失败:" + path + ";错误信息:" + msg);
//Console.WriteLine("提交失败:" + filepath);
}
break;
}
}
}
Thread.Sleep(appConfig.delaytime);
}
});
string line;
while ((line = Console.ReadLine()) != null)
{
string[] lineArr = line.Split(' ');
string eventtag = lineArr[0];
if (eventtag.IndexOf("ISDIR") != -1)
{
continue;
}
string filepath = lineArr[1];
log.Info("正在提交文件:" + filepath);
if (!ossuploadqueue.Contains(filepath))
{
ossuploadqueue.Enqueue(filepath);
}
//Console.WriteLine("正在提交文件:"+filepath);

}
}
}
}

appConfig.cs


namespace syncfileOSS
{
public class appConfig
{
private static string accessKeyId = ConfigurationManager.AppSettings["accessKeyId"].ToString();
private static string accessKeySecret = ConfigurationManager.AppSettings["accessKeySecret"].ToString();
private static string endpoint = ConfigurationManager.AppSettings["endpoint"].ToString();
private static string localmaposs = ConfigurationManager.AppSettings["localmaposs"].ToString();
private static string bucketname = ConfigurationManager.AppSettings["bucketName"].ToString();
///
/// 延迟多少毫秒执行
///
public static int delaytime = Convert.ToInt32(ConfigurationManager.AppSettings["delaytime"].ToString());
private static List locallist =new List();
private static Dictionary maposs = IntiDic();

private static Dictionary IntiDic()
{
Dictionary dict = new Dictionary();
if (string.IsNullOrEmpty(localmaposs)) return dict;
string [] localArr = localmaposs.Split(';');
foreach (string str in localArr)
{
string[] strArr = str.Split('|');
locallist.Add(strArr[0]);
dict[strArr[0]] = strArr[1];
}
return dict;
}
///
/// 获取oss存储的prefix
///
///
 ///
public static string Ossprefix(string localpath)
{
if (maposs.ContainsKey(localpath))
{
return maposs[localpath];
}
return "other/";
}

public static string[] GetLocalDire()
{
return locallist.ToArray();
}

private static OssClient client = new OssClient(endpoint, accessKeyId, accessKeySecret);
public static void PutObject(string key, string fileupload)
{
client.PutObject(bucketname, key, fileupload);
}
}
}

配置文件信息:


<configuration>
<appSettings>
<add key="accessKeyId" value="AccessKeyID"/>
<add key="accessKeySecret" value="AccessKeySecret"/>
<add key="endpoint" value="EndPoint"/>
<add key="bucketName" value="bucket名字"/>

<!-- localmaposs本地文件夹与阿里oss prefix对应关系,用|分隔,多个对应关系用;分隔,本地文件夹以\结尾-->
<add key="localmaposs" value="x:\pic\test\|news/test/"/>

<!--delaytime 延迟多少毫秒提交 默认为300毫秒  如果不需要实时提交图片,可以设置的时间稍微长一些。-->
<add key="delaytime" value="300"/>
</appSettings>
</configuration>

批处理执行方法


inotifywait.exe -rmq -e create --format "%%e %%w\%%f %%T" x:\pic\test | syncfileOSS.exe
即可监控指定文件夹下文件的创建。

附阿里oss迁移工具程序含源码

发表在 Net | 评论关闭

服务器上部署https,免费又好用的https证书

随着苹果发布声明接口https化,再加上微信小程序的接口必须使用https,可是服务器上部署https就需要一笔小小的费用,在天朝掏钱的事是没人干的,都在找寻免费的服务,虽然挺折腾,但是难不住天朝的程序员。特别是为了测试微信小程序,实在是没必要购买ssl证书,只好寻求免费的服务。

StartSSL(官网:https://www.startssl.com/),提供免费的ssl证书申请,16年的时候按照网上的教程申请过一个免费的证书,用着还不错,17年的时候想为相同域名下的另一个二级域名申请证书的时候,提示系统正在升级,跳转到另一个主站,申请之后一直是Pending Issued(待签发)状态,也没有原因提醒,一直没搞懂神马情况,只好另寻办法。

Let’s Encrypt,免费的,开放的证书签发服务,之前也看到过,虽然只有90天的有效期,但是如果要安装 Let’s Encrypt 凭证,必须要熟悉 Unix 指令,才能够在远端主机下指令来取得凭证(不是很难,却需要一些时间)。自从发现了有开发者推出一款名为 SSL For Free 线上工具,让你从网站上取得免费 SSL 凭证,当然这是连接 Let’s Encrypt 的凭证签发功能,不过无须自己到主机输入安装指令,即可透过网页介面来取得凭证的相关档案(包括私密金钥、CA bundle 和凭证 crt 档),再从控制台 SSL 功能将凭证安装进去就能使用。

网站名称:SSL For Free
网站链接:https://www.sslforfree.com/

1,进入网站之后,直接在上方填入你要申请 Let’s Encrypt 凭证的网域名称,可以用空白来分隔不同的网址,例如「subdomain.domain.com domain.com other.com」,填入后点选右边的「Create Free SSL Certificate」继续。
2,为了确定这个网域名称使你所有,会有三种验证方式,如果你的网站本身开启 FTP 功能的话,可使用「Automatic FTP Verification」来输入相关资讯完成验证;还有一种就是DNS验证;我使用的是手动的验证方式,必须自己下载档案,依照说明上传到主机。

3,点选后,点选下方的「Manually Verify Domain」继续。
4,点选网站上提供的档案下载链接,依照说明建立两层资料夹,将档案放进去即可。记得结束前先通过以下两个链接来看看能否正常读取档案,如果不行,代表你的路径可能错误,重新检查一次吧!总之要让两个链接都能正常开启。由于使用的是windows主机,并且使用的IIS7,操作稍微麻烦一些,如果没有站点,需要先建一个站点,验证支持http或者https,在站点根目录创建.well-known文件夹,由于是特殊文件夹,直接创建肯定是创建不上,需要在文件名后再跟一个小圆点,既创建一个.well-known.【再windows下看到就是.well-known】,在它下面再创建一个acme-challenge文件夹,将下载下来的文件放到里面。由于下载下来的文件是无后缀的文件,需要在IIS上设置一下,支持无后缀的文件访问。打开IIS7,点击相应的站点,在功能视图,点击MIME类型,添加一个文件扩展为.*,mimeType类型为text/plain,这样就可以文本的方式访问无后缀的文件了。确保文件可以访问后
5,再点选最下方的「Download SSL Certificate」,通过验证后,SSL For Free 就会开始为你产生 SSL 凭证。
6,当凭证产生后,你就能在最终的结果页面看到这些资讯。不过在此之前,我会建议你先找到如下面截图标示出来的「Get Notified of Expiration」栏位,设定一组 Email 和密码,即可在凭证过期前取得通知,以免错过延长(renew)时间。从网页最下方点选「Download All SSL Certificate Files」就能打包这些档案,解压缩后可以取得一个私密金钥(Privacy Key)、CA_bundle.crt 和 certificate.crt 三个档案,返回你的主机控制台,即可将凭证安装进去囉!
7,由于是windows的IIS,直接下载下来的文件还无法部署到IIS7上,需要使用openssl将下载下来的文件转换成pfx的文件才可以导入到IIS的证书里.openssl使用的是Openssl-windows-0.9.8k命令行工具,在cmd里执行:
openssl pkcs12 -export -out domin.pfx -inkey private.key -in certificate.crt 会提示输入导入时的密码,导入证书的时候有用。生成pfx后可以导入到IIS里。参考网址:http://stackoverflow.com/questions/6307886/how-to-create-pfx-file-from-certificate-and-private-key/17284371#17284371
支持https已经设置完毕。

参考网站:http://www.chinaz.com/web/2016/0216/504896.shtml

注:windows服务器上默认是不支持TLS 1.2,要想服务器支持TLS 1.2,需要修改一下注册表,【例如苹果就要求必须为TLS 1.2】,禁用SSL3.0,启用TLS1.2如下:
注册表路径:HKLM SYSTEM\CurrentControlSet\Control\SecurityProviders\SCHANNEL\Protocols
右键->新建->项->新建TLS 1.1,TLS 1.2
TLS 1.1和TLS 1.2 右键->新建->项->新建Server, Client
在新建的Server和Client中都新建如下的项(DWORD 32位值), 总共4个
DisabledByDefault [Value = 0]
Enabled [Value = 1]

禁用老SSL配置
SSL 2.0,SSL 3.0项里的Client,Server项:
DisabledByDefault [Value = 0]
Enabled [Value = 0]
需要重启服务器

测试服务器ssl信息的网站:https://www.ssllabs.com/ssltest/
参考网站:http://www.chinaz.com/web/2016/0216/504896.shtml

发表在 开源, 服务器 | 标签为 , | 评论关闭

Windows Server2008 R2服务器IIS7站点突然爆出此实现不是 Windows 平台 FIPS 验证的加密算法的一部分的解决方法

有一台Windows Server 2008 R2服务器由于内存问题导致服务器蓝屏并不断重启,之后引起了一系列问题,特别是爆出了此实现不是Windows平台FIPS验证加密算法的一部分,前所未闻的问题犹如泰山压顶,迅速通过度娘,Google查找问题根源。查了数十个小时,可以分为两种,一种是组策略,一种是修改注册表。
1,开始,运行,输入 gpedit.msc打开组策略,左侧列表中找到 计算机配置 – Windows设置 – 安全设置 – 本地策略 – 安全选项,并在右侧找到“系统加密:将FIPS兼容算法用于加密、哈希和签名” 双击上述策略,在弹出的选项中,将状态改为已禁用。【系统本身已是禁用状态】
2更改注册表,开始,运行,输入regedit打开注册表,HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Lsa\FipsAlgorithmPolicy,将Enabled的值改为0  【值本身就为0】2   HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet001\Control\Lsa\FipsAlgorithmPolicy,将Enabled的值改为0  【值本身就为0】

当然还有一种是说在web.config文件里增加一行<runtime><enforceFIPSPolicy enabled=”false” /> </runtime>试了试还是不行。
搜便所有互联网,基本上都是上面的解决访问,时间一分一秒的过去了,还是一筹莫展,不能这样就重做系统吧!那么多站点部署也不是那么容易的。既然是程序报错,修改程序总可以吧!
1 System.InvalidOperationException: This implementation is not part of the Windows Platform FIPS validated cryptographic algorithms

首先碰到一个难题,就是md5加密这块,md5不可用,所有账号都是通过md5加密的,不可能换新的加密方式,既然系统的md5加密不可用,只好去网上搜搜C#写的md5加密类,还好找到了一个互联网大牛写的md5加密类,试了试还行,对字符等加密和原有的加密出来的一样。唯一的缺点是不支持中文,还好系统密码都限制了不能使用中文,满足条件,就将密码这块统一更换成了改md5加密方式。
2,针对缓存碰到的一个问题。由于硬盘比较廉价,站点使用了大量的文件缓存。在处理缓存子文件夹和缓存文件名的时候使用了md5对字符串加密,由于担心字符串含有中文,就无法使用上面的md5加密类,搜索之后发现了sha1加密方式,虽然比md5慢一点,但是完全符合唯一性。接下来就将所有与密码无关的md5加密全部换成了下方的sha1加密方式。

 public static string SHA1(string input)
        {
            using (System.Security.Cryptography.SHA1CryptoServiceProvider provider =
              new System.Security.Cryptography.SHA1CryptoServiceProvider()){
                      return BitConverter.ToString(
                               provider.ComputeHash(Encoding.UTF8.GetBytes(input))
                                                 ).Replace("-", "").ToLower();
            }
       }

3此实现不是 Windows 平台 FIPS 验证的加密算法的一部分

由于Net 2.0的站点都报这个错误,还以为也是与安全性有关,找了半天,最后新建了一个以aspx结尾的空文件,居然也报错,无计可施的时候,将该站点进程池切换到4.0下面,居然运行正常了,一直不清楚什么原理。不过切换到4.0之后,表单提交页面对ValidateRequest=”false”这个不起作用,如果表单包含html代码一样会报错,需要在web.config 增加<httpRuntime  requestValidationMode=”2.0″ />
至此站点基本恢复正常。

发表在 Net, 服务器 | 标签为 , | 评论关闭

IIS7静态资源站点部署方案_加快呈现速度的方法

在IIS7下,有时我们需要对网站引用的静态资源如小图,css,js等单独配置一个站点,供其它站点使用。掌握一些部署技巧,将会加快加载速度。
配置静态资源站的时候,应用程序池的最好选择无托管代码,集成模式。应用程序池的设置如下图:

还需要在站点根目录下放置一个web.config,移除多余的模块即可。

<?xml
version="1.0" encoding="utf-8"?>
<!--
  For more information on how to configure your ASP.NET application, please visit

http://go.microsoft.com/fwlink/?LinkId=152368

  -->
<configuration>
  <system.webServer>
    <modules>
      <remove name="OutputCache"/>
      <remove name="Session"/>
      <remove name="WindowsAuthentication"/>
      <remove name="FormsAuthentication"/>
      <remove name="PassportAuthentication"/>
      <remove name="RoleManager"/>
      <remove name="UrlAuthorization"/>
      <remove name="FileAuthorization"/>
      <remove name="AnonymousIdentification"/>
      <remove name="Profile"/>
      <remove name="ErrorHandlerModule"/>
      <remove name="ServiceModel"/>
      <remove name="UrlRoutingModule-4.0"/>
      <remove name="ScriptModule-4.0"/>
    </modules>
  </system.webServer>
</configuration>


有时我们的网站会将详细页生成静态页面(html,shtml),可以单独对生成的详细页面进行设置。在站点下创建应用程序,指向生成的静态页面,应用程序池选择无托管代码的集成模式的应用程序池.并将
上面的web.config放在应用程序的静态页面根目录。创建的时候最好创建应用程序,创建虚拟目录,在虚拟目录里放置web.config移除多余的模块将不会生效。

我们发布的网站也可以进行简单的优化,大部分网站很少会用到全部的模块,例如不常用的模块:Session、Profile等,也可以在网站的web.config相应的配置节移除掉这些用不到的模块来加快响应速度。

发表在 Net, 服务器 | 评论关闭

windows下npm无法安装任何包的完美解决办法

最近刚刚安装了node,在试用npm安装包的时候一直报:“npm ERR! code ECONNRESET”,怎么都不行,最后找到了一个简单的解决方法。找到node的安装目录下的node_modules\npm文件夹里找到文件npmrc,增加如下一下:

registry = http://registry.cnpmjs.org

完美解决,注:由于最新版的node已经安装了npm模块,安装完node后并不需要单独安装npm模块了。

发表在 Javascript | 评论关闭