分类: 云计算

云计算

Flink之checkpoint和savepoint的区别

1.什么是Checkpoint
Checkpoint:一种由 Flink 自动执行的快照,其目的是能够从故障中恢复。Checkpoint 使 Flink 的状态具有良好的容错性,通过 checkpoint 机制,Flink 可以对作业的状态和计算位置进行恢复。
Checkpoint 对于用户层面,是透明的,用户会感觉程序一直在运行。 用户无法对其进行交互,用户可以在程序启动之前,设置好实时程序 Checkpoint 相关参数,当程序启动之后,剩下的就全交给 Flink 自行管理。
(1)checkpoint的目录结构: 由元数据文件、数据文件(与 state backend 相关)组成。可通过配置文件中 “state.checkpoints.dir” 配置项来指定元数据文件和数据文件的存储路径,实际系统中一般存储在hdfs上。
(2)checkpoint的两种mode:Exactly Once 和 At least Once。默认的 Checkpoint 模式是 Exactly Once. Exactly Once 和 At least Once 具体是针对 Flink 状态 而言。

Exactly Once 含义是:保证每条数据对于 Flink 的状态结果只影响一次。打个比方,比如:在统计”flink”这个单词数时,目前实时统计的 个数为2,同时这个结果在这次 Checkpoint 成功后保存在相应的存储路径下。在下次 Checkpoint 之前, 又来1个”flink”单词,突然程序遇到外部异常容错自动回复,从*近的Checkpoint 点开始恢复,那么会从单词书为2这个状态开始恢复,所以即使程序遇到外部异常自我恢复,也不会影响到 Flink 状态的结果。
At Least Once 含义是:每条数据对于 Flink 状态计算至少影响一次。比如在单词统计”flink”
时,你统计到的某个单词的单词数可能会比真实的单词数要大,因为同一条消息,你可能将其计算多次。
(3)checkpoint的保留:在默认的情况下仅用于恢复失败的作业,并不保留,当程序取消时 checkpoint 就会被删除。当然,你可以通过配置来保留 checkpoint,这些被保留的 checkpoint 在作业失败或取消时不会被清除。

CheckpointConfig config = env.getCheckpointConfig();
config.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
1
2
ExternalizedCheckpointCleanup 配置项定义了当作业取消时,对作业 checkpoint 的操作:

ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION:当作业取消时,保留作业的
checkpoint。注意,这种情况下,需要手动清除该作业保留的 checkpoint。
ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION:当作业取消时,删除作业的
checkpoint。仅当作业失败时,作业的 checkpoint 才会被保留。
2.什么是Savepoint
Savepoint:用户出于某种操作目的(例如有状态的重新部署/升级/缩放操作)手动(或 API 调用)触发的快照。
Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像。 你可以使用 Savepoint 进行 Flink 作业的停止与重启、fork 或者更新。 Savepoint 由用户创建,拥有和删除。 他们的用例是计划的,手动备份和恢复。当然,Savepoint 必须在作业停止后继续存在。
Savepoint 由两部分组成: 稳定存储(列入 HDFS,S3,…) 上包含二进制文件的目录(通常很大),和元数据文件(相对较小)。 稳定存储上的文件表示作业执行状态的数据镜像。 Savepoint 的元数据文件以(*对路径)的形式包含(主要)指向作为 Savepoint 一部分的稳定存储上的所有文件的指针

3.两者之间的区别
1.目的:checkpoint重点是在于自动容错,savepoint重点在于程序修改或者更新后从状态中恢复
2.触发者:checkpoint是flink自动触发,而savepoint是用户主动触发
3.状态文件保存:checkpoint一般都会自动删除;savepoint一般都会保留下来,除非用户去做相应的删除操作
————————————————

Elasticsearch多索引查询搜索 排序异常问题方案

Elasticsearch6.8
HighLevel方式
场景:全局搜索,综合搜索,可能有帖子,产品,文章等,要倒序,哪个发布了就在*上面显示出来

问题
在多索引全局查询时,比如设置了sourceBuilder.sort(“字段名”, SortOrder.DESC);会报错如下
Elasticsearch exception [type=class_cast_exception, reason=java.lang.Long cannot be cast to org.apache.lucene.util.BytesRef

Elasticsearch exception [type=class_cast_exception, reason=java.lang.Long cannot be cast to org.apache.lucene.util.BytesRef

试了好几种解决方案没有办法打到自己想要的效果,后续研究下有没有好的解决方案和高版本是否支持

我的方案:
因为加入的顺序是顺序的,比如id为1,2,3,4,5……也有createTime字段
所以先查询符合条件的条数

restHighLevelClient.count(countRequest, RequestOptions.DEFAULT);

然后根据条数计算你要取的起始位置

sourceBuilder.from(count > 10 ? count – esSearchDTO.getFrom() * esSearchDTO.getSize() : 0);
sourceBuilder.size(esSearchDTO.getSize());

比如pageNum=1,pageSize=10,一共100条数据,你要取*后10条,则用100 – 110=90,从第90位置取10条到100
第二页为100-210=80,从第80取10到90

取出数据后有不同类型的对象怎么办?如何排序?
可以在各个索引中定义createTime
在*后得到的结果中使用Collections.sort取共同字段createTime进行比较排序
————————————————
版权声明:本文为CSDN博主「东北_老乡」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Goligory/article/details/115128595

 

中兴通讯uSmart云电脑,开启安全办公新时代

2020年春天,以5G、人工智能、云计算为代表的“新基建”蔚然成风,着眼国家数字经济体系建设,打造数字经济体系底座的“新基建”,无疑成为中国经济整体应对未来发展的核心方案。可以说,没有任何一个时期比现在更能够彰显中国数字经济新动能的加速崛起,以及中国经济的韧性与潜能。然而,面临“新基建”与企业数字化进程的突然提速,机遇之中必有挑战,倘若在新基建过程中不考虑信息安全,势必将引发安全危机。

而在2020年的开端,一场新冠疫情给人们的生活带来了前所未有的改变。 例如,远程办公软件被彻底激活,艾媒咨询数据显示,今年春节期间,中国远程办公企业规模超过1800万家,远程办公人员超过3亿,企业微信,阿里钉钉、飞书、ZOOM等玩家都在争夺这波红利。

然而不得不说说的是,对于企业却也有着数不尽的困难与挑战,在过去的五个月当中,全世界都面临着有关于“协同办公”所带来的便捷与隐患问题,原因在于全新的办公模式中对于网络体验与安全的高要求,如何在信息安全的前提下,随时随地进行办公,更能够在任何场景下无缝接入,成为企业与员工迫切需要解决的问题。

新一代云电脑,开启安全办公新时代

随着技术的不断进步,以及用户需求的多样化,如何让协同办公做到“高效”与“安全”兼得其实并非难事,在云网生态孕育下的新一代云电脑便可迎刃而解。基于此,中兴通讯重磅推出的uSmart云电脑安全办公方案,全新释义了基于5G网络和云计算技术打造的新一代uSmart云电脑,深度解锁安全办公新形态,开启大规模分布式协同办公。
————————————————

%title插图%num

相较于传统云电脑作为企业级云计算模式下的类IT办公基础设施,将计算、存储、网络服务发布给使用者,实现随时随地多种设备即时访问,新一代云电脑则是构建在云网生态新模式、新场景、新架构、新算法之上的全新运营级云计算解决方案。具体而言,具有全场景远程接入、全方位信息安全保障、高效协同、智能运营四大特征。

正如中兴通讯副总裁、云视频产品总经理华新海所强调:“目前,云电脑无论在使用体验还是产品形态上,已经完全具备了替代传统电脑的能力,甚至有超越过去的电脑产品形态。随着技术的进步与算法的改进,未来,云电脑将能够不断满足市场与多场景的多样需求。

uSmart云电脑:高效智能,为企业安全保驾护航

正如前文提到的,“新基建”按下了企业数字化进程的加速键,疫情则倒逼出企业协同办公中的新机遇,如何保障企业办公安全无忧?不妨来看看uSmart云电脑的“杀手锏”。
————————————————
%title插图%num

中兴uSmart新一代云电脑架构支持私有云、混合云部署,并提供从云终端、网络、计算、存储及底层虚拟化平台的端到端全局安全管控,可通过统一接入网关访问公司内部办公系统,结合云杀毒、行为审计、数字水印、软件管控等应用,全面保障企业办公安全无忧,实现全方位信息安全保障,让办公更安心。具体来说,uSmart云电脑带来的安全可分为战略安全、商业安全和信息安全三个层面:

战略安全要求企业的知识资产保存在企业私有云上,大中型企业、金融等都希望部署私有云,考虑到某些高算力业务用私有云成本较高,需要用到公有云,因此混合云成为更优化的选择。
商业安全是企业使用公有云是否会造成商业利益冲突,而有公信力的公有云会更安全,比如运营商商业边界比较明确,有通信法律约束,其公有云相比更安全。
信息安全是在技术层面保障安全。中兴通讯新一代云电脑构架支持私有云、混合云部署,并提供从云终端、网络、计算、存储到底层虚拟化平台的端到端的全局安全管控,从而保障企业办公安全无忧。
中兴uSmart新一代云电脑,全方位的信息安全保障,让办公更安全。高效协同更是办公中所不能忽略的。众所周知,高效协同是企业迈向数字化道路的一步,随着信息化建设的不断深入以及线上办公的流行,提高企业内部协作性,成为企业生产经营提质增效,内部革新赋能的关键点。
————————————————
%title插图%num

中兴通讯将CT领域的优势技术融入云电脑,例如通信可靠性、带宽及编解码算法、安全管控、视频会议、大数据分析等,强大的融合能力,能让中兴uSmart云电脑给不同客户提供高效的协作能力。更支持在云电脑服务下视频会议一键入会,桌面共享、电子白板、及时消息等让协作更顺畅。中兴uSmart新一代云电脑高效协同的能力,让办公更便捷。

除此之外,在智能运营方面,中兴云电脑智能运营平台构建体验感知系统及多维度指标体系,通过AI智能分析和学习,实现自助运营,效能提升90%。
————————————————
%title插图%num

同时,新一代云电脑新终端W100,作为业界*小的云终端,只有一张名片大小,小巧便携,在出差应急办公时,随身携带W100,连接上电视机或其他显示设备、键鼠,通过USB WIFI接收器连上WIFI网络,就可以体验完整的云电脑功能,安全访问自己的个人办公数据。真正做到安全、高效、智能三效合一。

目前,新一代云电脑已针对金融、制造业、政务以及运营商等不同行业客户需求,针对性地推出相关解决方案,致力于将uSmart云电脑打造成为各行业客户的安全协作解决方案专家。

岂止于安全、稳定,窥探产品背后的技术

产品背后的真理往往是核心技术的掌握。对中兴通讯而言,在uSmart云电脑为企业提供的种种服务背后,需要有完整的软件、硬件和服务支持体系,以及中兴通讯在整合和运营开放创新成果方面的深厚专业技能来做支撑。

在被问及uSmart云电脑所强调的“安全办公”背后,中兴通讯提供了哪些技术用以支撑安全办公方案时,中兴通讯云视频产品副总经理夏泽金表示,针对安全性中兴通讯提供整套解决方案。首先,在保证业务的安全可用性上,从系统整体架构上解决了云电脑的高可靠性,提供双机备份、数据安全备份,对主机提供储备方案,以及超融合解决方案支持到三副本。可以说,从整体云电脑后端的产品安全性上,中兴通讯做到了从基础架构上解决高可靠性,从而避免突发意外等故障导致的安全隐患;

其次,针对企业业务层面的安全。防毒杀毒上使用云杀毒来解决了用户病毒的入侵,USB终端可以在后台进行设备控制,倘若用户拷贝资料,后期会针对拷贝行为记录,判断是否为核心机密并提供跟踪链;第二,提供的云杀毒解决方案,经过后台统一部署,用户无需在每个客户端或虚拟机上部署杀毒软件,文件一旦进入虚拟机中,*道关口便要经过云杀毒软件;对于员工设置了安全策略,禁止拷贝,水印防拍照一系列的具体举措,用以保证信息安全。

据阿丹了解,中兴通讯作为老牌“网络专家”,其uSmart云电脑在网络稳定性中的优势同样可圈可点。据夏泽金介绍,首先解决的是如何保障云桌面在弱网情况下,保障用户获得较好的云桌面体。针对网络的时延和丢包,中兴通讯利用了云桌面新算法,视频编码与解码上的*对优势,目前,在网络带宽要求*小120K,都可以得到较好的支持。在丢包方面,支持丢包在3%-5%的情况下,通过UDT协议支持,让用户获得稳定的体验;

第二,针对会议系统大规模接入,视频会议架构从AVC向SVC转变,针对这样的情况和混合组网,能够支持数千端并发,同时将MCU进行软化。 也就是将这种传统的专属硬件用普通硬件来支撑,为让云桌面用户和会议视频用户能够在统一网络架构上部署。另外,需要强调的是中兴通讯的云计算技术,通过行业智能云平台可以动态的调整云桌面和视频会议用户的资源,智能判断业务的优先级,动态调整后台的计算资源、网络资源,以及存储资源,能够对前端用户进行提前预判、动态调整,保证业务顺利进行。

得益于新一代云电脑 各行业倍受创新成果

据介绍uSmart云电脑现已在各行业场景中实际落地,促使企业在协同办公中真正达到“安全、稳定、智能”。例如,对于银行内研发测试岗位,中兴uSmart云电脑提供安全研发办公方案,业务高可靠,架构和资源支持冗余设计,电信级容灾备份。从终端接入层到底层虚拟化平台层实现端到端防护,通过数据上云,外设管控、传输动态加密、文档安全管控、云杀毒、数字水印、软件管控等措施,保证办公数据*致安全。完善的日志与行为审计,便于事后追踪,所有操作有据可循,全面解决信息安全隐患。同时各业务按等保要求实行多租户隔离,人员接入权限分类管控,多资源池集中管控,各部门分别调用。还可融合视频会议协同办公,随时进行音视频沟通、桌面共享、协同操作,提升办公协作效率;

————————————————

%title插图%num

助推运营商PCaaS运营,中兴通讯新一代uSmart云电脑方案,集成智能办公SaaS服务,和运营商的5G大客户服务包、云专线、数据中心、边缘云等资源整合,向中小企业、教育、政务等行业提供一站式安全办公&协作服务。同时,随着云网应用的不断升级,个人云电脑市场也在快速成长。基于中兴新一代云电脑,运营商也可以向个人提供云办公、云游戏等服务,从而获得更多业务成长空间。

所有的伟大,都源于一个勇敢的开始,每一次文明的进步,都源于对价值的不断追求。中兴通讯产品方案经过内部使用和打磨,为全球30万+用户提供云电脑服务,具备完善的行业部署经验,并积累了众多应用模板。顺应5G时代发展,紧随用户多元化需求,中兴通讯利用其在CT领域的核心技术优势,融合ICT创新方案,使得新一代云电脑具备核心的竞争优势,不断赋能企业安全、高效协同。中兴uSmart云电脑作为安全协作解决方案专家,开启安全办公新时代,并在助力行业安全发展中,肩负起责任,任重而道远。
————————————————
版权声明:本文为CSDN博主「CSDN云计算」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/FL63Zv9Zou86950w/article/details/106410772

大麦云原生边缘计算探索,让观众剧院看戏也能实现个性化

1、背景

近年来,我国文化产业蓬勃发展,文化产业价值年均增速远高于同期 GDP 增速,尽管中 国演出市场在开放竞争中逐步规范有序,但目前仍处于起步和培育阶段,尚不够完善和成熟。尤其在演出场馆基础设施、管理运营等方面参差不齐。

一方面,国内大规模兴建剧场,但是却不重视开展剧场相关管理和服务标准的建立,造成目前中国的剧场硬件设施世界一流,管理与服务却远落后于发达国家。另一方面,随着现场演出形式的变化,兴起了许多独特的演出场地。当前,对场馆的精细化、分层运营已经成为促进现场服务升级的核心抓手。

2、痛点

演出场馆的基础设施、热门 IP 等诸多因素都可能导致演出现场出现无网或弱网问题,在这种情况下如何保障核验、摄像头监控等现场服务可用是技术首先要解决的问题。

面向 AI 与 IoT 结合为代表的未来发展方向,通过收集海量数据形成的消费者/用户画像可以使终端设备更加智能、更为“主动”地为消费者提供个性化服务。需要对现场类型众多、形态不一的智能设备形成通信互联、数据共享、能力互通的“联合体”,为用户提供智能场馆服务。如何保证海量数据处理的时效性和有效性,是面向业务发展要解决的问题。

%title插图%num

目前,在无网和弱网的现场环境下提供现场服务是通过单机应用部署的方式,面临的问题 如下:

  1. 为保障单机应用服务可用、可靠需要在本地搭建集群;
  2. 同样的业务逻辑,本地和云端研发体系不统一,导致架构冗余、研发效率低、发布周期长,降低了业务的迭代效率。%title插图%num

    ①IDC 服务和本地服务代码级复用低;

    ②本地服务单机部署,无高可用性保障;

    ③本地服务依赖本地数据库,跟 IDC 数据库结构可能不一致。

     

    针对新型的场馆的智能服务需求,譬如 LIVEHOUSE,基于现场观演人群定向提供个性化服务,现有的计算架构在数据时效性和有效性方面不足以支撑。

    3、解决方案

    基于上述的痛点,现场的整体解决方案,从有效支持 12 个月内的业务和运营的发展,具有 6 个月内创造和技术*的可能性,及加速研发同学专业化能力的聚焦沉淀和创新孵化,降低体力劳动强度。

    1. 边缘计算

    边缘计算是网络中*靠近物或数据源头融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘智能服务。在更靠近终端的网络边缘上提供服务是边缘计算*大的特点。在数据处理的时效性与有效性方面成为云计算的有力补充。对于这样的设计,能满足大麦现场业务在智能核验、设备管控、业务监控等方面的关键需求。

    %title插图%num阿里云边缘云原生的产品化落地——ACK@Edge(云边一体的云原生标准 k8s 托管服务), 支持海量边缘网关节点接入,深度融合 IoT 云端市场、云端 FaaS、消息、运维等服务,提供针 对边缘实例的 DevOps 能力,*大的提升边缘的应用分发及部署运维的效率。

    为了让现场更简单、业务更高效,需要将原来单机应用+ IDC 的集中式部署架构,演进到 云+边缘计算的统一架构,这就需要我们能够有一种方式来统一管理 IDC 应用服务器和现场众多的边缘节点。通过边缘 k8s 架构,统一管理云与边缘的节点,实现了应用发布和弹性扩缩容的统一。通过弹性能力节省机器成本;现场终端就近访问边缘节点,解决现场弱网/无网、现场 视频监控端到端的网络延迟等诸多问题。

    2. 云边端协同

    云计算与边缘计算是现场数字化转型的两大重要支持。云计算与边缘计算在技术定义上具 有差别,使他们所使用的场景有所差异。云计算适用非实时、长周期数据、业务决策场景,边缘计算在实时性、短周期数据、本地决策等场景方面表现更为优异。因而,娱乐现场数字化转 型需要云计算与边缘计算的支持。

    阿里云在两大边缘计算领域 CDN 和 IoT 深耕已久,边缘规模和业务复杂度的日益攀升带来了不小的效能问题。阿里云容器服务和 IoT 业务团队联合推出 Kubernetes Edge 定制版本,作为 云上 IoT 边缘托管服务底座,支持海量边缘网关节点接入,深度融合 IoT 云端市场、云端 FaaS、 消息、运维等服务。在这个过程中在这个过程中,云原生让 IoT 托管如虎添翼。在大麦现场业务中尝试使用,如图 2 所示云边端分层结构也日益显现。

    %title插图%num①本地和云端应用统一容器化部署运行环境;

    ②适配不同的网络环境,终端灵活选择本地或云端服务;

    ③边缘节点优先处理过程数据计算,核心业务数据同步云端。

    %title插图%num

  3. 4、未来随着 5G 技术的广泛应用、云计算与边缘计算在数字化转型的支持,加快了数字技术在文娱行业现场服务领域的应用。譬如无纸化、人脸识别等智能核验、智能泊车、客群识别等技术逐渐成为智慧娱乐现场新标配。在用户需求不断提升及产业服务不断完善的背景下,未来以安全可靠、优质体验和全链路服务建立的服务平台构筑大麦的行业壁垒。

写给大数据从业者:数据科学的5个陷阱与缺陷

*近看新闻,发现数据科学专业已经是北京大学高考入学门槛*高的专业了,其实”Data Science” 这个词性感了快十年了,对互联网行业而言,相当于性感了一个世纪。

从“数据说话”,”DT 时代”,到 “数据中台”,“数据驱动(Data Drive/Data Driven)”,数据体系的不断演进正在持续的改变大家的工作与决策方式;正在不断的革新大家的思维方式;同时也产生了新的商业逻辑,新的发展机会。

1976 年,Pascal 作者 Nikalus Wirth 曰:Algorithms + Data Structures = Programs.

就像之前的“SOA”,“云计算”等概念一样,目前数据科学自身的概念还在不断的变革,各家公司的实践者们一边摸索,一边获利;一边总结,一边布道;当然同时还参杂着很多凑热闹的同志把概念折腾的更加模糊。所以数据科学本身的能力边界,方法论体系,*佳实践等等还没有完善的建立起来,有很多问题没有办法很好的回答。由此就会产生一些迷信和误会,”强行数据“,”随意数据“,”政治正确数据“等等情况比较常见, 无论是实际的操作层面,还是方法层面,都存在着一些不小的误会。这也是我打算总结一下在数据科学实践中存在的陷阱与缺陷的缘由。

这篇分享是根据我自己的工作经验,和对相关资深同事的访谈总结而成。它的正确性受限于我个人的认知水平和目前行业的发展水平,它整理了一些目前可能存在的问题,但未必是长久的道理。希望大家读的时候批判性的看待。抛砖引玉,如果有不同想法欢迎大家跟我随时沟通与验证,结论本身也可以随时更新。

陷阱与缺陷 1:数据质量杀死自动 / 智能决策

网易严选的很多业务,比如风控业务,核心驱动力是数据及算法。我们在风控业务起步的时候就建立了数据算法驱动风控的方法体系,所以能保证很小的团队(3 个人)来支撑严选几十个内外部风险场景,每天执行百万次风险决策。当然,这是数据驱动自动决策 / 智能决策带来的力量。成功的美好,或许会让你按耐不住的想把很多业务运转方式转型过来,但遗憾的是,数据质量保障的缺失会让这一切变成随时会倒塌的空中楼阁!事实上,*大部分组织对数据质量的理解 支撑不了更加自动和智能的决策场景。强行转型与减员增效会让他们原本稳定的业务接近崩溃。

严选风控出现过几次大的故障都跟数据质量紧密相关。今年 8 月份的时候,风控在执行每周误判巡检的时候发现整体疑似误判率增加了 4 倍。*终定位原因是设备号相关的日志内容有些异常。从而导致了相当一部分用户的行为(签到操作)被错误的执行了拦截。

这是一个很有意思的案例。一些关键的决策:比如用户是不是坏人?某个商品要采购多少量?可能会依赖于很不被重视的某个线上日志的一小部分内容。我们的整个质量保障体系很难把视角投入到某个具体应用的某个日志字段在高压力下会不会出错?在传统的应用服务质量保障理念里,日志字段的某个偶尔的小错误,没人会把它当作 Bug,开发人员更不会去关注。但如果你一旦把 数据当作了生产资料如果我们不对应用质量保障的理念和工具进行革新,你的大量的数据分析报告,训练好的算法模型,做出的决策可能很不可靠,因为你的生产资料本身就是垃圾,而古语有言:Garbage in , garbage out。

还有一个惊人的现状是,大量用于生产数据的复杂 SQL 并没有进行真正的测试,甚至,大量的数据系统并不存在一个所谓的测试环境。我们很难像测试线上服务(比如订单系统)那样去测试数据生产过程的正确性。那么这样通过几万行,甚至几十万行(严选)SQL 生产出来的数据到底能不能用?这个问题其实很难回答。

数据的可靠性是组织在转型数据驱动过程中一个非常大的陷阱。

大家都在讨论数据质量的重要性,但是内心又默默觉得这个事情比较低级。因此,我们很少见到有团队会把大量聪明的大脑投入到数据质量的保障上。

除了资源投入的缺失,很多数据团队对数据质量的认知也是各不相同。我曾经跟一位在数据行业从业 15 年,为某知名公司数据体系做出巨大贡献的前辈做过一次深入的沟通,聊起数据质量,”你觉得数据质量是什么?“ 他的回答是:“数据质量,真正需要考虑的是指标一致性。”。瞧瞧,就算是非常资深的同行,他的认知还是不够完整,按他对数据质量的理解,数据的支撑能做到报表给人看,这个层面就很完美了,要落地到战术层,落地到线上自动决策基本不可行(因为数据质量的故障难以像线上程序故障一样快速修复,它是一个持续污染的过程)。

数据做为智能决策的输入,是动态变化的。它没法像代码的依赖那样做静态分析,它的依赖层次动态而不稳定。

陷阱与缺陷 2: 数据科学的”科学”在哪?

数据科学是我们常常说起的一个词,也是形容我们日常工作的一个词,但当我们说起的时候,内心就会有些心虚,就光看到数据了,“科学”在哪里?如果没有”科学“的部分,我们的产出的结论会不会有问题?

这是一个*常见的问题,数据科学的从业者们,不知道什么是”科学“。所以江湖上才会有 SQL Boy, SQL Girl 的称呼。

一个常见的问题是数据指标之间的相关性到底是不是真的相关?我们做数据分析往往能看到很多有趣的相关性,比如*近几个月买了拖鞋的用户,看起来有更大的可能性在*近一个月复购另外一个商品。但是,这个相关性到底是不是真的存在,还是只是偶然的巧合(False Postive)?我们的分析报告很容易对这个问题视而不见。但如果这个相关性本身经不起推敲,它又如何来指导我们的工作呢?数据分析报告难道要靠运气来驱动业务发展么?

就算我们有不错的统计基础,给每个假设都加上了 P Value, 我们往往还很容易把相关性与因果性给搞混。两个事情相关,并不能得出结论说他们之间互为因果。我们需要通过因果分析的方法,为数据之间的相关性提出符合业务逻辑和商业逻辑的解释。

如果数据分析遗漏了因果分析这个过程,就会得出一些奇怪的结论。比如,我们发现较大的用户,买的鞋子一般也是大号。如果缺乏基于业务逻辑的因果分析我们可能会这样指导运营工作:为了让用户的脚变大,我们应该多卖大号的鞋子给他们。

但有的时候,我们很难直接的分析出数据之间的因果关系,很难直观的得出结论,这个时候,我们需要借助科学实验,帮我们更深入的理解我们的业务。

如何去做科学实验,我结合滴滴谢梁大神的观点(谢梁,数据科学中的“科学”),总结如下

  • 通过对数据的敏锐度和业务的熟悉程度,发现和定义问题;
  • 提出结构化,可量化的假设;
  • 设计验证实验。科学与实验是紧密关联的。在严选和很多公司,我们往往利用实验来判断方案的好坏。但是,其实实验更多的是用于帮助我们验证假设,帮我们更加深入的理解我们的用户(著名实验公司今天头条 CEO 说: 更多的时候,AB 测试帮助我们理解用户,而不是帮助我们决策)。设计一个好的实验,并不容易,需要根据假设梳理出要验证的指标,样本集,可控制的因子(往往是流量)。设计实验,需要*强的专业性。
  • 收集与分析数据。分析数据并不仅仅是直观的去看趋势的高低。分析数据首先需要对业务的主要指标及其相关性有清晰的概念,需要把指标之间的相关因子量化,甚至可计算。 我认为是先有结构化、系统化、量化的体系,再有数据分析。所幸的是,结构化的体系我们可以用系统和服务来支撑。 我们团队今年主要在设计与研发的 DIS 系统( 严选数据智能平台),一个主要目标就是解决这个问题。
  • 分析人员需要专业的量化分析能力、统计学能力。
陷阱与缺陷 3: 操纵,误导,数据的民主化不足

数据民主化在国外的数据社区讨论的很多,国内聊的比较少。数据科学家们通过黑魔法制造出一些模型来,然后告诉业务同学该怎么决策,告诉高层业务指标完成的好不好。数据的能力被限制在某一个专业团队,但它的产出却又跟业务紧密相关,这些未知会给业务人员和管理层带来恐惧与不安,数据团队给的结论会不会有可能是被操纵的?会不会有意无意的误导?这些问题会很容易让团队之间滋生不信任。

所以数据民主化不足带来的一个重要问题就是信任问题,那该怎么解决?

严选在一次产技共创会中,有同事提出,要跟业务“谈恋爱”。对于眼下的现实,这确实是解决信任问题的一个好办法。阿里的曾经的数据一把手车品觉老师也说过类似的话:数据同学要会”混,通,晒”,跟业务同吃同行,建立信任,才能互相成功。

但这终究不是一个可规模化和标准化的解决方案 。去年,我们在考虑 2019-2020 年严选数据平台发展的时候,想了很久这个问题。如何去降低数据使用的门槛,让一切更直观和更容易解释?我们开展的一些项目,SQL on AI, Data Intelligence System(DIS),算法平台等,一个共同的目标是 降低数据使用门槛,并通过产品的方式固化甚至可视化数据分析过程。

 陷阱与缺陷 4: 数据预测未来不是理所当然,预测的成功不仅是算法模型

老板们经常会把算法能力简单化:预测的不准?找两个 NB 的算法专家做个模型就能搞定!遗憾的是,现实并不这么简单,你可能找 100 个 NB 的算法专家都没用。

有人见过用算法来预测下一轮双色球中*号码的么?有人用算法来预测接近混沌状态的股市涨落么?作为一个旁观者,你能利用算法来预测意甲的每场比赛成绩么?

有的业务问题本身是无法预测的,因为它跟过去没有关系(比如双色球);有的业务问题预测成本很高,短时间内无法做出有价值的模型(比如预测股市,预测比赛等),需要考虑投入与回报。事实上,很多算法的成功落地应用,不光是需要有合适的模型,还需要大量维度的数据作为生产资料,更关键的是要有一个完善,可靠的 算法工程体系。而后者,往往会被决策者忽略。

决策者在考虑利用算法模型去预测未来时,他需要想明白 投入与产出,组织需要投入的不止是 几位算法大神就行,还需要建设完善的数据基础体系,还需要建设完善的算法工程体系。决策者如果期望数据和算法能发挥突破性的效应,需要有魄力把成本投入到自己目光不能及的地方,比如基础数据体系,比如算法工程。

陷阱与缺陷 5: 空中楼阁 – 基础设施与基础能力的不完备

这个问题比较抽象,对于 BI/ 算法 / 数据产品的同学而言,可能不好理解。不过大家只需要记住:数据的*底层,摇摇欲坠,并不坚实,同样需要一个团队精心守护。

大家在兴奋的玩耍数据,利用数据来驱动业务前进的时候,如果回头望望做 Data Infra 的同学,如果他们告诉你其实你在用的数据能不能真的算出来、有没有算对,他们也没多少信心的时候,你会不会觉得心惊肉跳,会不会觉得人生其实有些虚无?如果大家有机会采访下各个互联网公司,可以问问他们被抱怨*多或者故障*多的技术团队是哪个?相信答案都比较一致:“大数据基础团队”。包括严选的前面几年,这个情况也非常严重(当然现在也没好多少)。数据故障频出,数据产出排期长、节奏慢、不稳定等情况都很常见,很多时候我们是用睡觉时间在做人肉保障。每每回想起来,都会心惊。

这当然并不是因为大数据基础行业的从业者敬业精神不足或者能力不足。而是因为大数据体系其实并没有一个非常坚实的工程基础。

数据的基础设施可靠性不足:数据的采集系统,数据的存储系统,数据的计算系统,数据的分析引擎,这些服务的可靠性相比其他的在线服务低一大截。数据平台每天的定时数据计算服务,比如 Hive,或者 spark,成功率如果有 98%,已经算是很不错了,而线上服务系统,如果可靠率长期在 98% 以下,相关团队的同学很难坚持一年不被优化。就算数据成功的被计算出来了,我们的分析引擎,比如 impala,查询成功率也长期低于 95% 以下,在严选这个数据还要更差一些,impala 的查询失败或者超时,几乎每天都有不少。

计算模型不完备和广泛的误解:大数据的计算有两个模型:Streaming,Batch。两个模型对应的基础设施各自独立发展,谁也不理谁。同时,由于信息流转的速度问题,也有人把这两个模型称为实时计算和离线计算。虽然,Streaming & 实时计算;Batch & 离线计算,在很多现实场景中,存在着一致性,但本质上,它们是两回事。甚至很多从业者也无法清晰的分清楚这些基本概念,把实时计算和流计算等同,这给数据工作带来了巨大的困扰。

为了适配这两个计算模型,很多组织的 Data Infrastructure 团队会有独立的流计算团队和批处理团队;会有实时数仓和离线数仓,会有实时指标和离线指标等等。这些数仓和指标的研发人员存在着割裂,数仓建设方法论、指标定义也不尽相同。维护成本和解释成本都很高,出错几率也很大。很常见的情况是一个业务的数据需求,往往需要拆解成实时和离线两个方案,共同去实现。这个糟糕的局面没有变的更好。

LinkedIn、Uber、阿里等等公司都在尝试做批流融合,严选也在尝试,我们在做计算资源管理和调度层面的融合。但是,融合两种完全不同的计算模型,是一件不美好的事情,直觉上也不大对。我觉得现实的业务问题可能并不是聚焦在批流两种计算模型的不兼容上,而是聚焦在实时和离线两个时间维度上的不兼容。由于历史原因,实时的数据往往需要依赖流计算模式来产生,从而产生了实时计算 == 流计算的误会。而融合实时数据与离线计算,解决起来就容易很多 。而流处理也需要走向更适合它的场景。

其实能总结的问题远不止这些,比如我们会担心“算法替代思考,会不会伤害组织的远见?”、“大规模依赖 A/B 测试做决策,可能会导致运营策略的短视” 等等。

解决flutter packages get 失败的*好方案

Lady and Gentleman,相信用过flutter的小伙伴大多都遇到过这种问题,入下图所示

%title插图%num

上图所示的大概 意思就是flutter sdk的路径和项目中的不一样,我们只需用找出来修改即可,有这么两种情况:

1、当我们重新下载并安装了flutter的其他版本之后,新的flutter sdk路径和原来存放的不一样,我们得通过vim ~/.bash_profile查看环境变量,*行改成新的sdk路径(也就是你要用的sdk路径)即可,如下图所示:

%title插图%num

2、如果步骤一已经ok,那下一个就是你项目中的路径了,查看项目的 .packages 文件,里面也有sdk路径,全局搜索一下,看看项目中的sdk路径是否还是用的旧的,然后也改成*新的(也就是你要用的sdk路径)就可以了

看懂 Serverless,这一篇就够了

1. 无服务器(Serverless)计算是什么

%title插图%num

云计算涌现出很多改变传统IT架构和运维方式的新技术,比如虚拟机、容器、微服务,无论这些技术应用在哪些场景,降低成本、提升效率是云服务永恒的主题。

过去十年来,我们已经把应用和环境中很多通用的部分变成了服务。Serverless的出现,带来了跨越式变革。Serverless把主机管理、操作系统管理、资源分配、扩容,甚至是应用逻辑的全部组件都外包出去,把它们看作某种形式的商品——厂商提供服务,我们掏钱购买。

过去是“构建一个框架运行在一台服务器上,对多个事件进行响应”,Serverless则变为“构建或使用一个微服务或微功能来响应一个事件”,做到当访问时,调入相关资源开始运行,运行完成后,卸载所有开销,真正做到按需按次计费。这是云计算向纵深发展的一种自然而然的过程。

Serverless是一种构建和管理基于微服务架构的完整流程,允许你在服务部署级别而不是服务器部署级别来管理你的应用部署。它与传统架构的不同之处在于,完全由第三方管理,由事件触发,存在于无状态(Stateless)、暂存(可能只存在于一次调用的过程中)计算容器内。构建无服务器应用程序意味着开发者可以专注在产品代码上,而无须管理和操作云端或本地的服务器或运行时。Serverless真正做到了部署应用无需涉及基础设施的建设,自动构建、部署和启动服务。

国内外的各大云厂商 Amazon、微软、Google、IBM、阿里云、腾讯云、华为云相继推出Serverless产品,Serverless也从概念、愿景逐步走向落地,在各企业、公司应用开来。

2. 理解Serverless技术—FaaS和BaaS

Serverless由开发者实现的服务端逻辑运行在无状态的计算容器中,它由事件触发, 完全被第三方管理,其业务层面的状态则被开发者使用的数据库和存储资源所记录。Serverless涵盖了很多技术,分为两类:FaaS和BaaS。

2.1 FaaS(Function as a Service,函数即服务)

FaaS意在无须自行管理服务器系统或自己的服务器应用程序,即可直接运行后端代码。其中所指的服务器应用程序,是该技术与容器和PaaS(平台即服务)等其他现代化架构*大的差异。

FaaS可以取代一些服务处理服务器(可能是物理计算机,但*对需要运行某种应用程序),这样不仅不需要自行供应服务器,也不需要全时运行应用程序。

FaaS产品不要求必须使用特定框架或库进行开发。在语言和环境方面,FaaS函数就是常规的应用程序。例如AWS Lambda的函数可以通过Javascript、Python以及任何JVM语言(Java、Clojure、Scala)等实现。然而Lambda函数也可以执行任何捆绑有所需部署构件的进程,因此可以使用任何语言,只要能编译为Unix进程即可。FaaS函数在架构方面确实存在一定的局限,尤其是在状态和执行时间方面。

在迁往FaaS的过程中,唯一需要修改的代码是“主方法/启动”代码,其中可能需要删除顶级消息处理程序的相关代码(“消息监听器接口”的实现),但这可能只需要更改方法签名即可。在FaaS的世界中,代码的其余所有部分(例如向数据库执行写入的代码)无须任何变化。

相比传统系统,部署方法会有较大变化 – 将代码上传至FaaS供应商,其他事情均可由供应商完成。目前这种方式通常意味着需要上传代码的全新定义(例如上传zip或JAR文件),随后调用一个专有API发起更新过程。

FaaS中的函数可以通过供应商定义的事件类型触发。对于亚马逊AWS,此类触发事件可以包括S3(文件)更新、时间(计划任务),以及加入消息总线的消息(例如Kinesis)。通常你的函数需要通过参数指定自己需要绑定到的事件源。

大部分供应商还允许函数作为对传入Http请求的响应来触发,通常这类请求来自某种该类型的API网关(例如AWS API网关、Webtask)。

2.2 BaaS(Backend as a Service,后端即服务)

BaaS(Backend as a Service,后端即服务)是指我们不再编写或管理所有服务端组件,可以使用领域通用的远程组件(而不是进程内的库)来提供服务。理解BaaS,需要搞清楚它与PaaS的区别。

首先BaaS并非PaaS,它们的区别在于:PaaS需要参与应用的生命周期管理,BaaS则仅仅提供应用依赖的第三方服务。典型的PaaS平台需要提供手段让开发者部署和配置应用,例如自动将应用部署到Tomcat容器中,并管理应用的生命周期。BaaS不包含这些内容,BaaS只以API的方式提供应用依赖的后端服务,例如数据库和对象存储。BaaS可以是公共云服务商提供的,也可以是第三方厂商提供的。其次从功能上讲,BaaS可以看作PaaS的一个子集,即提供第三方依赖组件的部分。

BaaS服务还允许我们依赖其他人已经实现的应用逻辑。对于这点,认证就是一个很好的例子。很多应用都要自己编写实现注册、登录、密码管理等逻辑的代码,而对于不同的应用这些代码往往大同小异。完全可以把这些重复性的工作提取出来,再做成外部服务,而这正是Auth0和Amazon Cognito等产品的目标。它们能实现全面的认证和用户管理,开发团队再也不用自己编写或者管理实现这些功能的代码。

3. 无服务器(Serverless)计算如何工作?

与使用虚拟机或一些底层的技术来部署和管理应用程序相比,无服务器计算提供了一种更高级别的抽象。因为它们有不同的抽象和“触发器”的集合。

拿计算来讲,这种抽象有一个特定函数和抽象的触发器,它通常是一个事件。以数据库为例,这种抽象也许是一个表,而触发器相当于表的查询或搜索,或者通过在表中做一些事情而生成的事件。

比如一款手机游戏,允许用户在不同的平台上为全球顶级玩家使用高分数表。当请求此信息时,请求从应用程序到API接口。API接口或许会触发AWS的Lambda函数,或者无服务器函数,这些函数再从数据库表中获取到数据流,返回包含前五名分数的一定格式的数据。

一旦构建完成,应用程序的功能就可以在基于移动和基于 Web 的游戏版本中重用。

这跟设置服务器不同,不是必须要有Amazon EC2实例或服务器,然后等待请求。环境由事件触发,而响应事件所需的逻辑只在响应时执行。这意味着,运行函数的资源只有在函数运行时被创建,产生一种非常高效的方法来构建应用程序。

4. 无服务器(Serverless)适用于哪些场景?

%title插图%num

在现阶段,Serverless主要应用在以下几个场景。首先在Web及移动端服务中,可以整合API网关和Serverles服务构建Web及移动后端,帮助开发者构建可弹性扩展、高可用的移动或 Web后端应用服务。在IoT场景下可高效的处理实时流数据,由设备产生海量的实时信息流数据,通过Serverles服务分类处理并写入后端处理。另外在实时媒体资讯内容处理场景里,用户上传的音视频到对象存储OBS,通过上传事件触发多个函数,分别完成高清转码、音频转码等功能,满足用户对实时性和并发能力的高要求。无服务器计算还适合于任何事件驱动的各种不同的用例,这包括物联网,移动应用,基于网络的应用程序和聊天机器人等。这里简单说两个场景,方便大家思考。

4.1 场景一:应用负载有显著的波峰波谷

Serverless 应用成功与否的评判标准并不是公司规模的大小,而是其业务背后的具体技术问题,比如业务波峰波谷明显,如何实现削峰填谷。一个公司的业务负载具有波峰波谷时,机器资源要按照峰值需求预估;而在波谷时期机器利用率则明显下降,因为不能进行资源复用而导致浪费。

业界普遍共识是,当自有机器的利用率小于 30%,使用 Serverless 后会有显著的效率提升。对于云服务厂商,在具备了足够多的用户之后,各种波峰波谷叠加后平稳化,聚合之后资源复用性更高。比如,外卖企业负载高峰是在用餐时期,安防行业的负载高峰则是夜间,这是受各个企业业务定位所限的;而对于一个成熟的云服务厂商,如果其平台足够大,用户足够多,是不应该有明显的波峰波谷现象的。

4.2 场景二:典型用例 – 基于事件的数据处理

视频处理的后端系统,常见功能需求如下:视频转码、抽取数据、人脸识别等,这些均为通用计算任务,可由函数计算执行。

开发者需要自己写出实现逻辑,再将任务按照控制流连接起来,每个任务的具体执行由云厂商来负责。如此,开发变得更便捷,并且构建的系统天然高可用、实时弹性伸缩,用户不需要关心机器层面问题。

5. Serverless 的问题

对于企业来说,支持Serverless计算的平台可以节省大量时间和成本,同时可以释放员工,让开发者得以开展更有价值的工作,而不是管理基础设施。另一方面可以提高敏捷度,更快速地推出新应用和新服务,进而提高客户满意度。但是Serverless不是完美的,它也存在一些问题,需要慎重应用在生产环境。

5.1 不适合长时间运行应用

Serverless 在请求到来时才运行。这意味着,当应用不运行的时候就会进入 “休眠状态”,下次当请求来临时,应用将会需要一个启动时间,即冷启动时间。如果你的应用需要一直长期不间断的运行、处理大量的请求,那么你可能就不适合采用 Serverless 架构。如果你通过 CRON 的方式或者 CloudWatch 来定期唤醒应用,又会比较消耗资源。这就需要我们对它做优化,如果频繁调用,这个资源将会常驻内存,*次冷启之后,就可以一直服务,直到一段时间内没有新的调用请求进来,则会转入“休眠”状态,甚至被回收,从而不消耗任何资源。

5.2 完全依赖于第三方服务

当你所在的企业云环境已经有大量的基础设施的时候,Serverless 对于你来说,并不是一个好东西。当我们采用某云服务厂商的 Serverless 架构时,我们就和该服务供应商绑定了,那么我们再将服务迁到别的云服务商上就没有那么容易了。

我们需要修改一下系列的底层代码,能采取的应对方案,便是建立隔离层。这意味着,在设计应用的时候,就需要隔离 API 网关、隔离数据库层,考虑到市面上还没有成熟的 ORM 工具,让你既支持Firebase,又支持 DynamoDB等等。这些也将带给我们一些额外的成本,可能带来的问题会比解决的问题多。

5.3 缺乏调试和开发工具

当我使用 Serverless Framework 的时候,遇到了这样的问题:缺乏调试和开发工具。后来,我发现了 serverless-offline、dynamodb-local 等一系列插件之后,问题有一些改善。然而,对于日志系统来说,这仍然是一个艰巨的挑战。

每次你调试的时候,你需要一遍又一遍地上传代码。而每次上传的时候,你就好像是在部署服务器,并不能总是快速地定位出问题在哪。后来,找了一个类似于 log4j 这样的可以分级别记录日志的 Node.js 库 winston。它可以支持 error、warn、info、verbose、debug、silly 六个不同级别的日志,再结合大数据进行日志分析过滤,才能快速定位问题。

5.4 构建复杂

Serverless 很便宜,但是这并不意味着它很简单。AWS Lambda的 CloudFormation配置是如此的复杂,并且难以阅读及编写(JSON 格式),虽然CloudFomation提供了Template模板,但想要使用它的话,需要创建一个Stack,在Stack中指定你要使用的Template,然后aws才会按照Template中的定义来创建及初始化资源。

而Serverless Framework的配置更加简单,采用的是 YAML 格式。在部署的时候,Serverless Framework 会根据我们的配置生成 CloudFormation 配置。然而这也并非是一个真正用于生产的配置,真实的应用场景远远比这复杂。

6. 总结

云计算经过这么多年的发展,逐渐进化到用户仅需关注业务和所需的资源。比如,通过K8S这类编排工具,用户只要关注自己的计算和需要的资源(CPU、内存等)就行了,不需要操心到机器这一层。

Serverless架构让人们不再操心运行所需的资源,只需关注自己的业务逻辑,并且为实际消耗的资源付费。可以说,随着Serverless架构的兴起,真正的云计算时代才算到来了。

任何新概念新技术的落地,本质上都是要和具体业务去结合,去真正解决具体问题。虽然Serverless很多地方不成熟,亟待完善。不过Serverless自身的优越特性,对于开发者来说,吸引力是巨大的。相信随着技术的飞速发展,Serverless在未来还有无限可能!

服务器被大量 netstat 搞死,求问应该怎么个排查步骤

服务器被大量 netstat 搞死,求问应该怎么个排查步骤
narutots · 5 天前 · 818 次点击
1616128386_1_.jpg

netstat 排查 步骤 服务器9 条回复 • 2021-03-22 09:11:18 +08:00
lsylsy2 1
lsylsy2 5 天前 ❤️ 1
怎么觉得看起来像是伪装成 netstat 等正常程序的挖矿木马
cpstar 2
cpstar 5 天前 ❤️ 1
还有一堆 awk 和 xargs,应该是用管道做什么分析
Shirakawa 3
Shirakawa 5 天前 ❤️ 1
挖矿木马伪装的
crontab -l 看看说不准能发现啥玩意
Lax 4
Lax 4 天前 ❤️ 1
先把执行到程序找到,看看是不是系统自带的 ls -al /proc//
ik 5
ik 4 天前 via iPhone ❤️ 1
常用命令被替换了吧……
GGGG430 6
GGGG430 4 天前 ❤️ 1
strace -p 6887 看看这些进程在干啥
ch2 7
ch2 4 天前 via iPhone ❤️ 1
这个是挖矿病毒
narutots 8
narutots 2 天前
@GGGG430 好的
narutots 9
narutots 2 天前
@Lax 好的

远程桌面中转- 能否分享经验?

*近需要几台国外的 ubuntu 远程桌面来操作业务。

用国内的 windows 远程软件 RDP 连接太慢了。

搜索得到的方案,中转比较适合我,请问大家有这方面的经验吗?

远程 桌面 Ubuntu rdp4 条回复 • 2021-03-21 19:24:03 +08:00
xmumiffy 1
xmumiffy 2 天前 via Android
ucloud 有远程桌面加速
MakeItGreat 2
MakeItGreat 2 天前 via Android
可以用 proxifer 让 rdp 走代理
透明代理也可以
kekxv 3
kekxv 2 天前 via iPhone
ssh
ladypxy 4
ladypxy 2 天前 via iPhone
citrix+ netscaler

反代 gravatar

由于 gravatar 在国内访问困难,导致很多博客搭在国内的博主无**常使用 WordPress 的评论头像。现在就拿良心云反代一下 1 打开腾讯云官网,创建轻量应用服务器,这里我选择的系统是 centos,现在我这里选的是 1h1g 的

( img) https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8f2e3c1429d34c8fa844701a5b956664~tplv-k3u1fbpfcp-watermark.image

2 现在我们安装 lnmp (可以使用腾讯云已有镜像指路-应用镜像-lnmp ) 但是折腾一下不好嘛 233 ~~ lnmp 请在 lnmp.org 进行下载如果下载没反应(一般都有 wget 命令的啦)

请在 ssh 终端输入 yum -y install wget 中途选择 y 就好 安装 lnmp wget http://soft.vpser.net/lnmp/lnmp1.7.tar.gz -cO lnmp1.7.tar.gz && tar zxf lnmp1.7.tar.gz && cd lnmp1.7 && ./install.sh (安装 lnmp 一键包)可以 lnmp 的简单介绍( L-linux n-nginx m-mysql p-php ) 但是这里我们只需要 nginx,所以安装命令如下 cd/你的安装路径 安装路径内执行./install.sh nginx 安装好 nginx 后反代其文件(示例文件) #PROXY-START /location ~* .(php|jsp|cgi|asp|aspx)${ proxy_pass https://secure.gravatar.com; proxy_set_header Host secure.gravatar.com; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header REMOTE-HOST $remote_addr;}location /{ proxy_pass https://secure.gravatar.com;(反代的网站) proxy_set_header Host secure.gravatar.com; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header REMOTE-HOST $remote_addr; add_header X-Cache $upstream_cache_status; 辑后放入 nginx 的配置文件夹下(可以在记事本中编辑好后 SFTP 上传) 重启 nginx 配置 SSL 证书 推荐使用腾讯云轻量应用服务器完成此配置,CN2 线路可以确保反代访问流畅

下面讲述宝塔反代方法选择腾讯云轻量应用服务器宝塔镜像

进入宝塔按如下配置填写如下

申请 SSL

验证完成,反代成功! *后我假设你已经完成上述配置假设你已经可以反代 gravatar,反代域名为 www.example.com 如何更换反代源为自己的(以 wordpress,typecho 为例)

WordPress 登录到自己的后台找到主题-主题编辑器找到 fuctions.php (找到以下代码) gravatar_cn($url){ $gravatar_url = array(‘0.gravatar.com/avatar’,’1.gravatar.com/avatar’,’2.gravatar.com/avatar’,’secure.gravatar.com/avatar’); [将反代地址填入上方*.gravatar.com/avatar 替换为你的反代域名] return str_replace( $gravatar_url, akina_option(‘gravatar_proxy’), $url );}if(akina_option(‘gravatar_proxy’)){ add_filter(‘get_avatar_url’, ‘gravatar_cn’, 4);}
LNMP Nginx Gravatar wget6 条回复 • 2021-03-20 18:40:01 +08:00
Steps 1
Steps 4 天前
搞那么麻烦干什么,直接用阿里 CDN 就行了,选择源站为 www.gravatar.com 即可,
aiz 2
aiz 4 天前 via Android
@Steps 害怕,CDN 被打了,天价费用。。
markgor 3
markgor 4 天前 ❤️ 1
V2EX 源 https://cdn.v2ex.com/gravatar/
Loli 源 https://gravatar.loli.net/avatar/
*客族 https://sdn.geekzu.org/avatar/

直接用这些不好吗。。。
littlewing 4
littlewing 4 天前 via iPhone
nginx 配置个 proxy 不就完事了,写那么多废话,有必要吗
而且你这排版,真有人会看?
indev 5
indev 3 天前
我也有一个: https://cdn.frankindev.com/avatar/
Hanada 6
Hanada 3 天前 via Android
@Steps 阿里云 cdn 回源直接 502,我都是找一台海外机反代了再让阿里云 cdn 回源的……

友情链接: SITEMAP | 旋风加速器官网 | 旋风软件中心 | textarea | 黑洞加速器 | jiaohess | 老王加速器 | 烧饼哥加速器 | 小蓝鸟 | tiktok加速器 | 旋风加速度器 | 旋风加速 | quickq加速器 | 飞驰加速器 | 飞鸟加速器 | 狗急加速器 | hammer加速器 | trafficace | 原子加速器 | 葫芦加速器 | 麦旋风 | 油管加速器 | anycastly | INS加速器 | INS加速器免费版 | 免费vqn加速外网 | 旋风加速器 | 快橙加速器 | 啊哈加速器 | 迷雾通 | 优途加速器 | 海外播 | 坚果加速器 | 海外vqn加速 | 蘑菇加速器 | 毛豆加速器 | 接码平台 | 接码S | 西柚加速器 | 快柠檬加速器 | 黑洞加速 | falemon | 快橙加速器 | anycast加速器 | ibaidu | moneytreeblog | 坚果加速器 | 派币加速器 | 飞鸟加速器 | 毛豆APP | PIKPAK | 安卓vqn免费 | 一元机场加速器 | 一元机场 | 老王加速器 | 黑洞加速器 | 白石山 | 小牛加速器 | 黑洞加速 | 迷雾通官网 | 迷雾通 | 迷雾通加速器 | 十大免费加速神器 | 猎豹加速器 | 蚂蚁加速器 | 坚果加速器 | 黑洞加速 | 银河加速器 | 猎豹加速器 | 海鸥加速器 | 芒果加速器 | 小牛加速器 | 极光加速器 | 黑洞加速 | movabletype中文网 | 猎豹加速器官网 | 烧饼哥加速器官网 | 旋风加速器度器 | 哔咔漫画 | PicACG | 雷霆加速