您正在查看: Young 发布的文章

FastDFS分布式文件系统在服务器集群上的安装部署

Overview 到目前为止,我们手里已经有了10台服务器了。之前一直说要把这些服务器搭建一个分布式文件系统,现在条件终于成熟了。这些服务器预装的系统大多数是Ubuntu16.04LTS发行版的Linux,少部分是Ubuntu14.04LTS。这次我们选择5台服务器,1台feagen(118.138.241.39)服务器作为tracker,4台服务器(Bastion3(118.138.24...阅读全文>>

机器学习项目服务器上线部署全流程记录

Overview 我们团队完整的机器学习项目已经做了两个了,分别是Bastion4和Bastion6。之前两个项目上线部署的记录过于片段化,针对现在马上要做完的Bastion3项目,我们在此完整记录搭建服务器各种环境的全部流程,以备不时之需。 完整的项目基本分为三大部分:Java处理业务逻辑;Perl后台消息队列;R机器学习模型预测。每个大部分还有很多细节,我们会在每部分都详细记录。 新申...阅读全文>>

R语言输出表格到Word

Overview 由于投稿论文,需要将大量csv格式的表格输出到Word当中。故将csv格式的表格读入到R中,然后再从R中输出至Word。这需要一个软件和几个R包的支持,故将安装过程记录下来。 1.下载安装statconnDCOM 在Windows系统下,到 http://rcom.univie.ac.at 下载statconnDCOM3.6-0B3_Noncommercial,这是非商业...阅读全文>>

ubuntu14.04安装gearman及perl扩展包

Overview Bastion4这个项目经过我们实验验证和安全考虑,决定舍弃kafka而转用gearman这个消息队列框架,具体分析将在后续文章中给出,这里只记录gearman相关的安装。 1.下载安装gearman 最新版的gearman是gearmand-1.1.12。我们执行下面几步,先将其下载到本地主文件夹,并解压缩。 sudo apt-get update wget https...阅读全文>>

Java后台获取客户端ip地址的注意事项

Overview 前面讲到,消息队列需要用到客户端的ip地址和时间戳,获取客户端的ip地址就需要下面几行简单的代码。 import javax.servlet.http.HttpServletRequest; HttpServletRequest request = ServletActionContext.getRequest(); String ipAddress = request...阅读全文>>

ssh和FileZilla远程连接服务器的问题

Overview 前些天用ssh通过命令行登录我们的bastion4服务器还一切正常,到了昨天已经不能使用,但是用了相同的密钥的FileZilla依然可以登录,这就很奇怪了。 1.问题所在 用FileZilla登录到远程服务器,找到ubuntu用户下面的.ssh文件夹,打开之后可以看到只有一个文件authorized_keys,我把它下载下来。完成之后,我到本机的/home/young/D...阅读全文>>

kafka在java中简单应用

Overview 之前的这篇博客ubuntu14.04单机安装配置zookeeper和kafka,介绍了zookeeper和kafka的安装配置,并在命令行下验证了生产者消费者可以跑通。但是实际项目中,需要和java交互,不可能接触到命令行和后台的。本文旨在记录一下java和kafka的简单交互,web中道理相同,只不过程序入口换成了action。 1.新建项目配置环境 打开eclipse...阅读全文>>

SQLite数据库在java中应用

Overview 这次的服务器,我们准备使用消息队列和SQLite这两个新东西,SQLite主要负责将用户提交的序列信息存储,并在结果页面查询显示。存储的信息包括用户的ip+timeStamp,序列内容,序列的处理状态。 1.安装SQLite SQLite的安装特别简单。 ubuntu14.04这个版本自带SQLite,在命令行输入sqlite3,显示如下: ~sqlite3 SQLite...阅读全文>>

KafkaOffsetMonitor监控消息消费状态

Overview 这次做服务器,计划加入消息队列,并在web页面显示当前提交的序列处理状态和已处理序列的信息。我们知道,在后台命令行中可以看到kafka的消息者处理消息的状态,但是,对于访问者来说,查看命令行是不现实的,于是我们便采用了KafkaOffsetMonitor这一开源软件。Github的下载地址如下:Kafka Offset Monitor。 1. 安装jdk,zookeepe...阅读全文>>

ubuntu14.04单机安装配置zookeeper和kafka

Overview T4这个项目实验部分已经结束,下面需要将服务器做出来。为了方便以后扩展分布式的需要,这次将会运用Apache Kafka这个分布式消息发布订阅系统,以满足多人同时提交计算T4序列,解决并发排队问题。Apache kafka的详细介绍详见官网:Apache kafka。 运行Apache Kafka,需要先安装好jdk和zookeeper。jdk安装过程就不赘述了。 1.安...阅读全文>>