R语言输出表格到Word

Overview 由于投稿论文,需要将大量csv格式的表格输出到Word当中。故将csv格式的表格读入到R中,然后再从R中输出至Word。这需要一个软件和几个R包的支持,故将安装过程记录下来。 1.下载安装statconnDCOM 在Windows系统下,到 http://rcom.univie.ac.at 下载statconnDCOM3.6-0B3_Noncommercial,这是非商业...阅读全文>>

ubuntu14.04安装gearman及perl扩展包

Overview Bastion4这个项目经过我们实验验证和安全考虑,决定舍弃kafka而转用gearman这个消息队列框架,具体分析将在后续文章中给出,这里只记录gearman相关的安装。 1.下载安装gearman 最新版的gearman是gearmand-1.1.12。我们执行下面几步,先将其下载到本地主文件夹,并解压缩。 sudo apt-get update wget https...阅读全文>>

配置Apache2服务器以CGI方式运行Perl程序

Overview 这次我们开发Bastion4服务器使用了JAVA+Perl的架构,后端用Perl做服务器提供Webservice,用JAVA框架Struts接收处理用户请求,再跟Perl服务器交互。 我们使用Apache2作为Perl服务器,由于Apache2默认并不支持Perl,因此需要简单配置一下,使得Apache2以CGI的方式支持Perl运行。在配置的过程中,参考了一些网页,但由...阅读全文>>

Java后台获取客户端ip地址的注意事项

Overview 前面讲到,消息队列需要用到客户端的ip地址和时间戳,获取客户端的ip地址就需要下面几行简单的代码。 import javax.servlet.http.HttpServletRequest; HttpServletRequest request = ServletActionContext.getRequest(); String ipAddress = request...阅读全文>>

ssh和FileZilla远程连接服务器的问题

Overview 前些天用ssh通过命令行登录我们的bastion4服务器还一切正常,到了昨天已经不能使用,但是用了相同的密钥的FileZilla依然可以登录,这就很奇怪了。 1.问题所在 用FileZilla登录到远程服务器,找到ubuntu用户下面的.ssh文件夹,打开之后可以看到只有一个文件authorized_keys,我把它下载下来。完成之后,我到本机的/home/young/D...阅读全文>>

kafka在java中简单应用

Overview 之前的这篇博客ubuntu14.04单机安装配置zookeeper和kafka,介绍了zookeeper和kafka的安装配置,并在命令行下验证了生产者消费者可以跑通。但是实际项目中,需要和java交互,不可能接触到命令行和后台的。本文旨在记录一下java和kafka的简单交互,web中道理相同,只不过程序入口换成了action。 1.新建项目配置环境 打开eclipse...阅读全文>>

SQLite数据库在java中应用

Overview 这次的服务器,我们准备使用消息队列和SQLite这两个新东西,SQLite主要负责将用户提交的序列信息存储,并在结果页面查询显示。存储的信息包括用户的ip+timeStamp,序列内容,序列的处理状态。 1.安装SQLite SQLite的安装特别简单。 ubuntu14.04这个版本自带SQLite,在命令行输入sqlite3,显示如下: ~sqlite3 SQLite...阅读全文>>

KafkaOffsetMonitor监控消息消费状态

Overview 这次做服务器,计划加入消息队列,并在web页面显示当前提交的序列处理状态和已处理序列的信息。我们知道,在后台命令行中可以看到kafka的消息者处理消息的状态,但是,对于访问者来说,查看命令行是不现实的,于是我们便采用了KafkaOffsetMonitor这一开源软件。Github的下载地址如下:Kafka Offset Monitor。 1. 安装jdk,zookeepe...阅读全文>>

ubuntu14.04单机安装配置zookeeper和kafka

Overview T4这个项目实验部分已经结束,下面需要将服务器做出来。为了方便以后扩展分布式的需要,这次将会运用Apache Kafka这个分布式消息发布订阅系统,以满足多人同时提交计算T4序列,解决并发排队问题。Apache kafka的详细介绍详见官网:Apache kafka。 运行Apache Kafka,需要先安装好jdk和zookeeper。jdk安装过程就不赘述了。 1.安...阅读全文>>

训练集归一化和测试集归一化

Overview 做T4这个项目时,训练集采用了1502条正负样本数据,生成了大量的特征,由于各特征数据变化范围差异很大,于是我们按照重新缩放法做了数据的归一化,使得各特征的取值范围均控制在(0,1)内。然而在预测独立测试集3371条正负样本时,遇到一些疑问:独立测试集怎么办?如果独立测试集归一化,该怎么归一化,以谁为基准归一化,即它的最大值和最小值从何而来? 首先,毋庸置疑,独立测试集必...阅读全文>>