您正在查看: Unix/Linux/Mac系统 分类下的文章

FastDFS分布式文件系统在服务器集群上的安装部署

Overview 到目前为止,我们手里已经有了10台服务器了。之前一直说要把这些服务器搭建一个分布式文件系统,现在条件终于成熟了。这些服务器预装的系统大多数是Ubuntu16.04LTS发行版的Linux,少部分是Ubuntu14.04LTS。这次我们选择5台服务器,1台feagen(118.138.241.39)服务器作为tracker,4台服务器(Bastion3(118.138.24...阅读全文>>

R脚本在Windows和Mac上的一点不兼容

Overview 今天在Mac上运行一个在Windows中处理过的R脚本,不能正常运行,错误信息指向明确。 问题描述 使用./H_gr500_tune.R运行,报下面的错误: env: Rscript\r: No such file or directory 打开这个脚本,头几行内容如下: #!/usr/bin/env Rscript library(e1071) library(ply...阅读全文>>

ubuntu14.04安装gearman及perl扩展包

Overview Bastion4这个项目经过我们实验验证和安全考虑,决定舍弃kafka而转用gearman这个消息队列框架,具体分析将在后续文章中给出,这里只记录gearman相关的安装。 1.下载安装gearman 最新版的gearman是gearmand-1.1.12。我们执行下面几步,先将其下载到本地主文件夹,并解压缩。 sudo apt-get update wget https...阅读全文>>

ssh和FileZilla远程连接服务器的问题

Overview 前些天用ssh通过命令行登录我们的bastion4服务器还一切正常,到了昨天已经不能使用,但是用了相同的密钥的FileZilla依然可以登录,这就很奇怪了。 1.问题所在 用FileZilla登录到远程服务器,找到ubuntu用户下面的.ssh文件夹,打开之后可以看到只有一个文件authorized_keys,我把它下载下来。完成之后,我到本机的/home/young/D...阅读全文>>

KafkaOffsetMonitor监控消息消费状态

Overview 这次做服务器,计划加入消息队列,并在web页面显示当前提交的序列处理状态和已处理序列的信息。我们知道,在后台命令行中可以看到kafka的消息者处理消息的状态,但是,对于访问者来说,查看命令行是不现实的,于是我们便采用了KafkaOffsetMonitor这一开源软件。Github的下载地址如下:Kafka Offset Monitor。 1. 安装jdk,zookeepe...阅读全文>>

ubuntu14.04单机安装配置zookeeper和kafka

Overview T4这个项目实验部分已经结束,下面需要将服务器做出来。为了方便以后扩展分布式的需要,这次将会运用Apache Kafka这个分布式消息发布订阅系统,以满足多人同时提交计算T4序列,解决并发排队问题。Apache kafka的详细介绍详见官网:Apache kafka。 运行Apache Kafka,需要先安装好jdk和zookeeper。jdk安装过程就不赘述了。 1.安...阅读全文>>

python计算smoothed PSSM(二)

Overview 上一篇文章python计算smoothed PSSM(一)当中,介绍了以当前氨基酸残基为基点,左右取相同数目的序列,然后叠加计算。Chris介绍,这样的算法有特定的用场:蛋白质后修饰。但是,普通的蛋白质序列提取特征就不太适用了:因为窗口值(smoothed window)只能取奇数,而如果有偶数长度的序列片段包含有特征,这种算法就会漏掉。于是决定写一个新的python脚本...阅读全文>>

python计算smoothed PSSM(一)

Overview 最近几天,Chris和我看了很多论文,对PSSM有了更深的认识。但是,鉴于PSSM本身包含单个位置的信息更明显,而几乎没有包含蛋白质序列片段信息,我们两人思考如何将蛋白质序列片段信息编码,终于找到了一种PSSM的处理方式,这种方式叫做smoothed window,特此记录一下。 该算法原理,请参考这篇论文:Predicting RNA-binding sites of ...阅读全文>>

python分离正负样本

Overview 机器学习算法在项目中应用的时候,有时候会用到分离fasta格式的正负样本。于是就写了一个python脚本,效果不错,记录一下。 1. separatePosNeg.py #! /usr/bin/env python # -*- coding: utf-8 -*- # vim:fenc=utf-8 import fileinput i...阅读全文>>

生物信息中常用的Linux命令(二)

Overview 做项目时出现过某些蛋白质序列出现O或者X等情况,导致计算出的PSSM矩阵也有问题。今天又遇到这种情况,在比对文件的时候,用到了两条文件操作的linux命令,记录一下。其他更多的内容参考之前Chris写的另一篇文章生物信息中常用的Linux命令。 1. 按顺序合并文件 普通的合并文件可以直接用一个cat命令,而按顺序合并多个文件必须遍历这些文件,逐个合并。命令如下: for...阅读全文>>