Cardiff Gravity Exploration Institute

User Tools

Site Tools

Trace:
public:benchmark

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
public:benchmark [2014/12/16 08:47] – [LALInference Nest] paul.hopkins@LIGO.ORGpublic:benchmark [2015/03/18 23:58] (current) – [LALInference Nest] paul.hopkins@LIGO.ORG
Line 12: Line 12:
 # Pull in required modules # Pull in required modules
 module load gsl/1.15 module load gsl/1.15
-module load fftw/3.3-sse2 +module load fftw/3.3-avx 
-module load fftw/3.3-sse2-float+module load fftw/3.3-avx-float
 module load libframe/8.04-2 module load libframe/8.04-2
 module load libmetaio/8.4 module load libmetaio/8.4
Line 22: Line 22:
 INSTALLDIR=$WORKDIR/install INSTALLDIR=$WORKDIR/install
 RUNDIR=$WORKDIR/runs RUNDIR=$WORKDIR/runs
-CONFIGOPTS="--enable-swig-python --disable-laldetchar --disable-lalinference --disable-lalpulsar --disable-lalburst --disable-lalstochastic --disable-lalapps -disable-gcc-flags --disable-debug"+CONFIGOPTS="--enable-swig-python --disable-laldetchar --disable-lalburst --disable-lalstochastic --disable-gcc-flags --disable-debug"
  
 mkdir -p $WORKDIR mkdir -p $WORKDIR
Line 338: Line 338:
 Using an NVidia Tesla K10 this completed in a time of 330 seconds. Using an NVidia Tesla K10 this completed in a time of 330 seconds.
  
-===== Build LALSuite (Again) ===== 
- 
-Previous build instructions minimal set, this build it all: 
- 
-<code bash> 
-#!/usr/bin/env bash                                                                                                                                                                                                               
-set -x                                                                                                                                                                                                                            
-set -e                                                                                                                                                                                                                            
-                                                                                                                                                                                                                                  
-# Make space for the test                                                                                                                                                                                                         
-mkdir -p lalinference_test 
-cd lalinference_test 
-WORKDIR=${PWD} 
-INSTALLDIR=${PWD}/opt 
- 
-# Download the lalsuite repository                                                                                                                                                                                                
-if [ -e lalsuite ] 
-then 
-  echo "Found a previous copy of lalsuite, updating it" 
-  cd lalsuite 
-  git pull 
-  cd .. 
-else 
-  echo "Downloading a new copy of lalsuite" 
-  git clone git://ligo-vcs.phys.uwm.edu/lalsuite.git 
-fi 
- 
-# Condor-compile the lalsuite repository                                                                                                                                                                                          
-echo "Compiling lalsuite" 
-cd lalsuite 
-#./00boot && ./configure --prefix=${INSTALLDIR} --enable-swig-python && make -j8 install                                                                                                                                          
-echo "Compiling GLUE and PYLAL" 
-for F in ${WORKDIR}/opt/etc/*env.sh; do source $F; done 
-cd pylal && python setup.py install --prefix=${INSTALLDIR} 
-cd ../glue 
-python setup.py install --prefix=${INSTALLDIR} 
-cd ${WORKDIR} 
-echo "Finished installing PYLAL and GLUE" 
-</code> 
  
 ===== LALInference Nest ===== ===== LALInference Nest =====
-Download the ''testinj.xml'' {{:public:testinj.xml|file}} and using the ''lalinference_nest'' application:+Download the ''testinj.xml'' {{:public:testinj.xml|file}} (''%%wget https://gravity.astro.cf.ac.uk/dokuwiki/_media/public/testinj.xml%%'') 
 +and then using the ''lalinference_nest'' application:
 <code bash> <code bash>
 +source $INSTALLDIR/etc/lalinference-user-env.sh
 time lalinference_nest --Neff 1000 \ time lalinference_nest --Neff 1000 \
                   --psdlength 255 \                   --psdlength 255 \
Line 408: Line 371:
                   --ifo L1 \                   --ifo L1 \
                   --Nmcmc 100                   --Nmcmc 100
- 
 </code> </code>
  
Line 414: Line 376:
 Using ''--Nmcmc 100'': Using ''--Nmcmc 100'':
 <code> <code>
 +Turbo Boost On: 3500 MHz
 real    15m17.527s real    15m17.527s
 user    15m14.425s user    15m14.425s
 sys     0m0.404s sys     0m0.404s
 +
 +Turbo Boost Off: 2700 MHz 
 +real    19m38.241s
 +user    19m35.629s
 +sys     0m0.540s
 </code> </code>
  
 and for ''--Nmcmc 200'' and for ''--Nmcmc 200''
 <code> <code>
 +Turbo Boost On
 real    35m40.957s real    35m40.957s
 user    20m12.832s user    20m12.832s
 sys     0m0.334s sys     0m0.334s
 </code> </code>
 +
 +And on an ARCCA Sandy Bridge node
 +<code>
 +real    23m21.891s
 +user    23m20.324s
 +sys     0m0.586s
 +</code>
 +
 +Haswell node:
 +<code>
 +Turbo Boost Off
 +real    20m52.627s
 +user    20m52.242s
 +sys     0m0.435s
 +
 +Turbo Boost Off: Icc -O3 -xHost
 +real    12m43.876s
 +user    12m43.007s
 +sys     0m0.363s
 +
 +and for 24: 13m09s - 13m53s
 +</code>
 +
  
 ===== Heterodyne Pulsar ===== ===== Heterodyne Pulsar =====
 +
 +Using the ''lalapps_heterodyne_pulsar'' application and the following script 
 +<code bash>
 +cp -R /home/spxph/AcceptanceTestsHeterodyne/* .
 +. $INSTALLDIR/etc/lalapps-user-env.sh
 +time lalapps_heterodyne_pulsar --heterodyne-flag 0 --ifo H1 --pulsar J0000+0000 --param-file J0000+0000.par \
 +                               --sample-rate 16384 --resample-rate 1 --filter-knee 0.25 \
 +                               --data-file H_cache.txt --seg-file H_segs.txt --channel H1:LDAS-STRAIN \
 +                               --output-dir H1/931052708-931453056 --freq-factor 2
 +</code>
 +
 +Running on Intel(R) Xeon(R) CPU E5-2697 v2 @ 2.70GHz (Ivy Bridge) for the times ''931052708-931453056'' gives times of:
 +<code>
 +Turbo Boost On: 3500 MHz
 +real    12m43.314s
 +user    12m0.647s
 +sys     0m34.930s
 +
 +Turbo Boost Off: 2700 MHz
 +real 16m9.190s
 +user 15m26.190s
 +sys 0m35.840s
 +</code>
 +Raven Sandy Bridge node for the times: ''931052708-931453056'':
 +<code>
 +real    19m17.915s
 +user    16m28.514s
 +sys     1m26.912s
 +</code>
 +Raven Haswell node.
 +<code>
 +real    16m12.350s
 +user    13m54.145s
 +sys     1m12.344s
 +</code>
 +
 +This command was prouced using the following script:
 <code bash> <code bash>
 #!/bin/bash #!/bin/bash
Line 515: Line 544:
 $EXECCODE --ephem-earth-file $EEPHEM --ephem-sun-file $SEPHEM --ephem-time-file $TEPHEM --heterodyne-flag 1 --ifo $DETECTOR --pulsar $PSRNAME --param-file $PFILE --sample-rate $SRATE2 --resample-rate $SRATE3 --filter-knee $FKNEE --data-file $COARSEFILE --output-dir $OUTDIR --channel $CHANNEL --seg-file $segfile --freq-factor 2 --stddev-thresh 5 --verbose $EXECCODE --ephem-earth-file $EEPHEM --ephem-sun-file $SEPHEM --ephem-time-file $TEPHEM --heterodyne-flag 1 --ifo $DETECTOR --pulsar $PSRNAME --param-file $PFILE --sample-rate $SRATE2 --resample-rate $SRATE3 --filter-knee $FKNEE --data-file $COARSEFILE --output-dir $OUTDIR --channel $CHANNEL --seg-file $segfile --freq-factor 2 --stddev-thresh 5 --verbose
 </code> </code>
 +
 +where the following is the ''make_segs.sh'' script:
 +
 <code bash> <code bash>
 #!/bin/bash #!/bin/bash
Line 574: Line 606:
 rm ${outfile}_tmp.txt rm ${outfile}_tmp.txt
 </code> </code>
 +
 +
public/benchmark.1418719675.txt.gz · Last modified: 2014/12/16 08:47 by paul.hopkins@LIGO.ORG