{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# EGS master catalogue\n", "## Preparation of Canada France Hawaii Telescope Lensing Survey (CFHTLenS) data\n", "\n", "CFHTLenS catalogue: the catalogue comes from `dmu0_CFHTLenS`.\n", "\n", "In the catalogue, we keep:\n", "\n", "- The identifier (it's unique in the catalogue);\n", "- The position;\n", "- The stellarity;\n", "- The kron magnitude, there doesn't appear to be aperture magnitudes. This may mean the survey is unusable.\n", "\n", "We use the publication year 2012 for the epoch." ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "This notebook was run with herschelhelp_internal version: \n", "0246c5d (Thu Jan 25 17:01:47 2018 +0000) [with local modifications]\n", "This notebook was executed on: \n", "2018-02-07 19:29:53.426721\n" ] } ], "source": [ "from herschelhelp_internal import git_version\n", "print(\"This notebook was run with herschelhelp_internal version: \\n{}\".format(git_version()))\n", "import datetime\n", "print(\"This notebook was executed on: \\n{}\".format(datetime.datetime.now()))" ] }, { "cell_type": "code", "execution_count": 2, "metadata": { "collapsed": true }, "outputs": [], "source": [ "%matplotlib inline\n", "#%config InlineBackend.figure_format = 'svg'\n", "\n", "import matplotlib.pyplot as plt\n", "plt.rc('figure', figsize=(10, 6))\n", "\n", "from collections import OrderedDict\n", "import os\n", "\n", "from astropy import units as u\n", "from astropy.coordinates import SkyCoord\n", "from astropy.table import Column, Table\n", "import numpy as np\n", "\n", "from herschelhelp_internal.flagging import gaia_flag_column\n", "from herschelhelp_internal.masterlist import nb_astcor_diag_plot, remove_duplicates\n", "from herschelhelp_internal.utils import astrometric_correction, mag_to_flux" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "collapsed": true }, "outputs": [], "source": [ "OUT_DIR = os.environ.get('TMP_DIR', \"./data_tmp\")\n", "try:\n", " os.makedirs(OUT_DIR)\n", "except FileExistsError:\n", " pass\n", "\n", "RA_COL = \"cfhtlens_ra\"\n", "DEC_COL = \"cfhtlens_dec\"" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## I - Column selection" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "collapsed": true }, "outputs": [], "source": [ "imported_columns = OrderedDict({\n", " 'id': \"cfhtlens_id\",\n", " 'ALPHA_J2000': \"cfhtlens_ra\",\n", " 'DELTA_J2000': \"cfhtlens_dec\",\n", " 'CLASS_STAR': \"cfhtlens_stellarity\",\n", " 'MAG_u': \"m_cfhtlens_u\",\n", " 'MAGERR_u': \"merr_cfhtlens_u\",\n", " 'MAG_g': \"m_cfhtlens_g\",\n", " 'MAGERR_g': \"merr_cfhtlens_g\",\n", " 'MAG_r': \"m_cfhtlens_r\",\n", " 'MAGERR_r': \"merr_cfhtlens_r\",\n", " 'MAG_i': \"m_cfhtlens_i\",\n", " 'MAGERR_i': \"merr_cfhtlens_i\",\n", " 'MAG_z': \"m_cfhtlens_z\",\n", " 'MAGERR_z': \"merr_cfhtlens_z\",\n", "\n", " })\n", "\n", "\n", "catalogue = Table.read(\"../../dmu0/dmu0_CFHTLenS/data/CFHTLenS_EGS.fits\")[list(imported_columns)]\n", "for column in imported_columns:\n", " catalogue[column].name = imported_columns[column]\n", "\n", "epoch = 2012 #Year of publication\n", "\n", "# Clean table metadata\n", "catalogue.meta = None" ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "/opt/anaconda3/envs/herschelhelp_internal/lib/python3.6/site-packages/astropy/table/column.py:1096: MaskedArrayFutureWarning: setting an item on a masked array which has a shared mask will not copy the mask and also change the original mask array in the future.\n", "Check the NumPy 1.11 release notes for more information.\n", " ma.MaskedArray.__setitem__(self, index, value)\n", "/opt/anaconda3/envs/herschelhelp_internal/lib/python3.6/site-packages/ipykernel/__main__.py:10: RuntimeWarning: invalid value encountered in greater\n", "/opt/anaconda3/envs/herschelhelp_internal/lib/python3.6/site-packages/ipykernel/__main__.py:11: RuntimeWarning: invalid value encountered in greater\n" ] } ], "source": [ "# Adding flux and band-flag columns\n", "for col in catalogue.colnames:\n", " if col.startswith('m_'):\n", " \n", " errcol = \"merr{}\".format(col[1:])\n", " \n", "\n", " catalogue[col][catalogue[col] <= 0] = np.nan\n", " catalogue[errcol][catalogue[errcol] <= 0] = np.nan \n", " catalogue[col][catalogue[col] > 90.] = np.nan\n", " catalogue[errcol][catalogue[errcol] > 90.] = np.nan \n", "\n", " flux, error = mag_to_flux(np.array(catalogue[col]), np.array(catalogue[errcol]))\n", " \n", " # Fluxes are added in µJy\n", " catalogue.add_column(Column(flux * 1.e6, name=\"f{}\".format(col[1:])))\n", " catalogue.add_column(Column(error * 1.e6, name=\"ferr{}\".format(col[1:])))\n", " \n", " # We add nan filled aperture photometry for consistency\n", " catalogue.add_column(Column(np.full(len(catalogue), np.nan), name=\"m_ap{}\".format(col[1:])))\n", " catalogue.add_column(Column(np.full(len(catalogue), np.nan), name=\"merr_ap{}\".format(col[1:])))\n", " catalogue.add_column(Column(np.full(len(catalogue), np.nan), name=\"f_ap{}\".format(col[1:])))\n", " catalogue.add_column(Column(np.full(len(catalogue), np.nan), name=\"ferr_ap{}\".format(col[1:])))\n", " \n", " # Band-flag column\n", " if \"ap\" not in col:\n", " catalogue.add_column(Column(np.zeros(len(catalogue), dtype=bool), name=\"flag{}\".format(col[1:])))\n", " \n", "# TODO: Set to True the flag columns for fluxes that should not be used for SED fitting." ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/html": [ "<Table masked=True length=10>\n", "
idx | cfhtlens_id | cfhtlens_ra | cfhtlens_dec | cfhtlens_stellarity | m_cfhtlens_u | merr_cfhtlens_u | m_cfhtlens_g | merr_cfhtlens_g | m_cfhtlens_r | merr_cfhtlens_r | m_cfhtlens_i | merr_cfhtlens_i | m_cfhtlens_z | merr_cfhtlens_z | f_cfhtlens_u | ferr_cfhtlens_u | m_ap_cfhtlens_u | merr_ap_cfhtlens_u | f_ap_cfhtlens_u | ferr_ap_cfhtlens_u | flag_cfhtlens_u | f_cfhtlens_g | ferr_cfhtlens_g | m_ap_cfhtlens_g | merr_ap_cfhtlens_g | f_ap_cfhtlens_g | ferr_ap_cfhtlens_g | flag_cfhtlens_g | f_cfhtlens_r | ferr_cfhtlens_r | m_ap_cfhtlens_r | merr_ap_cfhtlens_r | f_ap_cfhtlens_r | ferr_ap_cfhtlens_r | flag_cfhtlens_r | f_cfhtlens_i | ferr_cfhtlens_i | m_ap_cfhtlens_i | merr_ap_cfhtlens_i | f_ap_cfhtlens_i | ferr_ap_cfhtlens_i | flag_cfhtlens_i | f_cfhtlens_z | ferr_cfhtlens_z | m_ap_cfhtlens_z | merr_ap_cfhtlens_z | f_ap_cfhtlens_z | ferr_ap_cfhtlens_z | flag_cfhtlens_z |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | W3m0m1_8272 | 214.5166955 | 53.10332322 | 0.03786 | 24.5846 | 0.0371 | 23.9412 | 0.0152 | 23.8626 | 0.0159 | nan | nan | 23.7439 | 0.0312 | 0.532304 | 0.018189 | nan | nan | nan | nan | False | 0.962763 | 0.0134784 | nan | nan | nan | nan | False | 1.03505 | 0.0151577 | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 1.15462 | 0.0331795 | nan | nan | nan | nan | False |
1 | W3m0m1_8280 | 214.4611268 | 53.10337758 | 0.573496 | nan | nan | nan | nan | 25.2149 | 0.0685 | nan | nan | 24.4172 | 0.0711 | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 0.297879 | 0.0187934 | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 0.621041 | 0.0406692 | nan | nan | nan | nan | False |
2 | W3m0m1_8305 | 214.5138608 | 53.10345054 | 0.483708 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False |
3 | W3m0m1_8306 | 214.5433446 | 53.10344927 | 0.653694 | nan | nan | nan | nan | 25.9122 | 0.0744 | nan | nan | 25.2456 | 0.0875 | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 0.156718 | 0.0107391 | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 0.289574 | 0.0233369 | nan | nan | nan | nan | False |
4 | W3m0m1_8307 | 214.4973401 | 53.10347652 | 0.628447 | nan | nan | 25.3022 | 0.0522 | 24.9621 | 0.0438 | nan | nan | 24.2821 | 0.0499 | nan | nan | nan | nan | nan | nan | False | 0.274865 | 0.013215 | nan | nan | nan | nan | False | 0.375976 | 0.0151674 | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 0.70333 | 0.0323248 | nan | nan | nan | nan | False |
5 | W3m0m1_8309 | 214.3621013 | 53.10343831 | 0.557704 | nan | nan | 25.3208 | 0.0591 | 25.216 | 0.0609 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 0.270196 | 0.0147076 | nan | nan | nan | nan | False | 0.297577 | 0.0166914 | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False |
6 | W3m0m1_8312 | 214.5899414 | 53.10341224 | 0.0295821 | nan | nan | 24.9593 | 0.0281 | 23.6015 | 0.0113 | nan | nan | 22.7474 | 0.0103 | nan | nan | nan | nan | nan | nan | False | 0.376947 | 0.00975578 | nan | nan | nan | nan | False | 1.31644 | 0.0137011 | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 2.89094 | 0.0274254 | nan | nan | nan | nan | False |
7 | W3m0m1_8315 | 214.6617848 | 53.10337401 | 0.0078215 | 24.7252 | 0.0345 | 24.5106 | 0.0206 | 23.6943 | 0.0119 | nan | nan | 23.2766 | 0.0171 | 0.467648 | 0.0148598 | nan | nan | nan | nan | False | 0.56985 | 0.0108119 | nan | nan | nan | nan | False | 1.20859 | 0.0132466 | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 1.77566 | 0.0279661 | nan | nan | nan | nan | False |
8 | W3m0m1_8320 | 214.6230727 | 53.1034485 | 0.0871178 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False |
9 | W3m0m1_8329 | 214.3648075 | 53.10350295 | 0.0139106 | nan | nan | nan | nan | 25.857 | 0.0724 | nan | nan | 25.0335 | 0.0766 | nan | nan | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 0.164892 | 0.0109955 | nan | nan | nan | nan | False | nan | nan | nan | nan | nan | nan | False | 0.352046 | 0.0248373 | nan | nan | nan | nan | False |