{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# COSMOS master catalogue\n", "## Preparation of Canada France Hawaii Telescope Legacy Survey (CFHTLS) data\n", "\n", "The catalogue is in `dmu0_CFHTLS`.\n", "\n", "In the catalogue, we keep:\n", "\n", "- The position;\n", "- The stellarity (g band stellarity);\n", "- The aperture magnitude (3 arcsec).\n", "- The total magnitude (Kron like aperture magnitude).\n", "\n", "We use the 2007 release, which we take as the date." ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "This notebook was run with herschelhelp_internal version: \n", "33f5ec7 (Wed Dec 6 16:56:17 2017 +0000)\n" ] } ], "source": [ "from herschelhelp_internal import git_version\n", "print(\"This notebook was run with herschelhelp_internal version: \\n{}\".format(git_version()))\n", "import datetime\n", "print(\"This notebook was executed on: \\n{}\".format(datetime.datetime.now()))" ] }, { "cell_type": "code", "execution_count": 2, "metadata": { "collapsed": true }, "outputs": [], "source": [ "%matplotlib inline\n", "#%config InlineBackend.figure_format = 'svg'\n", "\n", "import matplotlib.pyplot as plt\n", "plt.rc('figure', figsize=(10, 6))\n", "\n", "from collections import OrderedDict\n", "import os\n", "\n", "from astropy import units as u\n", "from astropy.coordinates import SkyCoord\n", "from astropy.table import Column, Table\n", "import numpy as np\n", "\n", "from herschelhelp_internal.flagging import gaia_flag_column\n", "from herschelhelp_internal.masterlist import nb_astcor_diag_plot, remove_duplicates\n", "from herschelhelp_internal.utils import astrometric_correction, mag_to_flux" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "collapsed": true }, "outputs": [], "source": [ "OUT_DIR = os.environ.get('TMP_DIR', \"./data_tmp\")\n", "try:\n", " os.makedirs(OUT_DIR)\n", "except FileExistsError:\n", " pass\n", "\n", "RA_COL = \"cfhtls_ra\"\n", "DEC_COL = \"cfhtls_dec\"" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## I - Column selection" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "collapsed": true }, "outputs": [], "source": [ "imported_columns = OrderedDict({\n", " 'cfhtls': \"cfhtls_id\",\n", " 'raj2000': \"cfhtls_ra\",\n", " 'dej2000': \"cfhtls_dec\",\n", " 'gcl': \"cfhtls_stellarity\",\n", " 'umaga': \"m_megacam_u\",\n", " 'e_umaga': \"merr_megacam_u\",\n", " 'gmaga': \"m_megacam_g\",\n", " 'e_gmaga': \"merr_megacam_g\",\n", " 'rmaga': \"m_megacam_r\",\n", " 'e_rmaga': \"merr_megacam_r\",\n", " 'imaga': \"m_megacam_i\",\n", " 'e_imaga': \"merr_megacam_i\",\n", " 'zmaga': \"m_megacam_z\",\n", " 'e_zmaga': \"merr_megacam_z\",\n", " 'umag': \"m_ap_megacam_u\",\n", " 'e_umag': \"merr_ap_megacam_u\",\n", " 'gmag': \"m_ap_megacam_g\",\n", " 'e_gmag': \"merr_ap_megacam_g\",\n", " 'rmag': \"m_ap_megacam_r\",\n", " 'e_rmag': \"merr_ap_megacam_r\",\n", " 'imag': \"m_ap_megacam_i\",\n", " 'e_imag': \"merr_ap_megacam_i\",\n", " 'zmag': \"m_ap_megacam_z\",\n", " 'e_zmag': \"merr_ap_megacam_z\"\n", " \n", " })\n", "\n", "\n", "catalogue = Table.read(\"../../dmu0/dmu0_CFHTLS/data/CFHTLS-DEEP_COSMOS.fits\")[list(imported_columns)]\n", "for column in imported_columns:\n", " catalogue[column].name = imported_columns[column]\n", "\n", "epoch = 2007\n", "\n", "# Clean table metadata\n", "catalogue.meta = None" ] }, { "cell_type": "code", "execution_count": 5, "metadata": { "collapsed": true }, "outputs": [], "source": [ "# Adding flux and band-flag columns\n", "for col in catalogue.colnames:\n", " if col.startswith('m_'):\n", " \n", " errcol = \"merr{}\".format(col[1:])\n", " \n", " #catalogue[col][catalogue[col] <= 0] = np.nan\n", " #catalogue[errcol][catalogue[errcol] <= 0] = np.nan \n", " \n", "\n", " flux, error = mag_to_flux(np.array(catalogue[col]), np.array(catalogue[errcol]))\n", " \n", " # Fluxes are added in µJy\n", " catalogue.add_column(Column(flux * 1.e6, name=\"f{}\".format(col[1:])))\n", " catalogue.add_column(Column(error * 1.e6, name=\"f{}\".format(errcol[1:])))\n", " \n", " # Band-flag column\n", " if \"ap\" not in col:\n", " catalogue.add_column(Column(np.zeros(len(catalogue), dtype=bool), name=\"flag{}\".format(col[1:])))\n", " \n", "# TODO: Set to True the flag columns for fluxes that should not be used for SED fitting." ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/html": [ "<Table masked=True length=10>\n", "
idx | cfhtls_id | cfhtls_ra | cfhtls_dec | cfhtls_stellarity | m_megacam_u | merr_megacam_u | m_megacam_g | merr_megacam_g | m_megacam_r | merr_megacam_r | m_megacam_i | merr_megacam_i | m_megacam_z | merr_megacam_z | m_ap_megacam_u | merr_ap_megacam_u | m_ap_megacam_g | merr_ap_megacam_g | m_ap_megacam_r | merr_ap_megacam_r | m_ap_megacam_i | merr_ap_megacam_i | m_ap_megacam_z | merr_ap_megacam_z | f_megacam_u | ferr_megacam_u | flag_megacam_u | f_megacam_g | ferr_megacam_g | flag_megacam_g | f_megacam_r | ferr_megacam_r | flag_megacam_r | f_megacam_i | ferr_megacam_i | flag_megacam_i | f_megacam_z | ferr_megacam_z | flag_megacam_z | f_ap_megacam_u | ferr_ap_megacam_u | f_ap_megacam_g | ferr_ap_megacam_g | f_ap_megacam_r | ferr_ap_megacam_r | f_ap_megacam_i | ferr_ap_megacam_i | f_ap_megacam_z | ferr_ap_megacam_z |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
deg | deg | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | mag | ||||||||||||||||||||||||||||
0 | 0200_0001316 | 149.617311 | 1.711303 | 0.64 | 28.624 | 1.533 | nan | nan | nan | nan | nan | nan | nan | nan | 28.561 | 1.447 | nan | nan | nan | nan | nan | nan | nan | nan | 0.0128944 | 0.0182061 | False | nan | nan | False | nan | nan | False | nan | nan | False | nan | nan | False | 0.0136647 | 0.0182114 | nan | nan | nan | nan | nan | nan | nan | nan |
1 | 0200_0001703 | 149.617279 | 1.712152 | 0.67 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | nan | nan | False | nan | nan | False | nan | nan | False | nan | nan | False | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
2 | 0200_0001184 | 149.621536 | 1.711054 | 0.63 | nan | nan | nan | nan | 25.92 | 0.65 | nan | nan | nan | nan | nan | nan | nan | nan | 26.052 | 0.741 | nan | nan | nan | nan | nan | nan | False | nan | nan | False | 0.155597 | 0.0931513 | False | nan | nan | False | nan | nan | False | nan | nan | nan | nan | 0.137784 | 0.0940359 | nan | nan | nan | nan |
3 | 0200_0001689 | 149.621842 | 1.712083 | 0.57 | nan | nan | 27.838 | 2.141 | 27.514 | 1.967 | nan | nan | 25.682 | 1.95 | nan | nan | 27.714 | 1.914 | 27.399 | 1.772 | nan | nan | 25.938 | 2.466 | nan | nan | False | 0.026595 | 0.0524436 | False | 0.0358426 | 0.0649352 | False | nan | nan | False | 0.193731 | 0.347945 | False | nan | nan | 0.0298126 | 0.0525554 | 0.0398474 | 0.0650338 | nan | nan | 0.153038 | 0.347591 |
4 | 0200_0002042 | 149.620927 | 1.712788 | 0.64 | 24.934 | 0.051 | 23.832 | 0.108 | 23.021 | 0.09 | 23.043 | 0.15 | nan | nan | 24.939 | 0.051 | 23.839 | 0.109 | 23.033 | 0.091 | 23.025 | 0.148 | nan | nan | 0.385834 | 0.0181237 | False | 1.06463 | 0.105901 | False | 2.24698 | 0.186259 | False | 2.20191 | 0.304206 | False | nan | nan | False | 0.384061 | 0.0180404 | 1.05779 | 0.106194 | 2.22228 | 0.186259 | 2.23872 | 0.305167 | nan | nan |
5 | 0200_0000397 | 149.624188 | 1.709235 | 0.43 | nan | nan | nan | nan | nan | nan | nan | nan | 24.728 | 0.297 | 29.984 | 5.233 | nan | nan | nan | nan | nan | nan | 24.696 | 0.289 | nan | nan | False | nan | nan | False | nan | nan | False | nan | nan | False | 0.466444 | 0.127594 | False | 0.00368469 | 0.0177593 | nan | nan | nan | nan | nan | nan | 0.480397 | 0.127871 |
6 | 0200_0001045 | 149.62434 | 1.710707 | 0.51 | 27.184 | 0.415 | 28.348 | 1.565 | 27.427 | 0.87 | 25.476 | 0.211 | 25.614 | 0.681 | 26.999 | 0.329 | 28.258 | 1.354 | 27.107 | 0.61 | 25.47 | 0.197 | 25.293 | 0.477 | 0.0485736 | 0.0185662 | False | 0.0166265 | 0.0239657 | False | 0.0388329 | 0.0311168 | False | 0.234207 | 0.0455154 | False | 0.206253 | 0.129367 | False | 0.057597 | 0.0174531 | 0.0180634 | 0.0225265 | 0.0521435 | 0.0292958 | 0.235505 | 0.0427309 | 0.277204 | 0.121785 |
7 | 0200_0002388 | 149.625024 | 1.711874 | 0.97 | 22.87 | 0.01 | 22.515 | 0.009 | 21.835 | 0.006 | 21.397 | 0.006 | 21.359 | 0.015 | 22.957 | 0.008 | 22.594 | 0.007 | 21.906 | 0.005 | 21.472 | 0.005 | 21.418 | 0.012 | 2.58226 | 0.0237835 | False | 3.58096 | 0.0296837 | False | 6.69885 | 0.0370192 | False | 10.0277 | 0.055415 | False | 10.3849 | 0.143472 | False | 2.38341 | 0.0175617 | 3.32966 | 0.0214671 | 6.2748 | 0.0288965 | 9.35837 | 0.0430969 | 9.83559 | 0.108707 |
8 | 0200_0001939 | 149.62463 | 1.712543 | 0.47 | 26.057 | 0.138 | 26.251 | 0.205 | 26.095 | 0.226 | 25.493 | 0.193 | 27.098 | 2.359 | 26.06 | 0.139 | 26.263 | 0.209 | 26.076 | 0.223 | 25.506 | 0.196 | 27.137 | 2.461 | 0.137151 | 0.0174323 | False | 0.11471 | 0.0216586 | False | 0.132434 | 0.0275667 | False | 0.230568 | 0.0409857 | False | 0.0525775 | 0.114236 | False | 0.136773 | 0.0175102 | 0.113449 | 0.0218384 | 0.134772 | 0.0276809 | 0.227824 | 0.0411274 | 0.0507225 | 0.114971 |
9 | 0200_0002102 | 149.625191 | 1.71278 | 0.48 | 25.433 | 0.097 | 24.974 | 0.073 | 24.955 | 0.093 | 25.151 | 0.166 | 26.423 | 1.407 | 25.555 | 0.085 | 25.175 | 0.069 | 25.119 | 0.085 | 25.241 | 0.142 | 25.394 | 0.429 | 0.243669 | 0.0217694 | False | 0.371877 | 0.0250033 | False | 0.378443 | 0.0324159 | False | 0.315937 | 0.0483041 | False | 0.0979039 | 0.126873 | False | 0.217771 | 0.0170488 | 0.30903 | 0.0196393 | 0.325387 | 0.0254739 | 0.290804 | 0.0380333 | 0.252581 | 0.0998005 |