| ggscrapeView |
|---|
| 94 | 94 … | req_fragment "topic/${group_id}/${topic_id}" | sed -n\ |
| 95 | 95 … | 's/.*<td class="subject"><a href="[^"]*'$topic_id'\/\([^"]*\)".*/\1/p' |
| 96 | 96 … | } |
| 97 | 97 … | |
| 98 … | +fix_message() { |
| 99 … | + local file="$1" |
| 100 … | + # Some messages have two duplicate sets of headers, the second set starting |
| 101 … | + # with some X-Google stuff. Remove the second set of headers if they are |
| 102 … | + # present. |
| 103 … | + if sed -n '/^\r$/{ n; /^X-Google-Groups:/q; q 1; }' "$file"; then |
| 104 … | + debug_print 'Removing duplicate headers' |
| 105 … | + sed -i~ '/^X-Google-Groups:/,/^\r$/d' "$file" && rm "$file~" |
| 106 … | + fi |
| 107 … | +} |
| 108 … | + |
| 98 | 109 … | download_message() { |
| 99 | 110 … | local topic_id="$1" |
| 100 | 111 … | local msg_id="$2" |
| 101 | 112 … | debug_print download topic $topic_id message $msg_id |
| 106 | 117 … | echo "message ${topic_id}${msg_id} downloading." |
| 107 | 118 … | temp=$(mktemp) |
| 108 | 119 … | if req "message/raw?msg=${group_id}/${topic_id}/${msg_id}" -o "$temp" |
| 109 | 120 … | then |
| 121 … | + fix_message "$temp" |
| 110 | 122 … | mv "$temp" "$path" |
| 111 | 123 … | if [[ -n "$ln_dir" ]]; then |
| 112 | 124 … | ln "$path" "$ln_dir" |
| 113 | 125 … | fi |
| 147 | 159 … | ggscrape <group_id> test |
| 148 | 160 … | ggscrape <group_id> topics |
| 149 | 161 … | ggscrape <group_id> messages <topic_id> |
| 150 | 162 … | ggscrape <group_id> download <dest_dir> |
| 163 … | + ggscrape fix_message <file> |
| 151 | 164 … | |
| 152 | 165 … | Options: |
| 153 | 166 … | -h, --help Show this screen |
| 154 | 167 … | --version Show version |
| 168 | 181 … | cmd= |
| 169 | 182 … | topic_id= |
| 170 | 183 … | topic_begin= |
| 171 | 184 … | topic_end= |
| 185 … | +fix_file= |
| 172 | 186 … | |
| 173 | 187 … | while [[ "$#" -gt 0 ]]; do |
| 174 | 188 … | case "$1" in |
| 175 | 189 … | -h|--help) show_help; exit;; |
| 182 | 196 … | topics) cmd=topics;; |
| 183 | 197 … | test) cmd=test;; |
| 184 | 198 … | messages) cmd=messages; topic_id="$2"; shift;; |
| 185 | 199 … | download) cmd=download; dest_dir="$2"; shift;; |
| 200 … | + fix_message) cmd=fix_message; fix_file="$2"; shift;; |
| 186 | 201 … | *) if [[ -z "$group_id" ]]; then |
| 187 | 202 … | group_id="$1" |
| 188 | 203 … | else |
| 189 | 204 … | unknown_option "$1" |
| 191 | 206 … | esac |
| 192 | 207 … | shift |
| 193 | 208 … | done |
| 194 | 209 … | |
| 210 … | +if [[ $cmd==fix_message ]]; then |
| 211 … | + if [[ -z "$fix_file" ]]; then |
| 212 … | + show_help |
| 213 … | + exit 1 |
| 214 … | + fi |
| 215 … | + fix_message "$fix_file" |
| 216 … | + exit |
| 217 … | +fi |
| 218 … | + |
| 195 | 219 … | if [[ -z "$group_id" ]]; then |
| 196 | 220 … | show_help |
| 197 | 221 … | exit 1 |
| 198 | 222 … | fi |