?

Log in

No account? Create an account
 
 
12 November 2014 @ 08:24 pm
Sending emails through Amazon SES  
My business is sending out over 4 million emails per month.
Mostly these are job search alerts.
Typically it is not a problem to send 4M emails, but it IS a problem to make them end up in users inbox.
There are multiple steps that we had to do in order to improve email deliverability (SPF records, easy unsubscribe link, automatic unsubscribe bounced emails).
But that is not enough.
Some users do not care about "Unsubscribe" link in emails and simply click "spam" in their email provider.
The only way to unsubscribe users like that is to get feedback about it from email provider.
Unfortunately every email provider (Gmail, Yahoo, Live/Hotmail/Msn, AOL, etc) has their own interface for such spam reports and it is a pain to implement and maintain.
So we never did that last step.
End result - we are getting enough complaints to have mediocre email deliverability.
With some providers, such as AOL it was getting so bad, that our emails could not land even in spam folder. Our emails simply disappeared.
Users complained that they cannot get our confirmation emails and we could not do anything to help.

Amazon Simple Email Service to the rescue.
Since Amazon is sending so many emails, they have feedback loop implemented with most of email server providers.
So now we are getting all that complaints data and can stop sending emails to all these complainers.
If user reports our email as spam - we blacklist that email so we would never send anything to them again (so they would not report our email as spam again).

The reason for such harsh treatment is that penalty for us are pretty harsh too.
If we are getting more than 0.1% complaints from users (1 complaint per 1000 emails sent) - then it is considered suspicious.

It's interesting that it takes time to switch to Amazon SES.
Initially Amazon allowed us to send no more than 10000 email per 24 hours period.
When we started sending emails - Amazon SES gradually increased our sending limit (~50% increase every day).
Obviously sending limit increases only if number of complaints and bounces is low.
Now we are sending about 60,000 emails every day and keep increasing that number
PostJobFree.com Amazon SES sending statistics graphs

How much does sending email through Amazon SES cost?
0.01c per email or $1 per 10000 emails.
In order to send 4M emails we have to pay $400.

Update:
Ban for reporting our emails as spam
 
 
 
cranequinier: 65x70cranequinier on November 13th, 2014 04:03 am (UTC)
Wow. Огромное спасибо - как раз вовремя.
Dennis Gorelikdennisgorelik on November 13th, 2014 04:07 am (UTC)
How many emails do you send monthly?
cranequinier: 65x70cranequinier on November 13th, 2014 04:17 am (UTC)
Пока 0. Может понадобиться посылать, скажем, сотню - но вот про эту сотню хотелось бы про каджый чих быть максимально уверенным.
Dennis Gorelikdennisgorelik on November 13th, 2014 04:20 am (UTC)
Сотню емейлов можно послать и через Gmail.
А в чём именно хочется быть уверенным?
Прочитали ли их?
cranequinier: 65x70cranequinier on November 13th, 2014 04:25 am (UTC)
> А в чём именно хочется быть уверенным?

Ну хотя бы в том, что они не ушли в спам без моего о том уведомления.
Dennis Gorelikdennisgorelik on November 13th, 2014 04:30 am (UTC)
Про то, ушли ли они в спам - никто отчётов давать не будет.
Вот если получатель их отправил в спам - тогда да - уведомление, скорее всего, будет (через Aмазон).

Можно к email добавить tracking image с линком на свой сервер, что позволит, во многих случаях, определить открыл ли получатель этот email.
И на каждый линк в емейле, естественно, добавить tracking key.
Но tracking image и tracking key относятся к контенту емейла, и, соответственно, не имеют отношения к Amazon SES.
Сын Солнцаsun_jr on November 13th, 2014 05:05 am (UTC)
А если в юзерском почтовом клиенте картинки по умолчанию не загружаются? Как у меня, например.
Dennis Gorelikdennisgorelik on November 13th, 2014 05:09 am (UTC)
Значит узнать открыли ли вы email - не получится до тех пор, пока вы не откроете какой-нибудь линк.
Сын Солнцаsun_jr on November 13th, 2014 04:56 pm (UTC)
Ясно, спасибо!
Tanoshiitanoshii_ru on November 13th, 2014 09:04 am (UTC)
интересно. не знал про этот сервис. и вроде бы ценник неплохой. в мейлчимпе выйдет дороже (я пока рассылаю в пределах 2000 адресов, но как раз сейчас собираю базу местных почт для расширения).
Dennis Gorelikdennisgorelik on November 13th, 2014 01:02 pm (UTC)
MailChimp - это другой сервис. Он предоставляет не только рассылку, но и добавляет свои tracking линки.
И специализируется на рассылке newsletters, а не вообще рассылке, как Amazon SES.
Maxhobober on November 14th, 2014 10:48 pm (UTC)
Ну что, Денис, вот правда постепенно и выплывает наружу:

http://lenta.ru/news/2014/11/14/boeing/

http://obkon.ucoz.com/_fr/14/9771894.jpg
Ильяygam on November 15th, 2014 02:12 am (UTC)
Милейший, размах крыльев Су-27 - 14,7м, МиГ-29 - 11,4м. На картинке размах крыльев истребителя приблизительно равен ширине каждого поля, а ширина украинских полей - сотни метров (в гугль-мапс наберите "Донецкая область, Украина", погуляйте вокруг и померяйте - в гугль-мапс есть такая опция). Если ширина полей 150 метров, а размах крыльев истребителя 15 метров, то камера находится выше самолета на 1/10 высоты самолета Если их ширина 900 метров, то камера находится выше самолета на 1/60 высоты самолета. Потолок Су-27 - 19км, МиГ-29 - 18км. Камера была самое большее на высоте 21км (если истребитель был на своей максимальной высоте; если на той же высоте, что и Боинг - то 11км). Так низко спутники не летают. Перигей современных американских спутников-шпионов - это 250-400км, хотя старые опускались до 150км. Это не единственная проблема с этой картинкой, но это первое, что мне бросилось в глаза, когда я сегодня утром об этом прочитал. У Спутника-1 перигей был 215км, и он прожил на орбите 3 месяца; современные спутники-шпионы стоят сотни миллионов долларов, и их запускают не на 3 месяца.

Я сегодня в связи с этим вспомнил "Обитаемый остров" Стругацких: в сцене, где КГБист спрашивает у революционера, почему тот решил заняться антигосударственной деятельностью; тот отвечает: "Потому что вы убили моих друзей и растлили мой народ". У меня есть любительский английский перевод романа, и я вспомнил, что я перевел слово "растлили", как "debauched".
Dennis Gorelikdennisgorelik on November 15th, 2014 02:22 am (UTC)
Представьте себе антрополога, который изучает африканское племя дикарей с развитием уровня каменного века.
Теперь представьте, что вместо того, чтобы наблюдать за дикарями, антрополог организует школу, усаживает дикарей за парты, учит их грамоте и построению цивилизации.
Вот вы - это именно такой "антрополог".
http://dennisgorelik.livejournal.com/75104.html
Ильяygam on November 15th, 2014 02:30 am (UTC)
Собственно:

Alexandr Ruchkinmvoidex on November 17th, 2014 10:51 am (UTC)
> Если ширина полей 150 метров, а размах крыльев истребителя 15 метров, то камера находится выше самолета на 1/10 высоты самолета
В пространстве изображений, а не объектов.
Ильяygam on November 17th, 2014 03:53 pm (UTC)
Я не понимаю смысла вашего замечания.

Во время солнечного затмения Луна на непродолжительное время закрывает собой Солнце. Это не означает, что линейный размер Луны немного больше линейного размера Солнца (на самом деле диаметр Луны 4000км, а диаметр Солнца 1400000 км). Это означает, что угловой размер Луны с Земли немного больше углового размера Солнца.
VoidExvoidex on November 17th, 2014 04:45 pm (UTC)
Да, но с оптической системой, как я понимаю, можно приблизиться к луне, и её угловой размер будет больше.
Можно и "отдалиться", но тут очевидна проблема: для этого нужна будет соответствующих размеров линза.
А у приближения какие пределы и ограничения и чем они вызваны?
Ильяygam on November 17th, 2014 05:00 pm (UTC)
Ее размер будет больше, но размер Солнца - тоже пропорционально больше.

Для телескопа-рефлектора (а на спутниках-шпионах стоят они) предел разрешения пропорционален диаметру зеркала. Я летом смотрел в 62сантиметровый телескоп; в него классно виден Сатурн, звездное скопление в созвездии Геракла, туманность Кольцо в созвездии Лиры и т. д. Диаметр зеркала Хаббла - 2,4 метра. На спутниках-шпионах стоят телескопы с диаметром зеркала до 3,1 метров.
VoidExvoidex on November 17th, 2014 06:47 pm (UTC)
Правда, величина эффекта сопоставима с размерами линз, поэтому для обсуждаемого случая это не сработает.
Ильяygam on November 17th, 2014 06:51 pm (UTC)
Диаметр зеркал (не линз) на настоящих спутниках-шпионах - метры. Файл, выложенный Леонтьевым, преподносится как спутниковая фотография территории размером десятки на десятки километров.
VoidExvoidex on November 17th, 2014 07:23 pm (UTC)
Ну, это не делает верным утверждение, что угловые размеры сохранятся. Но и не отменяет того, что спутником такое не снять.
Ильяygam on November 17th, 2014 07:29 pm (UTC)
Угловые размеры не сохраняются: они все вместе одинаково изменяются. У вас дона есть кривое зеркало, или автомобиль с зеркалом заднего вида?

Edited at 2014-11-17 07:30 pm (UTC)
VoidExvoidex on November 17th, 2014 07:39 pm (UTC)
Да, я имел в виду, не делает верным утверждение, что они изменятся в равное кол-во раз.
Ильяygam on November 17th, 2014 07:51 pm (UTC)
Телескоп изненяет угловые размеры в одинаковое число раз.

Космический телескоп "Хаббл" - это тот же спутник-шпион, только направленный в космос, а не на Землю. Видели этот ролик про Hubble Deep Field:

VoidExvoidex on November 17th, 2014 08:41 pm (UTC)
Любой телескоп? Я вот посчитал ход лучей для системы из двух рядом стоящих телескопов Кеплера. Меняя расстояние между ними, можно менять относительное расстояние между точкой зрения и изображениями (https://ru.wikipedia.org/wiki/%D0%9E%D0%BF%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5) объектов. Т.е. если реально один объект расположен ровно посередине между другим объектом и первой линзой системы, то полученное мнимое изображение ближнего объекта может бать как ближе к мнимому изображению дальнего объекта, так и ближе к точки зрения, в зависимости от взаимного расположения двух телескопов.
Ильяygam on November 17th, 2014 09:35 pm (UTC)
Речь идет об объектах, расстояние до которых в очень много раз превышает размеры зеркал/линз телескопа. Для спутника-шпиона с диаметром зеркала 3м, находящегося над Землей на высоте 250км, это так. Самолет, летящий на высоте 10км и находящийся от спутника на расстоянии 240км он будет увеличивать на 4% больше, чем поле, находящееся от спутника на расстоянии 250км. Ремонтирующий спутник астронавт, находящийся от зеркала в 5 метрах, не считается.
VoidExvoidex on November 17th, 2014 10:00 pm (UTC)
Ну т.е., строго говоря, угловой размер не изменится во столько же раз, а разница между изменениями угловых размером незначительна и сопоставима с отношением диаметра линз к расстоянию до объектов.

Edited at 2014-11-17 10:00 pm (UTC)
Ильяygam on November 17th, 2014 10:17 pm (UTC)
Не понимаю. Приведите пример, пожалуйста.
VoidExvoidex on November 17th, 2014 11:48 pm (UTC)
Мы не можем приблизиться к самому объекту, но он создаёт реальное или мнимое оптическое изображение, которое меньше и находится ближе. Второй телескоп смотрит уже на это уменьшенное изображение, и может к нему приближаться или отдаляться от него, т.е. смотреть на него с другого ракурса.
Самый простой, наверное, пример - смещение глаза относительно оптической системы меняет и картинку, которую мы видим, и там это тоже работает (можно быть ближе-дальше), но слишком незаметна разница.
Вот фото, что удалось получить мне из подручных линз:
http://hsto.org/files/d0a/590/d80/d0a590d8055a4214abdad7d10c003b57.jpg и http://hsto.org/files/ae3/a4f/65c/ae3a4f65c923420d84a0e421b8d6da8f.jpg
На первом фото просто камера, на втором - перед камерой оптическая система, при этом первая линза этой системы - на том же месте, где была камера, сама камера при этом дальше. Камера - дальше, оптическая система - не ближе, фото же такое, будто мы приблизились.
Dennis Gorelikdennisgorelik on November 18th, 2014 12:31 am (UTC)
Я правильно понимаю, что размер линзы оптической системы сравним с расстоянием до батареек?
Ильяygam on November 18th, 2014 01:01 am (UTC)
Если так, то это неприменимо к спутнику с зеркалом диаметром 3м, смотрящему на 150км.

Edited at 2014-11-18 01:01 am (UTC)
VoidExvoidex on November 18th, 2014 01:47 pm (UTC)
Можно провести такое простое построение: взять точку, откуда, как нам кажется, мы смотрим (без учёта оптической системы) или хотим смотреть, и провести через неё лучи от объекта. Получится буква "Х" (пусть мы смотрим вниз).
Оптическая система, которая будет давать изображение сходное с тем, которые мы видели бы, находясь в этой точке, и при этом охватывать этот объект (а точнее угол), может быть как ниже этой точки, так и выше, но её входной зрачок должен захватывать крайние лучи (грани буквы Х). Сам входной зрачок может быть разным, но где-то порядка размера линз. Несложно прикинуть, как должен меняться размер входного зрачка в зависимости от того, насколько мы хотим ближе или дальше поставить непосредственно оптическую систему.

В конкретно моём случае он где-то с линзу и есть (я не считал, но все линзы одинаковые по размеру, так что они и ограничивают ход лучей), при этом объекты малы, поэтому с линзами в 2 см диаметром получилось достичь эффекта, будто мы стали ближе к батарейкам где-то на 5 см, а до них где-то 20-25.

Где-то в комментариях различных постов проскакивали фото девушки на фоне церкви, и церковь та вырастала в размерах. Т.е. по сути, меняя параметры оптики, мы как будто видели церковь и девушку издалека (и тогда девушка относительно церкви, разумеется, уменьшалась).
Dennis Gorelikdennisgorelik on November 18th, 2014 02:08 pm (UTC)
Вы можете прямо ответить на мой вопрос?
http://dennisgorelik.livejournal.com/74983.html?thread=994791#t994791

Фотографии девушки и церкви - это пародия.
VoidExvoidex on November 18th, 2014 02:30 pm (UTC)
Прямой ответ - нет, неправильно, а дальше развёрнутый, почему именно неправильно, и почему именно в данном конкретном случае таки можно считать, что да, правильно.
Фотографии девушки и цервки - прямая иллюстрация, а не пародия.
Dennis Gorelikdennisgorelik on November 18th, 2014 04:55 pm (UTC)
1) Вы можете определиться: сравним размер линзы оптической системы сравним с расстоянием до батареек или нет?
Или давайте даже так: какой размер линзы оптической системы и какое расстояние до батареек?

2) Фотография девушки и церкви - это прямая иллюстрация чего?
VoidExvoidex on November 18th, 2014 05:08 pm (UTC)
Вы про конкретный случай или про абстрактный? Если про конкретный, то я привёл числа. Но какой в этом смысл, если я с тем же успехом мог бы поставить батарейку в 10 раз дальше? Важна величина эффекта, а не просто расстояние до батарейки. Если же про абстрактный (т.е. а может ли быть расстояние до батареек ещё больше, и насколько велик может быть эффект приближения или отдаления), то я привёл рассуждения выше, из которых должно быть понятно, как это посчитать, и в контексте абстрактного вопрос не очень понятен, ибо это зависит от размеров объекта, а также от того, собираемся ли мы приближать или отдаляться, и фотография девушки и церкви прямая иллюстрация того, что в общем случае несравним - отдалиться можно на расстояния, на порядки большие линзы. В общем-то, и приблизить в общем случае тоже.

Edited at 2014-11-18 05:14 pm (UTC)
Dennis Gorelikdennisgorelik on November 18th, 2014 05:16 pm (UTC)
В вашем конкретном случае размер линзы оптической системы - 2 см, а расстояние до батареек - 20 см?
И при этом симулируется приближение на 5 см (25%)?

Я правильно понимаю?
VoidExvoidex on November 18th, 2014 05:31 pm (UTC)
Да
Dennis Gorelikdennisgorelik on November 18th, 2014 05:38 pm (UTC)
Какое это имеет отношение к снимкам самолёта со спутника и увеличению углового размера самолёта (относительно аэродрома) в 20+ раз?
VoidExvoidex on November 18th, 2014 06:00 pm (UTC)
Это имеет отношение к утверждению, что угловые размеры изменяются исключительно одинаково.
(Deleted comment)
Ильяygam on November 17th, 2014 07:31 pm (UTC)