ubuntu 17.10 & squid 4 трудности установки

[wrag]

Сам вопрос: установил из исходников скуид4 (осваиваю прозрачное проксирование трафика, задача резать соц.сети)

./configure --prefix=/usr --localstatedir=/var --libexecdir=${prefix}/lib/squid --datadir=${prefix}/share/squid --sysconfdir=/etc/squid --with-default-user=proxy --with-logdir=/var/log/squid --with-pidfile=/var/run/squid.pid--enable-ssl --enable-ssl-crtd --with-openssl

make

make install

в общем нет скрипта запуска согласно информации на офф сайте The init.d script is part of the official Debain/Ubuntu packaging. It does not come with Squid directly. So you will need to download a copy from https://alioth.debian.org/plugins/scmgit/cgi-bin/gitweb.cgi?p=pkg-squid/pkg-squid3.git;a=blob_plain;f=debian/squid.rc to /etc/init.d/squid  по ссылке ничего нет.

proxy17:~# squid -v
Squid Cache: Version 4.0.21
Service Name: squid

This binary uses OpenSSL 1.0.2g  1 Mar 2016. For legal restrictions on distribution see https://www.openssl.org/source/license.html

configure options:  '--prefix=/usr' '--localstatedir=/var' '--libexecdir=/lib/squid' '--datadir=/share/squid' '--sysconfdir=/etc/squid' '--with-default-user=proxy' '--with-logdir=/var/log/squid' '--with-pidfile=/var/run/squid.pid' '--enable-ssl' '--enable-ssl-crtd' '--with-openssl'


proxy17:~# service squid status
● squid.service
   Loaded: loaded (/etc/init.d/squid; generated; vendor preset: enabled)
   Active: active (running) since Mon 2017-11-13 08:56:10 MSK; 3s ago
     Docs: man:systemd-sysv-generator(
  Process: 3339 ExecStop=/etc/init.d/squid stop (code=exited, status=0/SUCCESS)
  Process: 3350 ExecStart=/etc/init.d/squid start (code=exited, status=0/SUCCESS)
    Tasks: 2 (limit: 4915)
   Memory: 6.7M
      CPU: 350ms
   CGroup: /system.slice/squid.service
           ├─3356 /etc/init.d/squid start
           └─3371 (squid-1) start

ноя 13 08:56:10 proxy17 squid[3356]: Squid Parent: (squid-1) process 3361 started
ноя 13 08:56:11 proxy17 (squid-1)[3361]: I don't handle this error well!
ноя 13 08:56:11 proxy17 squid[3356]: Squid Parent: (squid-1) process 3361 exited with status 1
ноя 13 08:56:11 proxy17 squid[3356]: Squid Parent: (squid-1) process 3365 started
ноя 13 08:56:12 proxy17 (squid-1)[3365]: I don't handle this error well!
ноя 13 08:56:12 proxy17 squid[3356]: Squid Parent: (squid-1) process 3365 exited with status 1
ноя 13 08:56:12 proxy17 squid[3356]: Squid Parent: (squid-1) process 3368 started
ноя 13 08:56:13 proxy17 (squid-1)[3368]: I don't handle this error well!
ноя 13 08:56:13 proxy17 squid[3356]: Squid Parent: (squid-1) process 3368 exited with status 1
ноя 13 08:56:13 proxy17 squid[3356]: Squid Parent: (squid-1) process 3371 started

[NeO]

А нафига ташить в бинарный дистрибутив собранную из исходников бета версию?

По сабжу: надо смотреть логи сквида.

[wrag]

потому что из репозитария установка по умолчанию без возможности добавить опции --enable-ssl --enable-ssl-crtd --with-openssl вот и извращаюсь в варианте apt-get source squid скачивается исходник правлю конфиг после перекомпиляция и установка проблемма та же (но в версии 3.5 еще и дополнительно установка libressl  из за того что openssl по умолчанию игнорится скуидом). В версии 4 данная проблемма решена по уверениям разработчика.
и дополнительно приходится делать следующие для библиотеки:
скачаем, скомпилируем и установим Libressl:

wget http://ftp.openbsd.org/pub/OpenBSD/LibreSSL/libressl-2.6.3.tar.gz
tar -xzvf libressl-2.6.3.tar.gz
cd libressl-2.6.3


Собираем и устанавливаем, после чего перечитаем хеши библиотек:

./configure
make
sudo checkinstall --pkgname libressl --pkgversion 2.6.3
sudo dpkg -i *.deb
sudo ldconfig


Ну и надо настроить использование LibreSSL по-умолчанию:

sudo mv /usr/bin/openssl /usr/bin/openssl-1
sudo update-alternatives --install /usr/bin/openssl openssl /usr/bin/openssl-1 10
sudo update-alternatives --install /usr/bin/openssl openssl /usr/local/bin/openssl 50
sudo update-alternatives --config openssl


Проверим, получилось ли поставить Libressl:

openssl version
    LibreSSL 2.1.6

[NeO]

Ну ок… А в логах-то что?

[wrag]

/var/log/squid/cache.log

FATAL: I don't handle this error well!
Squid Cache (Version 4.0.21): Terminated abnormally.
CPU Usage: 0.072 seconds = 0.061 user + 0.011 sys
Maximum Resident Size: 60576 KB
Page faults with physical i/o: 0
2017/11/13 10:07:25 kid1| Set Current Directory to /var/spool/squid
2017/11/13 10:07:25 kid1| Starting Squid Cache version 4.0.21 for i686-pc-linux-gnu...
2017/11/13 10:07:25 kid1| Service Name: squid
2017/11/13 10:07:25 kid1| Process ID 6136
2017/11/13 10:07:25 kid1| Process Roles: worker
2017/11/13 10:07:25 kid1| With 1024 file descriptors available
2017/11/13 10:07:25 kid1| Initializing IP Cache...
2017/11/13 10:07:25 kid1| DNS Socket created at [::], FD 8
2017/11/13 10:07:25 kid1| DNS Socket created at 0.0.0.0, FD 9
2017/11/13 10:07:25 kid1| Adding nameserver 127.0.0.53 from /etc/resolv.conf
2017/11/13 10:07:25 kid1| Logfile: opening log daemon:/var/log/squid/access.log
2017/11/13 10:07:25 kid1| Logfile Daemon: opening log /var/log/squid/access.log
2017/11/13 10:07:25 kid1| Store logging disabled
2017/11/13 10:07:25 kid1| Swap maxSize 0 + 262144 KB, estimated 20164 objects
2017/11/13 10:07:25 kid1| Target number of buckets: 1008
2017/11/13 10:07:25 kid1| Using 8192 Store buckets
2017/11/13 10:07:25 kid1| Max Mem  size: 262144 KB
2017/11/13 10:07:25 kid1| Max Swap size: 0 KB
2017/11/13 10:07:25 kid1| Using Least Load store dir selection
2017/11/13 10:07:25 kid1| Set Current Directory to /var/spool/squid
fopen: Permission denied
2017/11/13 10:07:25 kid1| Finished loading MIME types and icons.
2017/11/13 10:07:25 kid1| HTCP Disabled.
2017/11/13 10:07:25 kid1| Squid plugin modules loaded: 0
2017/11/13 10:07:25 kid1| Adaptation support is off.
2017/11/13 10:07:25 kid1| Accepting HTTP Socket connections at local=[::]:3128 remote=[::] FD 12 flags=9
2017/11/13 10:07:26 kid1| storeLateRelease: released 0 objects
2017/11/13 10:07:26 kid1| logfileHandleWrite: daemon:/var/log/squid/access.log: error writing ((32) Broken pipe)
2017/11/13 10:07:26 kid1| Closing HTTP(S) port [::]:3128
2017/11/13 10:07:26 kid1| storeDirWriteCleanLogs: Starting...
2017/11/13 10:07:26 kid1|   Finished.  Wrote 0 entries.
2017/11/13 10:07:26 kid1|   Took 0.00 seconds (  0.00 entries/sec).
FATAL: I don't handle this error well!
Squid Cache (Version 4.0.21): Terminated abnormally.
CPU Usage: 0.065 seconds = 0.050 user + 0.014 sys
Maximum Resident Size: 60528 KB
Page faults with physical i/o: 0
2017/11/13 10:07:26 kid1| Set Current Directory to /var/spool/squid
2017/11/13 10:07:26 kid1| Starting Squid Cache version 4.0.21 for i686-pc-linux-gnu...
2017/11/13 10:07:26 kid1| Service Name: squid
2017/11/13 10:07:26 kid1| Process ID 6139
2017/11/13 10:07:26 kid1| Process Roles: worker
2017/11/13 10:07:26 kid1| With 1024 file descriptors available
2017/11/13 10:07:26 kid1| Initializing IP Cache...
2017/11/13 10:07:26 kid1| DNS Socket created at [::], FD 8
2017/11/13 10:07:26 kid1| DNS Socket created at 0.0.0.0, FD 9
2017/11/13 10:07:26 kid1| Adding nameserver 127.0.0.53 from /etc/resolv.conf
2017/11/13 10:07:26 kid1| Logfile: opening log daemon:/var/log/squid/access.log
2017/11/13 10:07:26 kid1| Logfile Daemon: opening log /var/log/squid/access.log
2017/11/13 10:07:26 kid1| Store logging disabled
2017/11/13 10:07:26 kid1| Swap maxSize 0 + 262144 KB, estimated 20164 objects
2017/11/13 10:07:26 kid1| Target number of buckets: 1008
2017/11/13 10:07:26 kid1| Using 8192 Store buckets
2017/11/13 10:07:26 kid1| Max Mem  size: 262144 KB
2017/11/13 10:07:26 kid1| Max Swap size: 0 KB
2017/11/13 10:07:26 kid1| Using Least Load store dir selection
2017/11/13 10:07:26 kid1| Set Current Directory to /var/spool/squid
fopen: Permission denied
2017/11/13 10:07:26 kid1| Finished loading MIME types and icons.
2017/11/13 10:07:26 kid1| HTCP Disabled.
2017/11/13 10:07:26 kid1| Squid plugin modules loaded: 0
2017/11/13 10:07:26 kid1| Adaptation support is off.
2017/11/13 10:07:26 kid1| Accepting HTTP Socket connections at local=[::]:3128 remote=[::] FD 12 flags=9
2017/11/13 10:07:27 kid1| logfileHandleWrite: daemon:/var/log/squid/access.log: error writing ((32) Broken pipe)
2017/11/13 10:07:27 kid1| Closing HTTP(S) port [::]:3128
2017/11/13 10:07:27 kid1| storeDirWriteCleanLogs: Starting...
2017/11/13 10:07:27 kid1|   Finished.  Wrote 0 entries.
2017/11/13 10:07:27 kid1|   Took 0.00 seconds (  0.00 entries/sec).
FATAL: I don't handle this error well!
Squid Cache (Version 4.0.21): Terminated abnormally.
CPU Usage: 0.057 seconds = 0.043 user + 0.014 sys
Maximum Resident Size: 60976 KB
Page faults with physical i/o: 0
2017/11/13 10:07:27 kid1| Set Current Directory to /var/spool/squid
2017/11/13 10:07:27 kid1| Starting Squid Cache version 4.0.21 for i686-pc-linux-gnu...
2017/11/13 10:07:27 kid1| Service Name: squid
2017/11/13 10:07:27 kid1| Process ID 6142
2017/11/13 10:07:27 kid1| Process Roles: worker
2017/11/13 10:07:27 kid1| With 1024 file descriptors available
2017/11/13 10:07:27 kid1| Initializing IP Cache...
2017/11/13 10:07:27 kid1| DNS Socket created at [::], FD 8
2017/11/13 10:07:27 kid1| DNS Socket created at 0.0.0.0, FD 9
2017/11/13 10:07:27 kid1| Adding nameserver 127.0.0.53 from /etc/resolv.conf
2017/11/13 10:07:27 kid1| Logfile: opening log daemon:/var/log/squid/access.log
2017/11/13 10:07:27 kid1| Logfile Daemon: opening log /var/log/squid/access.log
2017/11/13 10:07:27 kid1| Store logging disabled
2017/11/13 10:07:27 kid1| Swap maxSize 0 + 262144 KB, estimated 20164 objects
2017/11/13 10:07:27 kid1| Target number of buckets: 1008
2017/11/13 10:07:27 kid1| Using 8192 Store buckets
2017/11/13 10:07:27 kid1| Max Mem  size: 262144 KB
2017/11/13 10:07:27 kid1| Max Swap size: 0 KB
2017/11/13 10:07:27 kid1| Using Least Load store dir selection
2017/11/13 10:07:27 kid1| Set Current Directory to /var/spool/squid
fopen: Permission denied
2017/11/13 10:07:27 kid1| Finished loading MIME types and icons.
2017/11/13 10:07:27 kid1| HTCP Disabled.
2017/11/13 10:07:27 kid1| Squid plugin modules loaded: 0
2017/11/13 10:07:27 kid1| Adaptation support is off.
2017/11/13 10:07:27 kid1| Accepting HTTP Socket connections at local=[::]:3128 remote=[::] FD 12 flags=9
2017/11/13 10:07:28 kid1| logfileHandleWrite: daemon:/var/log/squid/access.log: error writing ((32) Broken pipe)
2017/11/13 10:07:28 kid1| Closing HTTP(S) port [::]:3128
2017/11/13 10:07:28 kid1| storeDirWriteCleanLogs: Starting...
2017/11/13 10:07:28 kid1|   Finished.  Wrote 0 entries.
2017/11/13 10:07:28 kid1|   Took 0.00 seconds (  0.00 entries/sec).
FATAL: I don't handle this error well!
Squid Cache (Version 4.0.21): Terminated abnormally.
CPU Usage: 0.063 seconds = 0.044 user + 0.018 sys
Maximum Resident Size: 60608 KB
Page faults with physical i/o: 0
2017/11/13 10:07:28| Removing PID file (/var/run/squid.pid)

Добавлено: 13 Ноября 2017, 15:20:39права на папку и файл 777
Добавлено: 13 Ноября 2017, 15:47:29паралельно поднял сервак на дебиан 9 пытоюсь по инструкции https://habrahabr.ru/post/272733/ поставить скуид 3.5
посмотрю может на нем лучше будет но на убунте серваке 17-том пока не догнал что делать

Добавлено: 13 Ноября 2017, 15:48:502017/11/13 10:07:28 kid1| storeDirWriteCleanLogs: Starting...
2017/11/13 10:07:28 kid1|   Finished.  Wrote 0 entries.
2017/11/13 10:07:28 kid1|   Took 0.00 seconds (  0.00 entries/sec).
FATAL: I don't handle this error well!
Squid Cache (Version 4.0.21): Terminated abnormally.
CPU Usage: 0.063 seconds = 0.044 user + 0.018 sys
Maximum Resident Size: 60608 KB
Page faults with physical i/o: 0
2017/11/13 10:07:28| Removing PID file (/var/run/squid.pid)
2017/11/13 15:47:50| Created PID file (/var/run/squid.pid)
2017/11/13 15:47:50 kid1| Set Current Directory to /var/spool/squid
2017/11/13 15:47:50 kid1| Starting Squid Cache version 4.0.21 for i686-pc-linux-gnu...
2017/11/13 15:47:50 kid1| Service Name: squid
2017/11/13 15:47:50 kid1| Process ID 10062
2017/11/13 15:47:50 kid1| Process Roles: worker
2017/11/13 15:47:50 kid1| With 1024 file descriptors available
2017/11/13 15:47:50 kid1| Initializing IP Cache...
2017/11/13 15:47:50 kid1| DNS Socket created at [::], FD 7
2017/11/13 15:47:50 kid1| DNS Socket created at 0.0.0.0, FD 8
2017/11/13 15:47:50 kid1| Adding nameserver 127.0.0.53 from /etc/resolv.conf
2017/11/13 15:47:50 kid1| Logfile: opening log daemon:/var/log/squid/access.log
2017/11/13 15:47:50 kid1| Logfile Daemon: opening log /var/log/squid/access.log
2017/11/13 15:47:50 kid1| Store logging disabled
2017/11/13 15:47:50 kid1| Swap maxSize 0 + 262144 KB, estimated 20164 objects
2017/11/13 15:47:50 kid1| Target number of buckets: 1008
2017/11/13 15:47:50 kid1| Using 8192 Store buckets
2017/11/13 15:47:50 kid1| Max Mem  size: 262144 KB
2017/11/13 15:47:50 kid1| Max Swap size: 0 KB
2017/11/13 15:47:50 kid1| Using Least Load store dir selection
2017/11/13 15:47:50 kid1| Set Current Directory to /var/spool/squid
2017/11/13 15:47:50 kid1| Finished loading MIME types and icons.
2017/11/13 15:47:50 kid1| HTCP Disabled.
2017/11/13 15:47:50 kid1| Squid plugin modules loaded: 0
2017/11/13 15:47:50 kid1| Adaptation support is off.
2017/11/13 15:47:50 kid1| Accepting HTTP Socket connections at local=[::]:3128 remote=[::] FD 11 flags=9
2017/11/13 15:47:51 kid1| storeLateRelease: released 0 objects

Добавлено: 13 Ноября 2017, 15:49:10появился access.log пустой
Добавлено: 13 Ноября 2017, 16:51:25прописал в файрфоксе проксю вижу теперь записи о открытии страниц
Добавлено: 13 Ноября 2017, 16:52:56рестартанул squid он стал работать, но вопрос все тот же нужно ведь чтобы в etc/init.d был файл Squid

[NeO]

вопрос все тот же нужно ведь чтобы в etc/init.d был файл Squid

Зачем? 2017 год на дворе, почти во всех дистрибутивах systemd.

Юнит можно взять например тут: https://github.com/devkral/systemd-arch-units/blob/master/service/squid.service, если его ещё нет в системе.

[wrag]

Продолжаем, чтобы не плодить темы - теперь настройка squid4

Есть сеть 192.168.1.0/24
из статьи кусок нужно понять что здесь он исправляет (со слов автора это упрощенный вариант).
В результате бы хотелось получить конфиг:
1. чтобы был лист адресов для блокирования ссылок https и http
2. чтобы был лист диапазонов айпишников,  которым резать на основании списка сайтов доступ и второй список выборочно айпишники, кому не резать. (сетевой интерфейс 1 шт  enp0s3)
из статьи:
Добавим сеть src 192.168.20.0/24 то есть для нашего случая 192.168.1.0/24
Добавим порты под HTTP 3128 и HTTPS 3129
Добавим генерацию сертификатов sslcrtd_program
nano squid.conf
_______________________________________________________________
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
 
acl local src 192.168.1.0/24
 
acl CONNECT method CONNECT
 
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager
http_access allow localhost
http_access allow local
http_access deny all

 --ниже не ясно адрес чего нужно внести шлюза?----

http_port 192.168.20.1:3128 intercept
https_port 192.168.20.1:3129 intercept ssl-bump cert=/etc/squid/squidCA.pem
 
ssl_bump peek all
ssl_bump splice all
 
sslcrtd_program /usr/lib/squid/ssl_crtd -s /var/lib/ssl_db -M 4MB
 
coredump_dir /var/spool/squid
 
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|?) 0     0%      0
refresh_pattern (Release|Packages(.gz)*)$      0       20%     2880
refresh_pattern .               0       20%     4320

Применяем конфигурацию
squid -k parse
squid -k reconfigure

Добавлено: [time]Вт 14 ноя 2017 11:16:13[/time]

Зачем? 2017 год на дворе, почти во всех дистрибутивах systemd.

Юнит можно взять например тут: https://github.com/devkral/systemd-arch-units/blob/master/service/squid.service, если его ещё нет в системе.

разобрался появился файл после того как перегрузил сервис и саму систему пару раз теперь он есть.

(источник упрощенного конфига статья https://imbicile.pp.ru/ubuntu-16-04-prozrachnyj-squid-https/ )
Добавлено: [time]Вт 14 ноя 2017 12:49:54[/time]то есть для первоначальной настройки прозрачного прокси
вносим еслиправильно понял

acl mylocal src 192.168.1.0/24
http_access allow mylocal
http_port 192.168.1.23:3128 intercept  #здесь судя по всему либо адрес самой прокси либо адрес шлюза не совсем понял еще
https_port 192.168.1.23:3129  intercept
Добавлено: 14 Ноября 2017, 15:02:04добавляем в конфиг скуида

acl local src 192.168.1.0/24
http_port 192.168.1.1:3128 intercept
https_port 192.168.1.1:3129 intercept ssl-bump cert=/etc/squid/squidCA.pem
 
ssl_bump peek all
ssl_bump splice all
 
sslcrtd_program /usr/lib/squid/ssl_crtd -s /var/lib/ssl_db -M 4MB

### Допустимый объем памяти
cache_mem 512 MB
### Максимальный объем кэшированного объекта в памяти
maximum_object_size_in_memory 512 KB
### Максимальный и минимальный размер кэшируемого файла
maximum_object_size 60 MB minimum_object_size 2 KB
### Директория кэша размер кэша=4Mb Кол-во папок первого уровня=32 и второго=256
cache_dir ufs /var/spool/squid 4096 16 256





Применяем конфигурацию
squid -k parse
squid -k reconfigure
и получаем ошибку
 squid -k reconfigure
2017/11/14 13:39:08| FATAL: failed to open /var/run/squid.pid: (2) No such file or directory

2017/11/14 13:21:41 kid1| ipcCreate: /usr/lib/squid/ssl_crtd: (2) No such file or directory
2017/11/14 13:21:41 kid1| ipcCreate: /usr/lib/squid/ssl_crtd: (2) No such file or directory

первая ошибка понятна не запущен процесс нет файла, создал директорию ssl_crtd в /usr/lib/squid/
закоментировал все относящееся к SSL

squid -z
переввел
стартовал сервис squid
squid -k parse
squid -k reconfigure
и снова таже ошибка вернул старый конфиг squid  стартовал
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
 
acl local src 192.168.20.0/24
 
acl CONNECT method CONNECT
 
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager
http_access allow localhost
http_access allow local
http_access deny all
 
http_port 192.168.20.1:3128 intercept
https_port 192.168.20.1:3129 intercept ssl-bump cert=/etc/squid/squidCA.pem
 
ssl_bump peek all
ssl_bump splice all
 
sslcrtd_program /usr/lib/squid/ssl_crtd -s /var/lib/ssl_db -M 4MB
 
coredump_dir /var/spool/squid
 
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|?) 0     0%      0
refresh_pattern (Release|Packages(.gz)*)$      0       20%     2880
refresh_pattern .               0       20%     4320


Добавлено: 14 Ноября 2017, 15:03:13то есть проблемма в дальнейшей настройке и терзает меня что придется пересобирать поновой скуид
Добавлено: 15 Ноября 2017, 17:07:07в общем вопрос в том что отфильтровывает правило только первый в списке сайт остальные не обращает внимание
как быть
acl localnet src 0.0.0.1-0.255.255.255  # RFC 1122 "this" network (LAN)
acl localnet src 10.0.0.0/8             # RFC 1918 local private network (LAN)
acl localnet src 100.64.0.0/10          # RFC 6598 shared address space (CGN)
acl localhet src 169.254.0.0/16         # RFC 3927 link-local (directly plugged) machines
acl localnet src 172.16.0.0/12          # RFC 1918 local private network (LAN)
acl localnet src 192.168.0.0/16         # RFC 1918 local private network (LAN)
acl mylocalnet src 192.168.88.0/24
acl localnet src fc00::/7               # RFC 4193 local private network range
acl localnet src fe80::/10              # RFC 4291 link-local (directly plugged) machines

acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT

# создано три файла в которых списки адресов ip и url вида lm.licenses.adobe.com macromedia.com fishki.net пробовал и без слешей фильтрует только первый адрес
acl boss_user src "/etc/squid/allow_user"
acl other_user src "/etc/squid/deny_user"
acl BlockUrlList url_regex -i "/etc/squid/BlockdUrlList"


http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager

http_access deny BlockUrlList !boss_user
http_access deny other_user BlockUrlList
http_access deny BlockUrlList

http_access allow localnet
http_access allow localhost
http_access allow mylocalnet

http_access deny all
http_port 3128
coredump_dir /var/spool/squid
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|?) 0     0%      0
refresh_pattern .               0       20%     4320
Добавлено: 16 Ноября 2017, 08:37:59поменял правило на
acl BlockUrlList dstdomain "/etc/squid/BlockdUrlList"
теперь блочит всем и разрешенным юзерам и запрещенным кроме facebook

Добавлено: 16 Ноября 2017, 08:54:16вот так заработала фильтрация на два диапазона

# ------правила для списков-------
acl boss_user src "/etc/squid/allow_user"
acl other_user src "/etc/squid/deny_user"
acl BlockUrlList dstdomain "/etc/squid/BlockdUrlList"

acl httpsfail dst www.vk.com
acl httpsfail dst www.facebook.com

# ------------------------------

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager

# ----------применения ограничений-----------

http_access deny httpsfail CONNECT other_user
http_access allow httpsfail CONNECT other_user
http_access allow boss_user  BlockUrlList
http_access deny other_user BlockUrlList
http_access deny BlockUrlList
#---------------------------------------
#-----------------------
http_access allow localnet
http_access allow localhost
http_access allow mylocalnet

http_access deny all
http_port 3128

[wrag]

вновь не работает в отдельных вариантах написания адреса

перенес список в отдельный файл чтоб не засирало конфиг

acl httpsfail dst "/etc/squid/hardbrainfuck"
и добавил правило http_access deny httpsfail CONNECT other_user
теперь блочит норм

Добавлено: 17 Ноября 2017, 09:21:57по поводу того что нет автостарта сервиса скуида
touch /etc/systemd/system/squid.service
nano /etc/systemd/system/squid.service

______________________
[Unit]
Description=Squid Web Proxy Server
After=network.target
Wants=redis.service

[Service]
Type=forking
ExecStart=/usr/sbin/squid -sYC -N
PIDFile=/var/run/squid.pid
OOMScoreAdjust=-1000
Environment=RACK_ENV=production
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process

[Install]
WantedBy=runlevel3.target
___________________________________
# systemctl enable squid
Synchronizing state of squid.service with SysV service script with /lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install enable squid
update-rc.d: error: squid Default-Start contains no runlevels, aborting.

[wrag]

не заработал автостарт)))

[wrag]

В целом после долгих мучений, пришел выводу, что связка ubuntu 17 и squid 4 устанваливаются без проблем, если squid  версия 4.0.21. Ушел с виртуалки и переставил на реальное железо, единственное, что изменилось в  команде ./configure убрал icmp с ним не стартует кальмар. Установка прошла успешно и кальмар стартует вполне норм (правда почему-то через  /usr/local/squid/sbin/squid  а не /etc/init.d/squid). Прописал базовый конфиг, блокировка сайтов, в том числе соц. сетей, вполне уверенно держится, правда блокировка https организовал не совсем тру методом, при обращении к данным адресам, блокирую не сайт, а метод CONNECT.

# моя сеть
acl mynet src 192.168.88.0/24           # my local net
# ------правила для списков-------
#my acl
acl boss_user src "/etc/squid/goodip"
acl other_user src "/etc/squid/badip"
acl BlockUrlList dstdomain "/etc/squid/blocklist"
acl httpsfail dst "/etc/squid/brainfuck"
# ------правила блокировки-------
http_access deny httpsfail CONNECT !boss_user
http_access deny BlockUrlList !boss_user
http_access deny other_user BlockUrlList
http_access deny BlockUrlList

http_access allow mynet

Вопрос, местами в статьях встречал, что для корректной фильтрации трафика, должен быть днс установлен на той же машине, что и кальмар. Насколько верно данное утверждение?

Теперь же нужно прозрачное проксирование, так как нет никаких сервисов централизующих в сети управление пользователями, будет схема микротик редиректит весь трафик на кальмара, а уже он решает кого пускать, кого нет, в дальнейшем переход на две сетевые на одной внешка на второй внутренняя сеть.

Добавлено: 26 Декабря 2017, 11:48:19возвращаясь к вопросу прозрачности:
практически из примера в пример качюет без изменений блоки настроек:
первый блок:
acl localnet src 192.168.1.0/24   # RFC1918 possible internal network

acl SSL_ports port 443
acl Safe_ports port 80      # http
acl Safe_ports port 21      # ftp
acl Safe_ports port 443      # https
acl Safe_ports port 70      # gopher
acl Safe_ports port 210      # wais
acl Safe_ports port 1025-65535   # unregistered ports
acl Safe_ports port 280      # http-mgmt
acl Safe_ports port 488      # gss-http
acl Safe_ports port 591      # filemaker
acl Safe_ports port 777      # multiling http
acl CONNECT method CONNECT

dns_nameservers 8.8.8.8
http_access deny !Safe_ports

http_access deny CONNECT !SSL_ports

http_access allow localhost manager
http_access deny manager

http_access allow localnet
http_access allow localhost
http_access deny all

последний блок:
coredump_dir /var/spool/squid
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4320
cache_dir aufs /var/spool/squid 20000 49 256
maximum_object_size 61440 KB
minimum_object_size 3 KB
cache_swap_low 90
cache_swap_high 95
maximum_object_size_in_memory 512 KB
memory_replacement_policy lru
logfile_rotate 4
далее возможны различия, например строка:
shutdown_lifetime 1 second



Далее как всеже верно создать сертификат?

В одной инструкции подготовка корневого сертификата:

Теперь генерируем корневой сертификат собственного CA (Центра сертификации) на основе которого будут подписываться сертификаты для сайтов:
 
$ cd /etc/squid/ssl #(судя по всему нужно создать дополнительную папку )
$ sudo openssl genrsa -out /etc/squid/ssl/squid.key
$ sudo openssl req -new -key /etc/squid/ssl/squid.key -out /etc/squid/ssl/squid.csr
$ sudo openssl x509 -req -days 3650 -in /etc/squid/ssl/squid.csr -signkey /etc/squid/ssl/squid.key -out /etc/squid/ssl/squid.pem

Генерируем корневой сертификат который затем нужно будет добавить в браузер:
sudo openssl x509 -in /etc/squid/ssl/squid.pem -outform DER -out squid.der

Либо по хабру достаточно одного сертификата:
openssl req -new -newkey rsa:1024 -days 365 -nodes -x509 -keyout squidCA.pem -out squidCA.pem
при этом методе запрашиваются некоторые параметры в том числе полное имя машины можно ip адрес.

При том поддержка ssl2 & ssl3 в кальмаре4 убрана - цитата:
A new option tls-min-version=1.N is added in place of sslversion= to configure the minimum version the TLS negotiation will allow to be used when an old TLS version is requested by the remote endpoint.

The system Trusted CAs are no longer used by default when verifying client certificates. The cafile= option should be used instead to load the specific CA which signed acceptible client certificates explicitly, even if that CA is one of the system Trusted CAs. The tls-default-ca option can be used to restore the old behaviour explicitly if needed.

То есть, как я понял, нужны иные настройки для кальмара4, чем в приведенных в свободном доступе статьях.
Минимум нужно прописать прозрачность, но хз как верно оформить правило.

Изначальный вариант для кальмара 3.5
http_port 192.168.1.254:3128 intercept options=NO_SSLv3:NO_SSLv2
http_port 192.168.1.254:3130 options=NO_SSLv3:NO_SSLv2
https_port 192.168.1.254:3129 intercept ssl-bump options=ALL:NO_SSLv3:NO_SSLv2 connection-auth=off cert=/etc/squid/squidCA.pem


далее практически без изменений (за исключением названия правил и имен файлов)
always_direct allow all
sslproxy_cert_error allow all
sslproxy_flags DONT_VERIFY_PEER
acl blocked ssl::server_name  "/etc/squid/blocked_https.txt"
acl step1 at_step SslBump1
ssl_bump peek step1
ssl_bump terminate blocked
ssl_bump splice all
sslcrtd_program /usr/lib/squid/ssl_crtd -s /var/lib/ssl_db -M 4MB


Учитывая, что уже блокируем ресурсы в том числе и https, осталось тупо включить прозрачность на кальмаре4:
Хелп!!! как сделать прозрачность?


Добавил следущее:
http_port 192.168.88.254:3128 intercept options=NO_SSLv3:NO_SSLv2
http_port 192.168.88.254:3130 options=NO_SSLv3:NO_SSLv2
https_port 192.168.88.254:3129 intercept ssl-bump options=ALL:NO_SSLv3:NO_SSLv2 connection-auth=off cert=/etc/squid/squidCA.pem

always_direct allow all
sslproxy_cert_error allow all
sslproxy_flags DONT_VERIFY_PEER

Получил на выходе:
 /etc/init.d/squid status
2017/12/26 11:45:39| ERROR: Directive 'sslproxy_flags' is obsolete.
FATAL: No valid signing SSL certificate configured for HTTP_port 192.168.88.254:3128
Squid Cache (Version 4.0.21): Terminated abnormally.

[NeO]

Если я правильно вкурил доку, то судя по ошибке

FATAL: No valid signing SSL certificate configured for HTTP_port 192.168.88.254:3128

из этой строки:

http_port 192.168.88.254:3128 intercept options=NO_SSLv3:NO_SSLv2

нужно убрать intercept.

Код:

http_port 192.168.88.254:3128 options=NO_SSLv3:NO_SSLv2

Но это не точно (=

[wrag]

трабла в том что нужно прозрачность чтобы серитфикаты не подкладывать вручную
я тоже прикинул что вроде для https подцепился сертификат,
а для http видимо нужен другой  попробую публичный сформировать

Добавлено: 27 Декабря 2017, 14:24:08добавил в конец строки  connection-auth=off cert=/etc/squid/squidCA.pem
http_port 192.168.88.254:3128 intercept options=NO_SSLv3:NO_SSLv2 connection-auth=off cert=/etc/squid/squidCA.pem

и выхлоп следующий:

#/etc/init.d/squid -k reconfigure
2017/12/27 14:15:05| ERROR: Directive 'sslproxy_flags' is obsolete.
FATAL: No valid signing SSL certificate configured for HTTP_port 192.168.88.254:3130
Squid Cache (Version 4.0.21): Terminated abnormally.
CPU Usage: 0.020 seconds = 0.020 user + 0.000 sys
Maximum Resident Size: 49984 KB
Page faults with physical i/o: 0


екарный бабай это что подписывать ключем все порты в не зависимости от того прозрачный он или не прозрачный?

[NeO]

На HTTP никакой сертификат нахрен не нужен (в этом просто нет смысла).
Осталось только понять какого лешего squid его там сильно хочет.
Уберю всю фигню из строки

Код:

http_port 192.168.88.254:3128 intercept options=NO_SSLv3:NO_SSLv2 connection-auth=off cert=/etc/squid/squidCA.pem

Оставь только

Код:

http_port 192.168.88.254:3128

И посмотри, будет ли ошибка.

[wrag]

 /etc/init.d/squid start
2017/12/28 13:06:02| ERROR: Directive 'sslproxy_flags' is obsolete.

[NeO]

Ну ништяк, ошибка пропала. Теперь попробуй-ка прописать
http_port 192.168.88.254:3128 intercept